本文目录导读：
《数据仓库与数据挖掘期末考试复习要点全解析》
数据仓库
1、基本概念
- 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策，面向主题意味着数据仓库中的数据是按照业务主题进行组织的，例如销售主题、客户主题等，这与传统的面向应用的数据库有很大区别，集成性体现在它从多个数据源抽取数据，并进行清洗、转换和集成，消除数据的不一致性，相对稳定是指数据仓库中的数据主要用于分析，一旦进入数据仓库，一般不会进行频繁的更新操作，反映历史变化则通过对数据的时间戳等方式，记录数据随时间的演变过程。
图片来源于网络，如有侵权联系删除
2、数据仓库的体系结构
- 数据仓库的体系结构通常包括数据源、数据抽取、转换和加载（ETL）工具、数据存储（包括元数据存储和数据仓库存储）以及前端的分析和展现工具，数据源可以是各种关系型数据库、文件系统、外部数据源等，ETL工具是数据仓库构建的关键环节，它负责从数据源抽取数据，按照预先定义的规则进行转换，例如数据格式的统一、数据的清洗（去除噪声数据、重复数据等），然后将处理后的数据加载到数据仓库中，元数据存储包含了关于数据仓库的数据，如数据的来源、数据的定义、数据的转换规则等，它对于数据仓库的管理和维护非常重要，前端的分析和展现工具，如报表工具、OLAP（联机分析处理）工具等，方便用户对数据仓库中的数据进行查询、分析和可视化展示。
3、数据仓库的建模
- 常见的数据仓库建模方法有星型模型、雪花模型和事实星座模型，星型模型以事实表为中心，周围连接多个维度表，事实表包含业务的度量值，如销售额、销售量等，维度表则包含与业务度量相关的维度信息，如时间维度（年、月、日等）、产品维度（产品名称、产品类别等）、客户维度（客户姓名、客户地址等）等，雪花模型是星型模型的扩展，它将维度表进一步规范化，将一些低层次的维度从主维度表中分离出来，形成更细化的维度表，这样可以减少数据冗余，但查询复杂度可能会增加，事实星座模型则是多个星型模型的集合，适用于多个事实表共享一些维度表的情况。
数据挖掘
1、数据挖掘的定义与流程
- 数据挖掘是从大量的数据中提取隐含的、先前未知的、有潜在应用价值的知识和信息的过程，其基本流程包括问题定义、数据收集、数据预处理、数据挖掘算法选择与应用、模型评估和结果解释与应用，问题定义阶段要明确挖掘的目标，例如是进行分类（将数据对象划分到不同的类别中）、聚类（将数据对象划分为不同的簇）还是关联规则挖掘（发现数据项之间的关联关系）等，数据收集要确保数据的质量和完整性，从各种数据源获取相关数据，数据预处理包括数据清洗（处理缺失值、异常值等）、数据集成（将来自不同数据源的数据合并）、数据变换（如数据标准化、归一化等）和数据归约（在尽可能保持数据完整性的前提下减少数据量）。
2、分类算法
- 分类算法是数据挖掘中的重要算法类型，决策树算法是一种常见的分类算法，例如ID3、C4.5和CART算法，决策树通过构建树状结构来进行分类决策，每个内部节点是一个属性测试，分支是测试输出，叶节点是类别，以ID3算法为例，它选择信息增益最大的属性作为根节点进行分裂，通过不断地构建子树，最终形成一棵完整的决策树，朴素贝叶斯算法基于贝叶斯定理，假设属性之间相互独立，通过计算后验概率来确定数据对象的类别，它在文本分类等领域有广泛的应用，支持向量机（SVM）算法通过寻找一个最优的超平面来将不同类别的数据分开，它在处理小样本、高维数据时表现较好。
图片来源于网络，如有侵权联系删除
3、聚类算法
- 聚类算法用于将数据对象划分为不同的簇，使得同一簇内的数据对象具有较高的相似性，而不同簇之间的数据对象具有较大的差异，K - 均值聚类算法是最常用的聚类算法之一，它首先随机选择K个初始聚类中心，然后将每个数据对象分配到距离其最近的聚类中心所在的簇中，接着重新计算每个簇的中心，重复上述过程直到聚类中心不再发生变化或者达到预定的迭代次数，层次聚类算法则是通过构建聚类层次结构来进行聚类，它分为凝聚式层次聚类（从每个数据对象作为一个单独的簇开始，不断合并相似的簇）和分裂式层次聚类（从所有数据对象在一个簇开始，不断分裂簇）两种方式。
4、关联规则挖掘
- 关联规则挖掘旨在发现数据集中不同项之间的关联关系，例如在购物篮分析中，发现哪些商品经常被一起购买，经典的关联规则挖掘算法是Apriori算法，Apriori算法基于频繁项集的先验性质，即频繁项集的所有非空子集也必须是频繁项集，它通过多次扫描数据集，首先找出频繁1 - 项集，然后基于频繁k - 项集生成候选(k + 1)-项集，不断迭代，直到不能再生成新的频繁项集为止，最后从频繁项集中生成满足最小置信度要求的关联规则。
数据仓库与数据挖掘的关系
1、数据仓库为数据挖掘提供数据支持
- 数据仓库中的数据经过了清洗、集成和预处理，具有较高的质量和完整性，这为数据挖掘提供了良好的数据基础，数据仓库中的数据按照主题进行组织，方便数据挖掘算法针对特定的业务主题进行挖掘，在销售主题的数据仓库中，数据挖掘算法可以方便地对销售数据进行分析，挖掘销售趋势、客户购买行为模式等。
2、数据挖掘为数据仓库的价值提升提供手段
- 数据挖掘可以从数据仓库的数据中发现有价值的知识和信息，这些知识和信息可以反馈到数据仓库的管理和决策支持中，通过数据挖掘发现的客户细分结果可以作为新的维度添加到数据仓库中，以便更好地进行客户关系管理和营销策略制定，数据挖掘还可以帮助验证数据仓库中数据的质量，通过挖掘数据中的异常模式，可能发现数据仓库中存在的数据错误或不一致性。
图片来源于网络，如有侵权联系删除
考试中的实际应用题型
1、数据仓库设计题
- 这类题目可能会给出一个业务场景，要求设计数据仓库的体系结构、确定数据仓库的主题以及进行数据建模，给定一个电商企业的业务场景，包括订单管理、客户管理、商品管理等业务流程，要求设计一个数据仓库来支持企业的销售分析、客户分析和库存分析等决策需求，首先要确定数据仓库的主题，如销售主题、客户主题和库存主题等，对于销售主题，可以设计星型模型，事实表包含订单金额、订单数量等度量值，维度表包括时间维度（订单日期、发货日期等）、客户维度（客户ID、客户姓名、客户地址等）、商品维度（商品ID、商品名称、商品类别等）等，在设计体系结构时，要明确数据源（如电商平台的数据库、外部物流系统的数据源等），ETL过程如何进行数据抽取、转换和加载，以及前端使用何种分析工具（如OLAP工具进行多维分析）。
2、数据挖掘算法应用题
- 会给出一个数据集或者业务问题，要求选择合适的数据挖掘算法并进行应用，给出一个银行客户的数据集，包括客户的年龄、收入、信用等级、贷款历史等属性，要求对客户进行信用风险分类，可以选择决策树算法进行分类，首先对数据集进行预处理，处理可能存在的缺失值（如采用均值填充或中位数填充等方法），然后根据决策树算法的原理，选择合适的属性进行分裂构建决策树，最后对构建好的决策树模型进行评估，可以采用准确率、召回率等评估指标来衡量模型的性能，如果是聚类问题，如对一群用户的消费行为数据进行聚类分析，可选择K - 均值聚类算法，首先确定聚类的个数K（可以通过手肘法等方法确定），然后进行聚类操作，最后对聚类结果进行解释，分析不同簇的用户消费行为特征。
3、数据仓库与数据挖掘综合题
- 综合题会结合数据仓库和数据挖掘的知识，考查两者之间的联系，一个企业已经构建了一个数据仓库，存储了多年的销售数据、客户数据和市场数据等，要求利用数据挖掘技术从数据仓库中挖掘出有价值的信息，以支持企业的营销策略制定，首先要从数据仓库中获取相关的数据，然后根据挖掘目标（如发现不同客户群体的购买偏好）选择合适的数据挖掘算法（如关联规则挖掘发现商品之间的关联，聚类算法对客户进行细分等），最后将挖掘的结果转化为具体的营销策略，如针对不同客户群体推出个性化的促销活动，根据关联规则进行商品捆绑销售等。
在复习过程中，不仅要掌握数据仓库和数据挖掘的基本概念、算法等理论知识，还要注重实际应用能力的培养，多做一些相关的练习题和案例分析，这样才能在期末考试中取得好成绩。
评论列表