《数据仓库与数据挖掘期末考试题解析与知识要点综述》
一、数据仓库部分
（一）数据仓库的基本概念
1、定义
图片来源于网络，如有侵权联系删除
数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策，面向主题意味着数据仓库围绕特定的业务主题组织数据，例如销售主题，会整合与销售相关的客户、产品、订单等多方面的数据，集成性体现在它从多个数据源抽取数据，并进行清洗、转换和集成，消除数据的不一致性，相对稳定是指数据仓库中的数据主要用于分析，一旦进入数据仓库，通常不会像操作型数据库那样频繁修改，反映历史变化则是数据仓库能够保存不同时间点的数据，以便进行趋势分析等操作。
2、数据仓库与操作型数据库的区别
操作型数据库主要用于日常的业务操作，如事务处理（订单处理、库存管理等），重点关注数据的快速插入、更新和删除操作，数据结构围绕业务流程设计，而数据仓库是为了决策支持，数据结构以分析需求为导向，对数据的操作主要是查询和分析，数据量通常比操作型数据库大得多，并且包含历史数据。
（二）数据仓库的体系结构
1、数据源层
这是数据仓库的数据来源，包括企业内部的各种业务系统（如ERP系统、CRM系统等）、外部数据源（如市场调研报告、行业数据等），这些数据源的数据格式、数据质量参差不齐，需要进行抽取、转换和加载（ETL）操作。
2、ETL过程
ETL是构建数据仓库的关键环节，抽取（Extract）是从数据源中获取数据的过程，需要考虑数据源的类型（关系型数据库、文件系统等）、数据的增量或全量抽取方式，转换（Transform）涉及对抽取的数据进行清洗（去除错误数据、重复数据等）、转换数据格式（如将日期格式统一）、计算衍生数据（如根据销售额和销售量计算单价）等操作，加载（Load）则是将经过转换的数据加载到数据仓库的目标存储结构中，可能是关系型数据仓库中的表结构，也可能是基于Hadoop的分布式存储结构中的文件。
3、数据存储层
数据存储层可以采用不同的技术架构，传统的关系型数据仓库（如Oracle、SQL Server等）使用关系型数据库来存储数据，通过星型模型或雪花模型构建数据仓库的维度表和事实表，星型模型以事实表为中心，周围连接多个维度表，维度表之间没有直接联系；雪花模型则是在星型模型的基础上，对维度表进行规范化，使维度表之间可能存在关联关系，近年来，随着大数据技术的发展，基于Hadoop的分布式文件系统（如HDFS）和NoSQL数据库（如HBase、Cassandra等）也被广泛应用于数据仓库的存储，以应对海量数据的存储和处理需求。
4、数据展现层
数据展现层主要为用户提供数据查询、分析和可视化的功能，用户可以通过报表工具（如水晶报表、JasperReports等）生成各种报表，如销售报表、财务报表等；也可以使用数据分析工具（如Tableau、PowerBI等）进行交互式数据分析，例如通过拖拽操作对销售数据按地区、时间等维度进行分析，并以直观的图表（柱状图、折线图等）展示分析结果。
（三）数据仓库中的数据建模
1、概念模型
概念模型是对数据仓库的整体架构和业务需求的高层次抽象描述，它通常使用实体 - 关系图（E - R图）或面向对象的方法来表示数据仓库中的主要实体（如客户、产品、订单等）及其关系，概念模型有助于数据仓库设计人员与业务用户沟通，确保数据仓库的设计符合业务需求。
2、逻辑模型
逻辑模型在概念模型的基础上，进一步细化数据结构和关系，在关系型数据仓库中，逻辑模型主要描述表结构、字段定义、主键和外键关系等，在销售数据仓库的逻辑模型中，会定义销售事实表包含销售日期、销售金额、销售量等字段，以及与客户维度表、产品维度表的外键关系。
3、物理模型
物理模型则是将逻辑模型映射到具体的数据库管理系统上的实现模型，它考虑数据的存储方式（如索引的创建、数据的分区等）、数据的存储位置（不同的磁盘分区或存储节点）等性能优化因素，对于频繁查询的销售日期字段，可以创建索引以提高查询速度；对于海量的销售数据，可以按照年份或季度进行分区存储，以便于数据的管理和查询。
二、数据挖掘部分
（一）数据挖掘的基本概念
图片来源于网络，如有侵权联系删除
1、定义
数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程，这些知识可以是关联规则（如购买啤酒的顾客同时也倾向于购买尿布）、分类模型（如根据客户的年龄、收入、消费习惯等特征将客户分为高价值客户和低价值客户）、聚类结果（如将具有相似消费行为的客户聚成不同的群体）等。
2、数据挖掘的任务类型
（1）分类
分类是根据已知类别的训练数据构建分类模型，然后将未知类别的数据映射到已有的类别中，在信用评估中，根据客户的信用历史、收入、负债等特征将客户分为信用良好和信用不良两类，常用的分类算法有决策树（如C4.5、CART算法）、贝叶斯分类算法、支持向量机等。
（2）聚类
聚类是将数据集中的数据对象按照相似性划分为不同的簇，使得同一簇中的对象具有较高的相似性，而不同簇中的对象具有较大的差异，将客户按照消费行为聚类，可以发现不同消费群体的特征，为市场营销提供依据，常用的聚类算法有K - 均值聚类、层次聚类等。
（3）关联规则挖掘
关联规则挖掘旨在发现数据集中不同属性之间的关联关系，除了著名的“啤酒与尿布”的关联规则例子外，在电子商务中，还可以挖掘出购买某种电子产品的顾客同时购买相关配件的关联规则，以进行商品推荐，常用的关联规则挖掘算法有Apriori算法、FP - Growth算法等。
（4）预测
预测是根据历史数据和相关因素预测未来的值或趋势，根据过去的销售数据和市场趋势预测未来的销售额、根据股票的历史价格和相关经济指标预测股票价格走势等，时间序列分析是一种常用的预测方法，如ARIMA模型等。
（二）数据挖掘的流程
1、数据收集
数据收集是数据挖掘的第一步，需要从各种数据源获取与挖掘目标相关的数据，数据源可以是企业内部的数据库、文件系统，也可以是外部的数据提供商，收集的数据要尽可能全面且具有代表性，以确保挖掘结果的准确性和可靠性。
2、数据预处理
数据预处理是数据挖掘中非常重要的环节，因为原始数据往往存在各种问题，数据预处理包括数据清洗（去除噪声数据、缺失值处理等）、数据集成（将来自多个数据源的数据合并）、数据转换（如对数据进行标准化、归一化处理，将非数值型数据转换为数值型数据等）和数据归约（在不影响挖掘结果的前提下减少数据量，如通过属性选择、抽样等方法）。
3、模型选择与构建
根据挖掘任务（分类、聚类、关联规则挖掘或预测等）选择合适的挖掘算法和模型，不同的算法适用于不同的数据特点和挖掘任务，对于线性可分的数据，支持向量机可能是一个较好的分类算法；对于数据分布未知的聚类任务，K - 均值聚类算法比较常用，在构建模型时，需要将预处理后的数据分为训练集和测试集，使用训练集构建模型，然后用测试集评估模型的性能。
4、模型评估
模型评估是判断模型好坏的过程，对于分类模型，可以使用准确率、召回率、F1值等指标来评估；对于聚类模型，可以使用簇内距离、簇间距离等指标来评估；对于关联规则挖掘，可以使用支持度、置信度等指标来评估，如果模型的性能不满足要求，则需要对模型进行调整，如调整算法的参数、更换算法或重新进行数据预处理等。
5、知识表示与应用
图片来源于网络，如有侵权联系删除
一旦模型评估通过，就需要将挖掘得到的知识以合适的方式表示出来，对于分类模型，可以用决策树图或分类规则来表示；对于聚类模型，可以用聚类中心和簇成员关系来表示，然后将挖掘得到的知识应用到实际业务中，如将客户分类结果用于个性化营销、将关联规则用于商品推荐等。
（三）数据挖掘中的常用算法
1、决策树算法
决策树算法是一种基于树结构进行决策的分类算法，它以树的形式表示决策过程，每个内部节点是一个属性测试，分支是测试输出，叶节点是类别或值，在判断一个水果是苹果还是橙子时，可能首先根据颜色属性进行测试，如果颜色是红色，再根据形状属性进行进一步测试，直到确定是苹果还是橙子，决策树算法的优点是直观易懂、计算复杂度相对较低，能够处理离散型和连续型数据，C4.5算法是一种经典的决策树算法，它在ID3算法的基础上进行了改进，能够处理缺失值和连续属性值的情况。
2、K - 均值聚类算法
K - 均值聚类算法是一种基于距离的聚类算法，它的基本思想是将数据集划分为K个簇，首先随机选择K个初始聚类中心，然后将每个数据点分配到距离其最近的聚类中心所在的簇中，接着重新计算每个簇的中心（通常是簇内数据点的均值），不断重复这个过程直到聚类中心不再发生变化或者达到预设的迭代次数，K - 均值聚类算法的优点是简单、高效，能够快速收敛到局部最优解，但是它也有一些局限性，如需要事先指定K值（簇的数量）、对初始聚类中心敏感、容易受到噪声和孤立点的影响等。
3、Apriori算法
Apriori算法是一种经典的关联规则挖掘算法，它基于频繁项集的先验性质，即如果一个项集是频繁的，那么它的所有子集也一定是频繁的；反之，如果一个项集是非频繁的，那么它的所有超集也一定是非频繁的，Apriori算法通过多次扫描数据库，首先找出频繁1 - 项集，然后基于频繁1 - 项集生成频繁2 - 项集，以此类推，直到不能再生成新的频繁项集为止，最后根据频繁项集计算关联规则及其支持度和置信度，Apriori算法的优点是简单易懂，适用于处理小规模数据集，但是它的缺点是需要多次扫描数据库，当数据集很大时，效率较低。
4、支持向量机（SVM）
支持向量机是一种基于统计学习理论的二分类模型，它的基本思想是找到一个最优的超平面将不同类别的数据点分开，并且使两类数据点到超平面的间隔最大，支持向量机可以通过核函数将低维空间中的非线性问题映射到高维空间中，从而解决非线性分类问题，支持向量机的优点是在处理小样本、非线性和高维数据时表现出较好的性能，具有较好的泛化能力，但是它的计算复杂度较高，尤其是在处理大规模数据集时，并且核函数的选择和参数调整比较复杂。
三、数据仓库与数据挖掘的关系
（一）数据仓库为数据挖掘提供数据基础
数据仓库中的数据经过了清洗、集成和转换，具有较高的质量和一致性，为数据挖掘提供了丰富的、适合挖掘的数据源，数据仓库中的历史数据能够满足数据挖掘对数据的时间序列分析等需求，例如通过分析多年的销售数据挖掘销售趋势和季节性规律，而且数据仓库中的数据按照主题组织，便于数据挖掘人员根据不同的挖掘主题（如客户分析、产品分析等）获取相关数据。
（二）数据挖掘为数据仓库提供分析手段
数据挖掘可以从数据仓库的数据中提取有价值的信息和知识，这些知识可以进一步丰富数据仓库的内涵，通过数据挖掘得到的客户分类结果可以作为新的维度添加到数据仓库中，以便进行更深入的客户分析，数据挖掘还可以发现数据仓库中数据之间的隐藏关系，如关联规则，这些关系可以帮助企业优化业务流程，如调整产品组合、改进营销策略等。
（三）两者协同提高企业决策能力
数据仓库和数据挖掘相结合，可以为企业提供更全面、深入的决策支持，数据仓库提供数据存储和组织的平台，数据挖掘则对这些数据进行深度分析，挖掘出的知识可以为企业的战略决策（如市场定位、产品研发方向等）、战术决策（如营销活动策划、库存管理等）提供依据，企业可以通过数据仓库收集和整合销售数据、客户数据等，然后利用数据挖掘技术分析客户的购买行为和偏好，从而制定个性化的营销方案，提高客户满意度和企业的竞争力。
数据仓库与数据挖掘是现代企业数据管理和决策支持体系中不可或缺的两个部分，掌握它们的基本概念、技术和相互关系，对于从事数据分析、商业智能等相关领域的人员具有重要意义，在期末考试中，对这些知识点的深入理解和灵活运用也是取得好成绩的关键。
评论列表