《数据仓库与数据挖掘期末考试要点解析》
一、数据仓库部分
图片来源于网络，如有侵权联系删除
（一）数据仓库概念
数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策，在一个零售企业的数据仓库中，以销售为主题，它会集成来自不同数据源（如各个门店的销售系统、线上销售平台等）的数据，这些数据一旦进入数据仓库，相对稳定，不会像在操作型数据库中频繁修改，并且能够记录销售数据随时间的变化情况，如不同季节、不同年份的销售趋势。
（二）数据仓库的体系结构
1、数据源层
这是数据仓库的数据来源，包括各种事务处理系统（如企业的ERP系统、CRM系统等）、外部数据源（如市场调研数据、行业报告等）。
2、数据抽取、转换和加载（ETL）层
ETL过程是数据仓库构建的关键环节，抽取是从数据源中获取数据的过程，如从多个数据库中按照特定的查询条件抽取数据，转换涉及对抽取的数据进行清洗（去除噪声数据、错误数据等）、转换数据格式（如将日期格式统一）、对数据进行汇总计算等操作，加载则是将处理后的数据加载到数据仓库的目标存储结构中，如加载到星型模型或雪花模型的事实表和维表中。
3、数据存储层
数据存储层采用特定的数据模型，常见的有星型模型和雪花模型，星型模型以事实表为中心，周围连接多个维表，例如在销售数据仓库中，事实表包含销售数量、销售额等事实数据，维表可能包括时间维（如年、月、日）、产品维（产品名称、类别等）、地区维（城市、省份等），雪花模型则是对星型模型维表的进一步规范化，将某些维表进一步分解，减少数据冗余，但查询复杂度相对增加。
4、数据访问层
为用户和应用程序提供数据访问接口，如通过SQL查询、报表工具、数据分析软件等访问数据仓库中的数据，以便进行数据分析、报表生成和决策支持。
（三）数据仓库的数据质量
1、数据质量的维度
包括准确性（数据是否正确反映现实情况）、完整性（数据是否存在缺失值）、一致性（数据在不同数据源或不同部分是否一致）、时效性（数据是否及时更新）等，如果销售数据仓库中的销售额数据存在错误，那么基于这些数据做出的销售策略决策可能会出现偏差；如果产品维表中部分产品的类别信息缺失，会影响对产品销售结构的分析。
2、提高数据质量的方法
数据清洗是提高数据质量的重要手段，通过编写数据清洗规则来处理数据中的异常值、缺失值等，建立数据质量监控机制，定期对数据质量进行评估，及时发现并解决数据质量问题。
图片来源于网络，如有侵权联系删除
二、数据挖掘部分
（一）数据挖掘的概念和任务
1、概念
数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。
2、任务
（1）分类任务
例如将客户按照信用风险分为高风险客户、中风险客户和低风险客户，常用的分类算法有决策树算法（如C4.5算法）、支持向量机算法等，决策树算法通过构建一棵类似树状的结构，根据不同的属性值对样本进行分类，支持向量机则是通过寻找一个最优的超平面将不同类别的样本分开。
（2）聚类任务
聚类是将数据对象分组为多个类或簇，使得同一个簇中的对象具有较高的相似性，而不同簇中的对象具有较大的差异，在市场细分中，将客户聚类为不同的群体，以便针对不同群体制定营销策略，K - 均值聚类是一种常用的聚类算法，它随机选择K个初始聚类中心，然后根据数据点到聚类中心的距离将数据点分配到不同的簇中，并不断更新聚类中心，直到聚类结果收敛。
（3）关联规则挖掘
关联规则挖掘旨在发现数据集中不同变量之间的关联关系，例如在超市的购物篮分析中，发现“购买面包的顾客同时购买牛奶的概率较高”这样的关联规则，Apriori算法是一种经典的关联规则挖掘算法，它通过频繁项集的生成和关联规则的产生来挖掘数据中的关联关系。
（二）数据挖掘的流程
1、数据收集
收集与挖掘任务相关的数据，如在进行客户流失预测挖掘时，收集客户的基本信息、消费行为数据、投诉记录等数据。
2、数据预处理
与数据仓库中的数据预处理类似，包括数据清洗、数据集成（将来自多个数据源的数据集成到一起）、数据变换（如对数据进行标准化、归一化等操作）和数据归约（在不影响挖掘结果的前提下减少数据量，如通过抽样方法）。
图片来源于网络，如有侵权联系删除
3、数据挖掘算法选择和模型构建
根据挖掘任务选择合适的算法，如进行分类任务时选择决策树或支持向量机算法等，然后利用训练数据构建数据挖掘模型，如在分类任务中，利用标记好的训练数据构建分类模型。
4、模型评估和优化
使用测试数据对构建的模型进行评估，如对于分类模型，使用准确率、召回率、F1值等指标来评估模型的性能，如果模型性能不理想，则对模型进行优化，如调整算法的参数、更换算法等。
5、结果解释和应用
对挖掘得到的结果进行解释，将其转化为可理解的知识和信息，如将客户流失预测结果转化为对客户保留策略的建议，并应用到实际业务中。
（三）数据挖掘的应用领域
1、商业领域
在市场营销方面，通过数据挖掘进行客户细分、客户流失预测、市场趋势预测等；在供应链管理中，进行库存优化、需求预测等，电商企业通过对用户购买行为数据的挖掘，向用户推荐可能感兴趣的商品，提高销售额。
2、医疗领域
数据挖掘可用于疾病诊断（如通过分析患者的症状、检查结果等数据进行疾病的早期诊断）、药物研发（分析药物的疗效和副作用等数据）、医疗资源管理（预测医院的就诊人数，合理安排医护人员等）。
3、金融领域
用于信用评估（评估客户的信用风险）、金融市场预测（如股票价格预测）、欺诈检测（识别信用卡欺诈、保险欺诈等行为）等，银行通过分析客户的信用历史、收入情况等数据来评估客户的信用风险，决定是否发放贷款以及贷款额度。
在期末考试中，对于数据仓库部分，可能会重点考查数据仓库的概念、体系结构、数据质量相关知识；对于数据挖掘部分，可能会着重考查数据挖掘的概念、任务、流程以及在不同领域的应用等内容，同学们需要对这些知识点深入理解，灵活运用，才能在考试中取得好成绩。
评论列表