《数据仓库与数据挖掘复习：构建数据智慧的关键要素》
一、数据仓库基础概念复习
数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
1、面向主题
- 与传统的面向应用的数据库不同，数据仓库是围绕着企业的主题域进行组织的，在零售企业中，“销售”就是一个主题，数据仓库中会整合与销售相关的各种数据，如销售时间、销售地点、销售产品、销售人员等，而不像在操作型数据库中按照不同的业务应用（如库存管理系统、销售点系统）进行分散存储。
图片来源于网络，如有侵权联系删除
2、集成性
- 数据仓库中的数据来自于多个数据源，这些数据源的数据格式、编码方式等可能不同，在将数据抽取到数据仓库时，需要进行数据清洗、转换和集成，从不同地区的销售系统中抽取数据，可能存在货币单位不一致的情况，需要将其统一转换为一种货币单位，以保证数据的一致性和准确性。
3、相对稳定性
- 数据仓库中的数据主要用于分析决策，不像操作型数据库那样频繁地进行更新、插入和删除操作，一旦数据进入数据仓库，就相对稳定，销售历史数据一旦存储到数据仓库中，不会因为某一笔新的销售业务而频繁改变历史销售数据的基本信息，而是通过新的数据加载周期定期更新相关汇总数据等。
4、反映历史变化
- 数据仓库能够记录数据随时间的变化情况，通过时间戳记录每个销售记录的发生时间，可以分析销售趋势，如按季度、年度分析销售额的增长或下降情况，从而为企业的战略决策提供依据。
二、数据挖掘技术要点回顾
1、数据挖掘任务
- 分类任务：这是一种将数据对象划分到不同类别的任务，在银行信贷风险评估中，根据客户的年龄、收入、信用历史等特征，将客户分为高风险、中风险和低风险三类，常用的分类算法有决策树算法（如C4.5、CART）、支持向量机（SVM）等，决策树算法通过构建树状结构来对数据进行分类，它的每个内部节点是一个属性上的测试，分支是测试输出，叶节点是类别或类别分布。
- 聚类任务：聚类是将数据对象分组为多个类或簇的过程，使得同一簇内的对象具有较高的相似性，而不同簇之间的对象具有较大的差异，在市场细分中，根据消费者的购买行为、消费偏好等特征将消费者聚类成不同的群体，K - 均值聚类是一种常用的聚类算法，它首先随机选择K个初始聚类中心，然后将每个数据点分配到最近的聚类中心，再重新计算聚类中心，不断迭代直到收敛。
图片来源于网络，如有侵权联系删除
- 关联规则挖掘：旨在发现数据集中不同项之间的关联关系，在超市购物数据挖掘中，可能发现“购买面包的顾客有80%的概率也会购买牛奶”这样的关联规则，Apriori算法是关联规则挖掘的经典算法，它通过频繁项集的逐层搜索来发现关联规则，首先找出所有的频繁1 - 项集，然后基于频繁1 - 项集生成频繁2 - 项集，以此类推。
2、数据挖掘过程
- 数据预处理：包括数据清洗（去除噪声、处理缺失值等）、数据集成（整合多个数据源的数据）、数据变换（如归一化、标准化等）和数据归约（在尽可能保持数据完整性的前提下减少数据量），在处理医疗数据时，可能存在一些患者年龄数据缺失的情况，可以采用均值填充或基于模型的填充方法进行处理。
- 模型选择与构建：根据挖掘任务选择合适的算法构建模型，对于预测股票价格的任务，由于数据具有时间序列特征，可能选择神经网络中的长短期记忆网络（LSTM）模型。
- 模型评估：使用测试集对构建的模型进行评估，评估指标因任务而异，在分类任务中，常用的指标有准确率、召回率、F1值等，准确率表示预测正确的样本数占总预测样本数的比例；召回率表示预测出的正例样本数占实际正例样本数的比例；F1值是准确率和召回率的调和平均数。
三、数据仓库与数据挖掘的关系
数据仓库为数据挖掘提供了数据基础，数据仓库中的数据经过了清洗、集成和预处理，具有较高的质量和一致性，适合进行数据挖掘操作，在电信企业的数据仓库中存储了用户的通话记录、套餐使用情况、缴费记录等数据，这些数据可以为数据挖掘提供丰富的素材，通过数据挖掘，可以发现用户的消费模式、流失倾向等有价值的信息，进而为企业制定营销策略、客户挽留策略等提供决策支持。
数据挖掘的结果也可以反馈到数据仓库中，进一步完善数据仓库的数据内容和结构，通过数据挖掘发现了新的用户分类方式或用户行为模式，这些结果可以作为新的维度或属性添加到数据仓库中，以便在后续的分析决策中使用。
四、复习中的重点与难点突破
1、重点把握
图片来源于网络，如有侵权联系删除
- 在数据仓库方面，要重点掌握数据仓库的架构，包括数据源、ETL（抽取、转换、加载）过程、数据存储模式（如星型模式、雪花模式等）和元数据管理，星型模式以一个事实表为中心，周围连接多个维度表，这种模式在查询性能上有优势，常用于数据仓库的设计。
- 在数据挖掘方面，要熟练掌握各种数据挖掘算法的原理、适用场景和优缺点，朴素贝叶斯算法基于贝叶斯定理，假设属性之间相互独立，它计算简单、速度快，适用于文本分类等任务，但由于其属性独立假设，在某些复杂数据关系下可能效果不佳。
2、难点突破
- 数据仓库中的ETL过程是一个难点，ETL涉及到复杂的数据处理逻辑，如数据清洗中的异常值处理、数据转换中的复杂计算（如将字符串类型的日期转换为日期类型并进行日期计算）等，解决这个难点需要通过实际的案例和项目练习，深入理解ETL工具（如Informatica、Kettle等）的使用方法。
- 在数据挖掘中，模型选择和超参数调整是难点，不同的数据挖掘任务和数据集可能需要不同的模型，而且模型中的超参数（如决策树的最大深度、K - 均值聚类中的K值等）对模型的性能有很大影响，可以通过交叉验证等方法来选择合适的模型和调整超参数，10 - 折交叉验证将数据集分成10份，轮流将其中9份作为训练集，1份作为测试集，通过多次实验来评估模型的性能并选择最佳的超参数。
五、复习总结与展望
在复习数据仓库与数据挖掘的过程中，我们要系统地掌握数据仓库的构建原理、数据挖掘的技术方法以及两者之间的紧密联系，随着大数据时代的发展，数据仓库和数据挖掘技术也在不断演进，随着云计算技术的发展，出现了云数据仓库，为企业提供了更灵活、可扩展的数据存储和分析解决方案，在数据挖掘方面，深度学习技术的融入使得数据挖掘在图像识别、语音识别等领域取得了巨大的突破，我们需要不断学习和跟进这些新技术，以便在实际的数据分析和决策支持工作中更好地发挥数据仓库与数据挖掘的作用。
评论列表