《数据分析与数据挖掘期末考试答案解析与知识要点回顾》
一、数据预处理部分
1、数据清洗
- 在数据分析与数据挖掘的实际操作中，数据清洗是至关重要的第一步，数据往往来自多个不同的数据源，可能存在着缺失值、重复值和错误值等问题。
- 对于缺失值的处理方法有多种，如果数据量足够大且缺失值比例较小，可以直接删除包含缺失值的记录，当数据量有限或者缺失值具有一定的意义时，就需要采用填充的方法，对于数值型变量，可以使用均值、中位数或者众数进行填充；对于分类变量，可以使用出现频率最高的类别进行填充。
图片来源于网络，如有侵权联系删除
- 重复值会干扰数据分析的结果，通常可以通过比较数据记录的所有特征或者部分关键特征来识别并删除重复值。
- 错误值的处理则需要根据具体情况进行判断，可能是数据录入错误，例如数据类型不匹配或者超出合理范围的值，对于这类错误值，需要通过数据验证规则或者与数据源重新核对来修正。
2、数据集成
- 当从多个数据源获取数据时，需要进行数据集成，这可能涉及到合并不同结构的数据表，在一个销售数据分析项目中，可能有来自销售系统的订单数据表和来自客户关系管理系统的客户信息表。
- 在数据集成过程中，需要解决的关键问题包括实体识别和属性匹配，实体识别是确定不同数据源中的相同实体，例如不同表中的客户可能通过客户编号或者其他唯一标识符来关联，属性匹配则是确保不同数据源中描述同一实体属性的一致性，比如一个表中的“客户年龄”字段和另一个表中的“出生日期”字段需要进行转换和匹配，以便能够准确地进行数据分析。
3、数据变换
- 数据变换的目的是将数据转换为更适合分析和挖掘的形式，常见的数据变换包括标准化和归一化。
- 标准化通常是将数据转换为均值为0，标准差为1的分布，对于许多数据挖掘算法，如基于距离的算法（如K - 均值聚类），标准化数据可以避免由于不同特征的量纲不同而对结果产生偏差。
- 归一化则是将数据映射到特定的区间，如[0, 1]区间，在一些神经网络的输入数据处理中，归一化可以提高模型的训练效率和准确性，还有对数变换等方法，用于处理数据的偏态分布，使数据更接近正态分布，从而满足某些分析方法的假设条件。
二、数据分析基础部分
1、描述性统计分析
- 描述性统计分析是对数据的基本特征进行概括，包括计算均值、中位数、众数、标准差、方差等统计量。
- 均值是数据的平均值，反映了数据的集中趋势，但是均值容易受到极端值的影响，例如在一个员工工资数据集里，如果有少数高管的工资非常高，那么均值可能会高估普通员工的工资水平。
图片来源于网络，如有侵权联系删除
- 中位数则是将数据排序后位于中间位置的值，它对极端值不敏感，能够更好地反映数据的中间水平，众数是数据中出现频率最高的值，适用于分类数据或者具有明显集中趋势的数据。
- 标准差和方差则用于衡量数据的离散程度，标准差越大，说明数据的分布越分散；标准差越小，说明数据越集中在均值附近。
2、相关性分析
- 相关性分析用于研究两个或多个变量之间的关系，最常见的是计算皮尔逊相关系数。
- 皮尔逊相关系数的取值范围在 - 1到1之间，当系数为1时，表示两个变量完全正相关；当系数为 - 1时，表示两个变量完全负相关；当系数为0时，表示两个变量之间没有线性关系。
- 但是需要注意的是，皮尔逊相关系数只能衡量线性关系，对于非线性关系可能无法准确反映变量之间的关系，在实际分析中，还可以通过绘制散点图等可视化方法来辅助判断变量之间的关系类型。
三、数据挖掘算法部分
1、分类算法
- 分类算法是数据挖掘中的重要组成部分，例如决策树算法，决策树是一种基于树结构进行决策的算法，它通过对特征的逐步划分来构建分类模型。
- 在构建决策树时，选择合适的特征作为分裂节点是关键，常用的特征选择标准有信息增益、信息增益比和基尼系数等，在一个疾病诊断的数据集里，决策树可以根据患者的症状、年龄、性别等特征来判断患者是否患有某种疾病。
- 另一种常见的分类算法是支持向量机（SVM），SVM的基本思想是在特征空间中找到一个最优的超平面，将不同类别的数据分开，SVM对于小样本、高维数据具有较好的分类效果，并且可以通过核函数将低维数据映射到高维空间，从而处理非线性分类问题。
2、聚类算法
- 聚类算法用于将数据集中的数据点划分成不同的簇，使得同一簇内的数据点具有较高的相似性，而不同簇之间的数据点具有较大的差异。
图片来源于网络，如有侵权联系删除
- K - 均值聚类是一种简单而常用的聚类算法，它的基本步骤包括随机选择K个初始聚类中心，然后将每个数据点分配到距离最近的聚类中心所属的簇中，接着重新计算每个簇的中心，不断迭代直到收敛。
- 层次聚类则是另一种聚类方法，它构建一个聚类的层次结构，可以是凝聚式（从每个数据点作为一个单独的簇开始，逐步合并）或者分裂式（从所有数据点都在一个簇开始，逐步分裂），层次聚类不需要预先指定聚类的数量，但是计算复杂度相对较高。
四、模型评估部分
1、分类模型评估
- 对于分类模型，常用的评估指标有准确率、召回率、F1值等。
- 准确率是指预测正确的样本数占总预测样本数的比例，但是在某些情况下，准确率可能会受到数据不平衡的影响，在一个欺诈检测的数据集里，欺诈样本可能只占很小的比例，如果模型总是预测为非欺诈，准确率可能仍然很高，但实际上模型并没有很好地识别出欺诈样本。
- 召回率是指预测正确的正样本数占实际正样本数的比例，F1值则是综合考虑准确率和召回率的指标，它是准确率和召回率的调和平均数，F1值越高，说明模型的性能越好。
2、聚类模型评估
- 聚类模型的评估相对复杂，因为没有像分类模型那样明确的对错之分，常用的评估指标有轮廓系数。
- 轮廓系数衡量一个数据点与它所在簇内其他数据点的平均距离和与其他簇内数据点的平均距离之比，轮廓系数的取值范围在 - 1到1之间，值越大说明聚类效果越好，还有戴维森堡丁指数（DBI）等指标，用于评估聚类的紧凑性和分离度。
在数据分析与数据挖掘的期末考试中，对这些知识点的掌握和灵活运用是非常关键的，不仅要理解各个概念和算法的原理，还要能够在实际的案例和数据集中进行应用和分析，并且根据评估结果对模型进行优化，以达到更好的数据分析和挖掘效果。
评论列表