《大数据应用主要流程之外：被排除的环节及其意义》
一、大数据应用的常规主要流程
大数据应用的主要流程通常包括数据采集、数据存储、数据预处理、数据分析与挖掘以及数据可视化等环节。
1、数据采集
- 数据采集是大数据应用的起始点，它涉及从多种数据源获取数据，这些数据源可以是传感器、社交媒体平台、企业的业务系统（如ERP、CRM等），在智能交通系统中，通过在道路上设置的传感器采集车辆的流量、速度等数据；电商企业从其网站的用户浏览、购买等行为中采集数据，采集的数据类型多样，包括结构化数据（如数据库中的表格数据）和非结构化数据（如文本、图像、视频等）。
图片来源于网络，如有侵权联系删除
2、数据存储
- 采集到的海量数据需要合适的存储方式，传统的关系型数据库在面对大数据量时可能会遇到性能瓶颈，于是出现了诸如Hadoop的HDFS（分布式文件系统）等存储技术，这些存储系统能够将数据分散存储在多个节点上，实现数据的高效存储和管理，Facebook每天产生海量的用户数据，通过其强大的存储系统进行存储，以确保数据的安全性和可访问性。
3、数据预处理
- 在进行分析之前，原始数据往往需要进行预处理，这包括数据清洗（去除噪声、重复数据等）、数据集成（将来自不同数据源的数据整合在一起）和数据转换（如对数据进行标准化、归一化处理），在金融领域，从多个银行分支机构采集的数据可能存在格式不一致等问题，通过数据预处理可以将这些数据转化为适合分析的形式。
4、数据分析与挖掘
- 这是大数据应用的核心环节，通过运用各种数据分析算法和挖掘技术，从海量数据中提取有价值的信息和模式，在医疗领域，可以通过分析大量患者的病历数据，挖掘疾病的发病规律、预测疾病的发展趋势；在市场营销中，分析用户的消费行为数据，挖掘用户的潜在需求，进行精准营销。
5、数据可视化
- 分析得到的结果需要以直观的方式呈现给决策者和用户，数据可视化技术通过图表（如柱状图、折线图、饼图等）、地图、信息图等形式将数据结果展示出来，使得用户能够快速理解数据背后的含义，在气象数据的展示中，通过可视化地图展示不同地区的气温、降水等气象要素的分布情况。
图片来源于网络，如有侵权联系删除
二、大数据应用主要流程不包括的内容
1、道德与伦理判断的自动化纳入流程
- 大数据应用主要流程往往侧重于技术和数据处理本身，而不直接包括道德与伦理判断的自动化环节，虽然数据采集和使用应该遵循一定的道德和伦理规范，但在实际的主要流程中，并没有一个自动化的模块专门进行诸如“这个数据采集是否侵犯用户隐私到了不可接受的程度”这样的道德判断，在一些互联网公司采集用户数据用于广告投放时，虽然有隐私政策声明，但在数据采集、存储和分析的技术流程中，并没有一个自动判定采集行为是否完全符合所有可能的道德伦理要求的步骤，这是因为道德和伦理判断往往涉及复杂的社会、文化和价值观念，难以用简单的算法和规则进行自动化判定。
- 不同的文化背景和社会群体对于数据使用的道德伦理接受程度可能存在差异，在某些西方国家，对于个人数据特别是涉及健康和财务等敏感信息的保护非常严格，而在一些发展中国家可能相对宽松一些，这种差异使得很难将统一的道德伦理判断直接嵌入到大数据应用的主要流程中。
2、对社会文化变革的主动适应机制
- 大数据应用主要流程是围绕数据和技术展开的，不包括对社会文化变革的主动适应机制，社会文化在不断发展变化，这些变化会影响到数据的含义、数据的使用价值以及用户对数据应用的态度，随着人们对健康意识的提高，对于健身类APP采集和使用个人健康数据（如运动轨迹、心率等）的态度可能会发生变化，大数据应用的主要流程不会自动调整以适应这种社会文化的改变，它更多地关注数据本身的处理和分析结果，而不是主动去感知社会文化的变化并做出相应的调整。
- 社会文化变革可能会导致新的数据需求或者对现有数据解读的改变，随着性别平等观念的深入，在人力资源管理中，对于员工性别相关数据的分析和使用方式可能需要改变，但大数据应用的主要流程没有内置的机制来主动识别这种社会文化驱动的需求变化并调整数据的处理方式。
3、法律监管的内在执行环节
图片来源于网络，如有侵权联系删除
- 尽管大数据应用必须在法律框架内进行，但主要流程不包括法律监管的内在执行环节，法律监管是从外部对大数据应用进行约束的，如数据保护法、网络安全法等规定了数据的合法采集、存储和使用范围等，在大数据应用内部的主要流程中，没有一个专门的流程部分是直接执行法律要求的，在数据采集过程中，虽然有法律规定需要用户同意采集某些敏感数据，但在技术流程中并没有一个专门的、与法律条文直接对应的执行模块，企业或组织更多的是通过制定内部政策和流程来尽量遵守法律要求，但这与将法律监管直接融入大数据应用主要流程是不同的概念。
- 这是因为法律是一个复杂的、不断更新的体系，将其直接融入技术流程面临着巨大的挑战，而且不同国家和地区的法律差异很大，很难构建一个通用的、基于法律监管的大数据应用流程模块。
4、宏观经济波动的自动应对
- 大数据应用主要流程不会自动考虑宏观经济波动的影响，宏观经济的变化，如经济衰退或繁荣，会影响数据的来源、数据的质量和数据的分析价值，在经济衰退期间，企业的销售数据可能会大幅下降，消费者的消费行为也会发生改变，大数据应用的主要流程，如数据采集、存储和分析等环节，不会自动根据宏观经济波动进行调整，它不会因为经济衰退就自动改变数据采集的重点或者分析模型。
- 宏观经济波动对不同行业的影响不同，而大数据应用主要流程缺乏一种能够识别这种行业特异性并做出相应调整的能力，在房地产行业，经济衰退可能导致房屋销售数据急剧下降，而在食品行业可能相对稳定，但大数据应用的主要流程没有内在的机制来针对这种宏观经济波动下不同行业的差异进行数据处理和分析的调整。
大数据应用的主要流程虽然在数据处理和价值挖掘方面有着完善的环节，但在道德伦理判断、社会文化适应、法律监管内在执行和宏观经济波动应对等方面缺乏直接的包含关系，这也为大数据应用在更广泛的社会和经济环境中的健康发展提出了新的挑战和思考方向。
评论列表