《数据治理规范与标准:差异剖析与协同构建》
一、数据治理规范与标准的内涵区别
图片来源于网络,如有侵权联系删除
(一)数据治理规范
1、定义与性质
- 数据治理规范是对数据治理活动的一种约定性描述,它更多地体现为一种行为准则和操作指南,规范具有一定的灵活性,旨在根据组织的战略目标、业务需求和数据管理的实际情况,对数据治理的各个环节,如数据采集、存储、处理、共享等,规定应该遵循的流程、方法和原则。
- 在数据采集环节的规范可能规定了采集数据的合法性来源、采集的频率、采集数据的质量要求等,这些规范是从组织内部管理的角度出发,确保数据治理活动在一个有序、合规、符合业务逻辑的框架内进行。
2、制定依据
- 数据治理规范的制定依据主要来源于组织内部的业务需求、管理理念以及相关法律法规的要求,金融机构的数据治理规范会考虑到巴塞尔协议等金融监管要求,同时也会结合自身的风险管理、客户服务等业务需求,它还会受到组织内部文化的影响,如对数据隐私保护的重视程度可能因组织文化的不同而在规范中有不同的体现。
(二)数据治理标准
1、定义与性质
- 数据治理标准是一种更为严格和统一的要求,具有普遍性和通用性,它是在行业或更大范围内经过协商一致制定的准则,旨在确保不同组织或系统之间的数据一致性、互操作性和兼容性,标准往往是量化的、精确的,是对数据的格式、编码、质量指标等方面的明确规定。
- 国际标准化组织(ISO)制定的数据质量标准,对数据的准确性、完整性、一致性等质量维度有明确的量化定义,这些标准一旦确定,适用于广泛的组织和数据相关的业务场景,为数据的交换、整合和共享提供了统一的基础。
2、制定依据
- 数据治理标准的制定依据更多地来源于行业最佳实践、国际或国家标准制定机构的研究成果以及跨组织的合作需求,在医疗行业,为了实现医疗数据的共享和互认,会制定统一的医疗数据标准,如电子病历的格式标准、疾病编码标准等,这些标准的制定往往需要众多医疗机构、医疗设备制造商以及相关研究机构的参与,以确保其科学性和广泛适用性。
二、数据治理规范与标准在数据治理各环节中的体现区别
(一)数据采集
1、数据治理规范
- 在数据采集方面,规范更侧重于组织内部流程的管控,规定由特定部门负责特定类型数据的采集,采集人员需要经过培训并遵循一定的操作手册,规范可能还会要求在采集前对数据源进行评估,确保数据的可靠性,但这种评估更多是基于组织内部业务逻辑的定性评估。
图片来源于网络,如有侵权联系删除
2、数据治理标准
- 数据采集的标准则更多关注数据本身的特性,如对于传感器采集的数据,可能有标准规定采集的精度、采样频率的具体数值范围,在数据格式方面,有标准规定采集的数据应遵循的编码格式,如采用UTF - 8编码等,以确保数据在不同系统间的兼容性。
(二)数据存储
1、数据治理规范
- 规范会对存储的数据进行分类管理的要求,例如按照数据的敏感性分为机密、内部使用、公开等不同级别,并规定相应的存储安全措施,规范可能会对存储设备的管理流程进行规定,如存储设备的采购、维护、报废等环节的审批流程。
2、数据治理标准
- 数据存储标准更多地涉及到存储架构、数据存储的物理和逻辑结构等方面,规定采用某种特定的数据库管理系统(DBMS)时,数据存储的表结构设计标准,包括字段的定义、索引的创建规则等,在数据存储的容量规划方面,可能有标准规定根据数据的增长趋势,如何合理规划存储容量。
(三)数据处理
1、数据治理规范
- 规范会对数据处理的人员权限进行明确规定,如只有经过授权的数据分析师才能进行特定类型的数据处理操作,在数据处理流程方面,规范可能规定了从原始数据到最终结果数据的处理步骤顺序,以及每个步骤的审核要求。
2、数据治理标准
- 数据处理标准更多地关注处理算法和技术的一致性,在数据挖掘中,对于数据聚类算法的使用标准,包括算法的参数选择范围、算法的收敛条件等,在数据清洗方面,有标准规定如何识别和处理数据中的异常值、重复值等具体操作标准。
(四)数据共享
1、数据治理规范
- 规范会从组织内部管理角度规定数据共享的审批流程,明确哪些数据可以共享、与哪些部门或外部组织共享以及共享的目的等,规范还会对共享数据的使用范围进行限制,并规定数据共享后的跟踪和监控机制,以确保数据的合规使用。
2、数据治理标准
图片来源于网络,如有侵权联系删除
- 数据共享标准更多地关注数据共享接口的一致性和数据的互操作性,制定统一的应用程序编程接口(API)标准,以便不同系统之间能够方便地进行数据共享,在数据语义方面,有标准规定共享数据的术语定义、数据元素的含义等,避免因语义差异导致的数据共享障碍。
三、数据治理规范与标准的协同关系
(一)规范与标准的相互补充
1、数据治理规范为标准的实施提供组织内部的保障
- 规范可以根据组织的具体情况,将标准进行细化和本地化,使其更符合组织的业务流程和管理文化,在遵循国际数据质量标准的基础上,组织可以通过规范规定如何在内部的各个业务部门具体落实这些标准,如数据质量的日常检查流程、数据质量问题的上报和解决机制等。
2、数据治理标准为规范提供了科学的、通用的依据
- 标准为组织制定规范提供了外部的参考框架,确保组织的规范具有一定的科学性和先进性,当组织制定数据存储安全规范时,可以参考国际上关于数据存储安全的标准,如ISO 27001等,使规范中的安全要求与国际最佳实践接轨。
(二)规范与标准的协同发展
1、在数据治理的发展过程中,规范和标准需要不断演进
- 随着技术的发展和业务需求的变化,数据治理规范和标准都需要进行更新,随着大数据和人工智能技术的广泛应用,数据治理规范需要对新的数据来源、新的数据处理技术(如深度学习算法在数据处理中的应用)等进行规范,数据治理标准也需要不断完善,以适应新的数据类型(如非结构化数据)和新的应用场景(如物联网中的数据交换)。
2、组织与行业的互动促进规范与标准的协同
- 组织在实施数据治理规范的过程中,可以将遇到的问题和经验反馈给行业,推动行业标准的修订和完善,而行业标准的更新又会促使组织对自身的规范进行调整,金融行业的组织在数据治理规范实施中发现现有的信用风险数据标准存在不足,将这些问题反馈给行业协会后,行业协会可以组织力量修订信用风险数据标准,金融组织再根据新的标准调整自身的规范。
数据治理规范和标准虽然存在内涵、制定依据以及在数据治理各环节体现等方面的区别,但它们之间又有着密切的协同关系,在数据治理的实践中,组织需要正确认识和处理两者的关系,以提高数据治理的效率和质量,实现数据资产的有效管理和价值挖掘。
评论列表