《数据仓库各层保留时长的计算方法与策略》
一、引言
在数据仓库的架构中，不同层次的数据具有不同的特性和用途，其保留时长的确定是一个复杂但至关重要的问题，合理计算数据仓库各层的保留时长，不仅可以满足业务需求，还能有效管理存储资源、降低成本并确保数据的合规性。
二、数据仓库各层概述
图片来源于网络，如有侵权联系删除
1、ODS（操作数据存储层）
- ODS层主要存储从源系统抽取过来的原始数据，几乎是原样复制，它的保留时长往往与源系统的数据可用性和业务对原始数据追溯需求相关，对于金融交易系统，源系统可能按照监管要求保留一定时长的原始交易数据，如3 - 5年，ODS层为了能够提供最原始的交易记录查询，可能也需要保留相同的时长，这是因为在数据出现问题时，如数据质量检查发现某个交易数据异常，需要追溯到最原始的记录，而ODS层是最接近源数据的地方。
- 从数据量的角度来看，由于源系统的数据不断产生，ODS层的数据量增长较快，如果保留时长过长，会占用大量的存储资源，在计算保留时长时，要综合考虑源系统的数据更新频率、数据重要性以及存储成本，如果源系统的数据更新频率是每天新增大量数据，而其中只有近3个月的数据会被频繁查询用于初始数据加载和问题排查，那么ODS层可以考虑保留3 - 6个月的数据。
2、DW（数据仓库层）
- DW层对ODS层的数据进行清洗、转换和集成，按照主题域组织数据，DW层数据的保留时长更多地取决于业务分析需求，对于一些长期稳定的业务主题，如企业的客户信息、产品基本信息等，可能需要长期保留，甚至是永久保留，因为这些数据是企业运营的基础，无论是进行历史趋势分析还是当前业务决策，都离不开这些数据。
- 对于一些时效性较强的业务数据，如月度销售数据，在进行年度分析后，可能只需要保留3 - 5年即可，这是因为随着时间的推移，过于陈旧的月度销售数据对于当前业务决策的参考价值逐渐降低，DW层数据的保留时长还受到数据仓库的存储容量和性能的影响，如果数据仓库的存储容量有限，对于那些查询频率极低且对当前业务影响不大的数据，可以适当缩短保留时长。
3、DM（数据集市层）
- DM层是为特定部门或用户群体定制的数据集合，它的数据保留时长主要取决于部门业务需求和数据使用模式，市场部门的数据集市可能主要关注近期的市场活动数据和客户响应数据，对于这类数据，可能只需要保留1 - 2年，因为市场活动具有较强的时效性，超过一定时间后，这些数据对于市场策略制定的参考意义不大。
- 而财务部门的数据集市可能需要保留较长时间的财务数据，如5 - 10年，以满足财务审计、历史财务分析等需求，DM层数据的保留时长也需要考虑到与DW层数据的关联关系，如果DM层的数据是从DW层抽取而来，并且DW层的数据保留时长发生变化，DM层的数据保留时长也可能需要相应调整。
三、影响数据仓库各层保留时长计算的因素
1、业务需求
图片来源于网络，如有侵权联系删除
- 不同业务部门对数据的需求差异很大，销售部门可能更关注近期的销售数据和客户购买趋势，而研发部门可能需要长期保留产品研发过程中的测试数据等，业务需求还包括合规性要求，医疗行业的数据仓库需要按照相关法规保留患者的病历数据若干年。
2、数据价值随时间的变化
- 数据的价值在不同时间段是不同的，刚产生的数据可能对于实时决策和短期分析非常重要，而随着时间的推移，其价值可能会降低，电商平台的实时订单数据在订单处理期间价值极高，但几个月后，这些订单数据对于日常运营的价值主要体现在统计分析方面，再过几年，可能只有历史研究价值。
3、存储成本
- 数据仓库的存储不是无限的，存储成本包括硬件设备的购置、维护以及数据管理的人力成本等，如果保留大量低价值的数据，会增加不必要的成本，需要在数据价值和存储成本之间找到平衡，对于一些很少被查询且价值不高的数据，可以采用低成本的存储方式，如归档存储，并且适当缩短其保留时长。
4、数据更新频率
- 数据的更新频率影响保留时长的计算，如果数据更新频繁，如社交媒体平台的用户动态数据，旧的数据可能被新的数据快速替代，那么对于这类数据可以根据业务需求设置相对较短的保留时长，相反，对于更新缓慢的数据，如企业的固定资产信息，可能需要较长的保留时长。
四、计算数据仓库各层保留时长的方法
1、基于业务需求的分析方法
- 首先要深入了解各个业务部门的需求，可以通过与业务部门负责人、数据分析师等进行访谈，收集他们对数据使用的频率、用途以及数据重要性的看法，对于人力资源部门，了解他们在员工绩效评估、招聘等方面对数据的需求，从而确定数据仓库中人力资源相关数据的保留时长，对于招聘数据，可能只需要保留3 - 5年，因为超过这个时间，这些数据对于新的招聘决策参考价值不大，而员工绩效评估数据可能需要长期保留，因为它可以作为员工职业发展轨迹的一部分。
- 然后根据业务流程和决策周期来确定数据的保留时长，以供应链管理为例，采购订单数据的保留时长可以根据采购周期和供应商结算周期来确定，如果采购周期是季度性的，供应商结算周期是半年，那么采购订单数据可以保留1 - 2年，以满足订单查询、结算核对和供应商绩效评估等需求。
图片来源于网络，如有侵权联系删除
2、数据价值评估方法
- 对数据价值进行量化评估是比较困难的，但可以采用一些定性的方法，将数据的价值分为高、中、低三个等级，对于高价值数据，如企业的核心客户信息，给予较长的保留时长；对于低价值数据，如临时促销活动的一些中间计算数据，给予较短的保留时长。
- 可以根据数据的使用频率和对业务决策的影响程度来划分价值等级，数据使用频率高且对业务决策有重大影响的数据为高价值数据，使用频率低且对业务决策影响小的数据为低价值数据，还要考虑数据的唯一性和不可替代性，如果某个数据是企业独有的且无法从其他渠道获取，即使其使用频率不高，也应视为高价值数据并适当延长保留时长。
3、成本 - 效益分析方法
- 计算数据保留的成本和效益，成本包括存储成本、数据管理成本等，效益则是数据对业务决策的支持价值，假设保留某类数据每年的存储成本是1000元，而该数据每年对业务决策的效益评估为800元，如果效益持续低于成本，那么就需要考虑缩短该数据的保留时长。
- 建立成本 - 效益模型，通过分析不同保留时长下的成本和效益曲线，找到最佳的保留时长平衡点，对于一些数据量大但价值逐渐降低的数据，可以采用分级存储的方式，在数据价值较高的前期采用高性能、高成本的存储，随着数据价值降低，转移到低成本的存储方式，并相应调整保留时长。
五、结论
数据仓库各层保留时长的计算是一个综合性的工作，需要考虑业务需求、数据价值、存储成本和数据更新频率等多方面因素，通过合理的计算方法，如基于业务需求的分析方法、数据价值评估方法和成本 - 效益分析方法，可以确定各层数据的合适保留时长，从而在满足业务需求的同时，实现数据仓库的高效管理和成本控制，在实际操作中，还需要不断根据业务的发展和数据仓库的运行情况对保留时长进行动态调整，以确保数据仓库始终能够为企业提供最有价值的数据支持。
评论列表