《解析数据仓库五层架构之间的关系》
一、数据仓库的五层架构概述
1、ODS（操作数据存储层）
图片来源于网络，如有侵权联系删除
- ODS层是数据仓库的第一层，它主要存储从各个业务系统中直接抽取过来的原始数据，这些数据基本保持着与源系统相同的结构和内容，例如从一个电商平台的订单系统抽取的订单信息，包括订单号、下单时间、用户ID、商品ID、订单金额等字段，ODS层的主要目的是为了后续的数据处理提供一个接近源数据的存储，方便在数据出现问题时进行追溯和比对，它的数据更新频率通常比较高，与源业务系统的数据更新基本保持同步或者有较短的延迟。
2、DWD（明细数据层）
- DWD层是在ODS层的基础上进行初步清洗和转换得到的，它对ODS层的数据进行了诸如去除重复数据、处理缺失值、数据格式标准化等操作，将ODS层中日期格式不统一的下单时间统一转换为“YYYY - MM - DD HH:MM:SS”的格式，DWD层的数据更加规整，以业务过程为单位进行组织，以电商业务为例，会有订单明细数据、商品明细数据等不同的业务过程数据存储在DWD层，每个业务过程的数据包含了该业务过程相关的详细信息，为后续的数据分析提供了更细致的数据基础。
3、DWS（汇总数据层）
- DWS层是对DWD层数据的进一步聚合汇总，它是按照一定的业务规则和分析需求，对明细数据进行分组聚合操作得到的，对于电商业务，可以按照天、周、月对订单明细数据进行汇总，计算出每天、每周、每月的订单总量、销售额总量、用户购买商品的品类数量等汇总指标，DWS层的数据是为了满足一些常见的、粗粒度的数据分析需求，减少了数据量的同时提高了数据分析的效率，它的更新频率可能相对DWD层会低一些，例如按天或者按周更新。
4、ADS（应用数据层）
- ADS层是专门为特定的应用或者数据分析需求而构建的，它从DWS层或者DWD层获取数据，并根据具体的业务场景进行定制化的加工，对于电商平台的营销部门，ADS层可能会构建专门用于分析不同促销活动效果的数据集合，包括每个促销活动带来的新增用户数量、销售额增长比例、用户复购率等指标，ADS层的数据直接面向业务应用，其数据结构和内容是根据不同的业务应用需求高度定制化的。
图片来源于网络，如有侵权联系删除
5、DIM（维度层）
- DIM层是数据仓库中的维度数据存储层，维度数据是描述业务事实的角度，如时间维度（年、月、日等）、地域维度（国家、省份、城市等）、用户维度（用户年龄、性别、会员等级等），DIM层的数据相对稳定，虽然也会有更新，但更新频率较低，DIM层为DWD、DWS和ADS层提供了维度信息，在数据的聚合、查询和分析中起到了重要的作用，在计算按地区划分的销售额时，就需要从DIM层获取地域维度的数据与DWS层的销售额汇总数据进行关联分析。
二、五层之间的关系
1、ODS与DWD的关系
- ODS层是DWD层的数据源，DWD层依赖于ODS层的数据进行清洗和转换，ODS层的原始数据质量直接影响到DWD层的数据质量，如果ODS层存在大量错误数据或者数据缺失，那么DWD层在进行数据处理时就会面临困难，如果ODS层的订单数据中用户ID存在大量错误，那么DWD层在对订单明细数据进行清洗和规整时，就难以准确关联用户相关的其他信息，DWD层对ODS层数据的处理是为了让数据更适合后续的分析流程，是数据仓库构建过程中的重要一环。
2、DWD与DWS的关系
- DWD层为DWS层提供了详细的数据基础，DWS层的汇总操作是基于DWD层的明细数据进行的，没有DWD层的规整明细数据，DWS层就无法准确地进行聚合计算，要计算每月的用户购买商品的平均金额，首先需要DWD层提供准确的每个用户每次购买的订单明细数据，包括订单金额和购买商品数量等信息，然后DWS层才能按照月份对这些明细数据进行分组汇总计算，DWS层是对DWD层数据在更高层次上的抽象和概括，它将DWD层的大量明细数据进行压缩，提取出对分析有价值的汇总信息。
图片来源于网络，如有侵权联系删除
3、DWS与ADS的关系
- DWS层是ADS层的重要数据来源之一，ADS层根据具体的业务应用需求，从DWS层获取已经汇总好的数据并进行进一步的加工，DWS层的汇总数据为ADS层提供了一个相对粗粒度的数据基础，减少了ADS层的计算量，ADS层要分析不同地区、不同时间段的促销活动效果，就可以从DWS层获取已经按地区和时间汇总好的销售额、订单量等数据，然后再结合ADS层自身特有的业务逻辑，如促销活动标识等，进行更深入的分析，在某些情况下，ADS层也可能直接从DWD层获取数据，如果需要更详细的数据进行特殊的分析。
4、DIM与其他层的关系
- DIM层与DWD、DWS和ADS层都有着密切的关系，它为这三层提供了维度信息，是进行数据分析的重要视角，在DWD层中，维度数据用于对明细数据进行分类和标记，在订单明细数据中，通过与DIM层的用户维度数据关联，可以知道每个订单对应的用户的基本属性，在DWS层的汇总计算中，维度数据决定了汇总的分组依据，如按照DIM层的地域维度对销售额进行汇总，在ADS层，维度数据同样是构建特定业务分析数据的关键因素，比如在分析不同年龄段用户对促销活动的响应时，就需要从DIM层获取年龄维度的数据与ADS层的促销活动相关数据进行关联分析。
数据仓库的五层架构之间相互依存、层层递进，从原始数据的存储到明细数据的清洗、汇总数据的生成，再到针对应用的定制数据构建以及维度数据的支持，共同构成了一个完整的数据仓库体系，为企业的数据分析和决策提供了有力的支持。
评论列表