黑狐家游戏

数据仓库分哪几层,数据仓库各层都存储什么表

欧气 2 0

本文目录导读:

  1. 数据仓库分层概述
  2. 源数据层(ODS)存储的表
  3. 明细数据层(DWD)存储的表
  4. 汇总数据层(DWS)存储的表
  5. 应用数据层(ADS)存储的表

数据仓库各层存储表的深度解析

数据仓库分层概述

数据仓库通常分为以下几个主要层次:源数据层(ODS,Operational Data Store)、数据仓库层(DW,Data Warehouse),其中数据仓库层又可细分为明细数据层(DWD,Data Warehouse Detail)、汇总数据层(DWS,Data Warehouse Summary)以及应用数据层(ADS,Application Data Store),各层在数据仓库体系中扮演着不同的角色,存储着不同类型的表,共同构建起一个完整、高效的数据存储和分析架构。

源数据层(ODS)存储的表

1、原始数据表

数据仓库分哪几层,数据仓库各层都存储什么表

图片来源于网络,如有侵权联系删除

- 这一层主要存储从各个业务系统直接抽取过来的原始数据,在一个电商企业的数据仓库中,ODS层会有来自订单管理系统的订单原始数据表,这个表包含了订单创建时的所有原始信息,如订单号、下单时间、用户ID、商品ID、购买数量、订单金额等,这些数据基本保持了业务系统中的原始结构和数据类型,没有经过太多的清洗和转换。

- 再比如,从客户关系管理系统(CRM)抽取过来的客户原始信息表,包含客户的基本资料,像姓名、性别、联系方式、注册时间等,这些原始数据表的存在,是为后续数据处理提供最基础的数据来源。

2、数据接口表

- 当数据来源是外部系统的接口时,ODS层会存储接口数据表,与第三方支付平台对接时,会有支付接口数据表,这个表记录了支付交易的相关信息,如支付流水号、支付金额、支付时间、支付状态以及与电商平台订单的关联信息等,接口数据表有助于整合外部系统的数据,为企业内部的数据仓库提供更全面的数据资源。

明细数据层(DWD)存储的表

1、清洗转换后的数据表

- 在DWD层,对ODS层的数据进行清洗和转换,以电商订单数据为例,会对订单原始数据表中的数据进行清洗,去除重复的订单记录(可能由于网络等原因产生的重复提交),修正数据格式,将下单时间统一转换为标准的日期时间格式,会对一些缺失值进行处理,如补充用户的收货地址缺失信息(可能通过关联用户注册信息或者历史订单地址来补充)。

- 对于商品信息,在DWD层会将从不同数据源(如商品管理系统、库存系统)抽取来的商品数据进行整合和清洗,将商品的名称、分类、价格等信息进行统一规范,形成一张清洗后的商品明细表,这个表中的数据更加准确、规范,为后续的分析提供可靠的基础。

数据仓库分哪几层,数据仓库各层都存储什么表

图片来源于网络,如有侵权联系删除

2、按业务实体细分的数据表

- DWD层还会按照业务实体对数据进行细分存储,除了订单明细表和商品明细表之外,还会有用户行为明细表,这个表记录了用户在电商平台上的各种行为,如浏览商品、加入购物车、收藏商品等行为的详细信息,每个行为都有对应的时间戳、用户ID、商品ID等信息,以便于对用户的行为轨迹进行详细分析。

汇总数据层(DWS)存储的表

1、轻度汇总表

- DWS层的轻度汇总表主要是对DWD层的数据进行初步的聚合操作,以电商业务为例,会有按日汇总的订单数据表,这个表统计了每天的订单数量、总销售额、不同商品类别的销售数量等信息,通过对DWD层的订单明细表进行分组聚合操作得到,这样的轻度汇总表减少了数据量,同时又保留了一定的业务分析粒度,方便进行一些常规的业务分析,如查看每日的销售趋势。

- 对于用户行为数据,会有按用户ID和日期汇总的用户行为汇总表,这个表统计了每个用户每天的行为次数,如浏览次数、加入购物车次数等,这种汇总表可以快速地分析用户的日常行为规律。

2、多维度汇总表

- 除了轻度汇总表,DWS层还会有基于多维度的汇总表,按地区、商品类别、时间(月、季度等)汇总的销售数据表,这个表可以从多个维度分析销售情况,如查看不同地区不同商品类别的月度销售趋势,这样的多维度汇总表为企业的决策分析提供了更全面的视角,能够满足不同业务部门(如市场部门、销售部门等)的分析需求。

数据仓库分哪几层,数据仓库各层都存储什么表

图片来源于网络,如有侵权联系删除

应用数据层(ADS)存储的表

1、特定业务分析表

- ADS层存储的是为特定业务应用或分析需求而定制的数据表,在电商企业中,如果要进行精准营销分析,会有用户价值分析表,这个表根据用户的购买频率、购买金额、最近购买时间等因素,对用户进行价值分类,如分为高价值用户、中价值用户和低价值用户,这样的分类表可以帮助营销部门制定不同的营销策略,针对不同价值的用户进行个性化的营销活动。

- 对于库存管理方面,会有库存预警分析表,这个表结合了商品的销售速度、库存数量等信息,计算出每个商品的库存预警值,当库存数量接近预警值时,可以及时通知相关部门进行补货操作,提高库存管理的效率。

2、报表数据表

- ADS层还会存储用于生成各种报表的数据表,财务部门需要的月度财务报表数据表,这个表汇总了一个月内的收入、成本、利润等财务数据,按照财务报表的格式要求进行存储,再如,运营部门需要的业务运营报表数据表,包含了关键业务指标(如订单量、用户增长量、商品转化率等)的数据,以便于生成直观的业务运营报表,供管理层决策参考。

标签: #数据仓库 #分层 #存储内容 #

黑狐家游戏
  • 评论列表

留言评论