首页 专栏 hadoop 文章详情

建模分析

基于访客系统的案例来进行讨论

建模分析目的

分析出整个数仓需要哪些层次，哪些表，哪些字段

ODS层：源数据层

对接源数据，保持和源数据相同粒度

DWD

任务：

1.清洗。

不完整数据 过期或者无效数据

2.转换

create_time->年月日 或时间戳 3.可以适当维度退化，减少表的关联

DWM：中间层

进一步对明细层进行聚合，譬如可以将日的记录先合并，在后期记录月时可以更方便的合并

DWS: 业务层

细化聚合统计，

APP:应用层

对细化统计结果再次分析 可以省略

DIM：维度层

放置维度表数据