怎样制作拉链表
1、初始化拉链表(首次独立执行)

2、܉生成10条原始订单数据

3、܉建立拉链表

4、܉初始化拉链表

5、܉查询拉链表中数据

6、制作当日变动数据(包括新增,修改)每日执行
1)如何获得每日变动表
(1)最好表内有创建时间和变动时间(Lucky!)
(2)如果没有,可以利用第三方工具监控比如canal,监控MySQL的实时变化进行记录(麻烦)。
(3)逐行对比前后两天的数据, 检查md5(concat(全部有可能变化的字段))是否相同(low)
(4)要求业务数据库提供变动流水(人品,颜值)
7、܉因为dwd_order_info本身导入过来就是新增变动明细的表,所以不用处理
(1)2019-02-14日新增2条订单数据

8、(2)通过Sqoop把2019-02-14日所有数据导入

9、(3)ODS层数据导入

10、(4)DWD层数据导入

11、先合并变动信息,再追加新增信息,插入到临时表中
1)建立临时表

12、܉导入脚本


13、把临时表覆盖给拉链表
1)导入数据

14、܉查询导入数据

15、整理为每日脚本
声明:本网站引用、摘录或转载内容仅供网站访问者交流或参考,不代表本站立场,如存在版权或非法内容,请联系站长删除,联系邮箱:site.kefu@qq.com。
阅读量:184
阅读量:128
阅读量:61
阅读量:95
阅读量:82