怎样制作拉链表
1、初始化拉链表(首次独立执行)
2、1)艳悦生成10条原始订单数据
3、2)建立拉链表
4、3)初始化拉链表
5、4)查询拉链表中数据
6、制作当日变动数据(包括新增,修改)每日执行
1)如何获得每日变动表
(1)最好表内有创建时间和变动时间(Lucky!)
(2)如果没有,可以利用第三方工具监控比如canal,监控MySQL的实时变化进行记录(麻烦)。
(3)逐行对比前后两天的数据, 检查md5(concat(全部有可能变化的字段))是否相同(low)
(4)要求业务数据库提供变动流水(人品,颜值)
7、2)因为dwd_order_info本身导入过来就是新增变动明细的表,所以不用处理
(1)2019-02-14日新增2条订单数据
8、(塑没2)通过Sqoop把2019-02-14日所有数据导入
9、(3)ODS层数据导入
10、(4)DWD层数据导入
11、先合并变动信息,再追加新增信息,插入到临时表中
1)建立临时表
12、2)导入脚本
13、把临时表覆盖给拉链表
1)导入数据
14、2)查询导入数据
15、整理为每日离醒兼脚本
声明:本网站引用、摘录或转载内容仅供网站访问者交流或参考,不代表本站立场,如存在版权或非法内容,请联系站长删除,联系邮箱:site.kefu@qq.com。
阅读量:87
阅读量:95
阅读量:26
阅读量:50
阅读量:46