Sqoop如何实现增量导入

2025-05-24 14:53:04

1、增量导入在企业当中,一般都是需要经常执行的,如隔一个星期就执行一次增量导入,故增量导入的方式需要多次执行,而每次执行时,又去写相应的执行命令的话,比较麻烦。而sqoop提供了一个很好的工具save job的方式。  

Sqoop如何实现增量导入

3、在上面的job当中,不能指定-m ,因为指定了-m的话,对应的导入会在hdfs上差生相应的中间结果,当你下一次再次执行job时,则会因为output directory is exist 报错。

Sqoop如何实现增量导入

5、查看并执行job上面已经创建了job后,可以通过下面的命令来查看是否已经创建job成功执行完job后,查看hive中的表是否有数据。当然不出意外肯定是有数据的。

Sqoop如何实现增量导入
声明:本网站引用、摘录或转载内容仅供网站访问者交流或参考,不代表本站立场,如存在版权或非法内容,请联系站长删除,联系邮箱:site.kefu@qq.com。
猜你喜欢