Sgoop如何实现增量导入
1、sqoop的配置文件在sqoop.site.xml中: sqoop.metastore.server.location 本地存储路径,默认在tmp下,改为其他路径

2、sqoop.metastore.server.port metastore service端口号

3、sqoop.metastore.client.autoconnect.url sqoop自动连接的metastore地址,默认是本地的metastore地址

4、sqoop.metastore.client.enable.autoconnect 开启自动连接。sqoop默认连接本地metastore。注释这个配置会开启自动连接。

5、开启metastore service sqoop下,nohup bin/sqoop metastore 三、创建job sqoop支持两种增量导入模式, 一种是 append,即通过指定一个递增的列

6、比如: --incremental append --check-column num_iid --last-value 0 varchar类型的check字段也可以通过这种方式增量导入(ID为varchar类型的递增数字)

声明:本网站引用、摘录或转载内容仅供网站访问者交流或参考,不代表本站立场,如存在版权或非法内容,请联系站长删除,联系邮箱:site.kefu@qq.com。
阅读量:172
阅读量:152
阅读量:148
阅读量:161
阅读量:65