实时读取本地文件到HDFS

2025-05-17 16:38:53

1、1．掂迎豢畦Flume要想将数据输出到HDFS，必须持有Hadoop相关jar包将commons-configuration-1.6.jar、hadoop-auth-2.7.2.jar、hadoop-common-2.7.2.jar、hadoop-hdfs-2.7.2.jar、commons-io-2.4.jar、htrace-core-3.1.0-incubating.jar拷贝到/opt/module/flume/lib文件夹下。

2、2．创建flume-file-hdfs.conf文件创建文件

4、添加如下内容

6、4．开启Hadoop和Hive并操作Hive产生日志

声明：本网站引用、摘录或转载内容仅供网站访问者交流或参考，不代表本站立场，如存在版权或非法内容，请联系站长删除，联系邮箱：site.kefu@qq.com。