启动HDFS并运行MapReduce程序

2025-05-31 19:18:57

1、配置集群(1)配置:hadoop-env.shLinux系统中获取JDK的安装路径:

启动HDFS并运行MapReduce程序

2、修改JAVA_HOME 路径:

启动HDFS并运行MapReduce程序

3、(2)配置:core-site.xml

启动HDFS并运行MapReduce程序

4、(3)配置:hdfs-site.xml

启动HDFS并运行MapReduce程序

5、启动集群(1)格式化NameNode(第一次启动时格式化,以后就不要总格式化)

启动HDFS并运行MapReduce程序

6、(2)启动NameNode

启动HDFS并运行MapReduce程序

7、(3)启动DataNode

启动HDFS并运行MapReduce程序

8、查看集群(1)查看是否启动成功

启动HDFS并运行MapReduce程序

9、注意:jps是JDK中的命令,不是Linux命令。不安装JDK不能使用jps(2)嘛术铹砾web端查看HDFS文件系统

10、(3)查看产生的Log日志当前目录:/opt-2.7.2/logs

启动HDFS并运行MapReduce程序

11、注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。所以,格式NameNode时,一定要先删除data数据和log日志,然后再格式化NameNode。

12、操作集群(1)在HDFS文件系统上创建一个input文件夹

启动HDFS并运行MapReduce程序

13、(2)将测试文件内容上传到文件系统上

启动HDFS并运行MapReduce程序

14、(3)查看上传的文件是否正确

启动HDFS并运行MapReduce程序

15、(4)运行MapReduce程序

启动HDFS并运行MapReduce程序

16、(5)查看输出结果命令行查看:

启动HDFS并运行MapReduce程序

17、浏览器查看

启动HDFS并运行MapReduce程序

18、(6)将测试文件内容下载到本地

启动HDFS并运行MapReduce程序

19、(7)删除输出结果

启动HDFS并运行MapReduce程序
声明:本网站引用、摘录或转载内容仅供网站访问者交流或参考,不代表本站立场,如存在版权或非法内容,请联系站长删除,联系邮箱:site.kefu@qq.com。
猜你喜欢