启动HDFS并运行MapReduce程序
1、配置集群(1)配置:hadoop-env.shLinux系统中获取JDK的安装路径:
2、修改JAVA_HOME 路径:
3、(2)配置:core-site.xml
4、(3)配置:hdfs-site.xml
5、启动集群(1)格式化NameNode(第一次启动时格式化,以后就不要总格式化)
6、(2)启动NameNode
7、(3)启动DataNode
8、查看集群(1)查看是否启动成功
9、注意:jps是JDK中的命令,不是Linux命令。不安装JDK不能使用jps(2)嘛术铹砾web端查看HDFS文件系统
10、(3)查看产生的Log日志当前目录:/opt-2.7.2/logs
11、注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。所以,格式NameNode时,一定要先删除data数据和log日志,然后再格式化NameNode。
12、操作集群(1)在HDFS文件系统上创建一个input文件夹
13、(2)将测试文件内容上传到文件系统上
14、(3)查看上传的文件是否正确
15、(4)运行MapReduce程序
16、(5)查看输出结果命令行查看:
17、浏览器查看
18、(6)将测试文件内容下载到本地
19、(7)删除输出结果
声明:本网站引用、摘录或转载内容仅供网站访问者交流或参考,不代表本站立场,如存在版权或非法内容,请联系站长删除,联系邮箱:site.kefu@qq.com。
阅读量:81
阅读量:58
阅读量:28
阅读量:61
阅读量:31