怎样安装部署Hadoop完全分布式

2025-05-25 13:51:47

1、集群部署规划

怎样安装部署Hadoop完全分布式

3、(2)Hadoop环境配置文件hadoop-env.sh,在这个配置文件中我们主要需要制定jdk的路径JAVA_HOME,避免程序运行中出现JAVA_HOME找不到的异常

怎样安装部署Hadoop完全分布式

5、(4)YARN的环境配置文件yarn-env.sh,同样将JAVA_HOME路径配置指明。

怎样安装部署Hadoop完全分布式

7、(6)mapreduce的环境配置文件mapred-env.sh,同样将JAVA_HOME路径配置指明。

怎样安装部署Hadoop完全分布式

9、(8) 主节点NameNode和ResourceManager的角色在配置文件中已经做了配置,从节点的角色还需指定,配置文件slaves就是用来配置Hadoop集群中各个从节点角色的。如下,对slaves文件进行修改,即将3台节点全部指定为从节点,可以启动DataNode和NodeManager进程。

怎样安装部署Hadoop完全分布式

11、(10)查看文件分发情况

怎样安装部署Hadoop完全分布式

13、 启动Hadoop集群(1)如果集群是第一次启动,需要格式化NameNode

怎样安装部署Hadoop完全分布式

15、(3)通过start-yarn.sh命令启动yarn,即可同时启动ResourceManager和所有的Nodemanager节点。需要注四歹吭毳意的是:NameNode和ResourceManger如果不是同一台机器,不能在NameNode上启动 yarn,应该在ResouceManager所在的机器上启动yarn。

怎样安装部署Hadoop完全分布式

17、Web 曷决仙喁UI查看集群是否启动成功(1) 通过web端输入我们之前配置的NameNode节点地址和端口号50070我们可以查看HDFS文件系统,可以检查NameNode和DataNode是否正常。

怎样安装部署Hadoop完全分布式

19、运行PI实例检查集群是否启动成功在集群任意节点上执行下面的命令,如果看到如图3所示的执行结果,则说明集群启动成功。

怎样安装部署Hadoop完全分布式
声明:本网站引用、摘录或转载内容仅供网站访问者交流或参考,不代表本站立场,如存在版权或非法内容,请联系站长删除,联系邮箱:site.kefu@qq.com。
猜你喜欢