如何配置集群文件

2025-06-03 20:02:37

1、核心配置文件core-site.xml,该配置文件属于Hadoop的全局配置文件,我们主要进行配置分布式文件系统的入口地址NameNode的地址和分布式文件系统中数据落地到服务器本地磁盘位置的配置,如下:

如何配置集群文件

2、Hadoop环境配置文件hadoop-env.sh,在这个配置文件中我们主要需要制定jdk的路径JAVA_HOME,避免程序运行中出现JAVA_HOME找不到的异常。

如何配置集群文件

3、HDFS配置文件hdfs-site.xml,在这个配置文件中主要进行配置HDFS文件系统属性配置。

如何配置集群文件

4、YARN的环境配置文件yarn-env.sh,同样将JAVA_HOME路径配置指明。

如何配置集群文件

5、关于YARN的配置文件yarn-site.xml,其中配置YARN的相关参数,主要配置一下两个参数。

如何配置集群文件

6、mapreduce的环境配置文件mapred-env.sh,同样将JAVA_HOME路径配置指明。

如何配置集群文件

7、关于MapReduce的配置文件mapred-site.xml,主要配置一个参数,指明MapReduce的运行框架为YARN.

如何配置集群文件

8、主节点NameNode和ResourceManager的角色在配置文件中已经做了配置,从节点的角色还需指定,配置文件slaves就是用来配置Hadoop集群中各个从节点角色的。如下,对slaves文件进行修改,即将3台节点全部指定为从节点,可以启动DataNode和NodeManager进程。

如何配置集群文件

9、在集群上分发配置好的Hadoop配置文件,这样3台节点即享有相同的Hadoop的配置,可准备通过不同的进程启动命令进行启动了。[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/

10、查看文件分发情况[atguigu@hadoop103 hadoop]$ cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

声明:本网站引用、摘录或转载内容仅供网站访问者交流或参考,不代表本站立场,如存在版权或非法内容,请联系站长删除,联系邮箱:site.kefu@qq.com。
猜你喜欢