Hadoop04【集群环境搭建】

Hadoop04【集群环境搭建】

因为伪分布式环境搭建没啥意义，所以我们直接来搭建hadoop的集群环境，

一、安装文件

1.下载文件

链接：​​提取码：nyzk 下载内容包括源文件和编译的文件。

2.上传解压缩

文件上传在/root/apps/目录下.解压缩并重命名

二、修改配置文件

hadoop配置文件存放在etc/hadoop文件夹下，

​​1.hadoop-env.sh​​

设置具体的jdk路径，路径需要写死，因为在集群环境中通过$JDK_HOME获取不到系统环境变量中的信息。

2.core-site.xml

指定NameNode的地址和hadoop运行时产生文件的存储目录。

fs.defaultFS hdfs://hadoop-node01:9000 hadoop.tmp.dir /root/apps/hadoop/hdfsdata

3.hdfs-site.xml

指定副本的存储个数，及secondaryNameNode的存储地址

dfs.replication 1 dfs.secondary. hadoop-node01:50090

4.mapred-site.xml

首先需要将文件名称修改了。原文件名称为mapred-site.xml.template。指定MapReduce的资源调度方式为yarn。

mapreduce.framework.name yarn

5.yarn-site.xml

指定ResourceManager(yarn的老大)的地址和reduce获取数据的方式shuffle。

yarn.resourcemanager.hostname hadoop-node01 yarn.nodemanager.aux-services mapreduce_shuffle

6.slaves

指定DataNode的地址。

三、内容分发

在hadoop-node01节点配置完成后，我们可以一次性将hadoop文件夹分发给其他几个节点。

scp -r hadoop hadoop-node02:/root/apps/ scp -r hadoop hadoop-node03:/root/apps/ scp -r hadoop hadoop-node04:/root/apps/

四、环境变量配置

配置hadoop的环境变量，便于操作。

export HADOOP_HOME=/root/apps/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

五、HDFS格式化

只需要在NameNode的节点上面格式化一次就可以了

hadoop namenode -format

注意只需要格式一次，在nameNode上格式化。

六、启动hdfs

在hadoop-node01上执行

start-dfs.sh

测试：​​http://192.168.88.61:50070​​

启动成功~

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。