(3)Hadoop 配置部署启动YARN及在YARN上运行MapReduce程序

(3)Hadoop 配置部署启动YARN及在YARN上运行MapReduce程序

在单节点上配置YARN

(1)配置yarn-env.sh 文件

查看JAVA_HOME 的值

配置文件中的export  JAVA_HOME=/opt/modules/jdk1.7.0_79/

(2)配置yarn-site.xml

YARN上可以运行很多类型框架的应用  这里只配置运行MapReduce

        yarn.nodemanager.aux-services        mapreduce_shuffle

(3)slaves文件

这个文件只配置ip 或主机名   一行就是一个机器  这个文件决定了 datanode  nodeManager 等所在的机器

添加一行：hadoop1    这就说明datanode 跟 nodeManager在主机名为hadoop1的机器上

（4）启动

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

用jps查看 多了两个进程

（5）YARN 也有web监控界面 端口号是8088

（6）把MapReduce运行在yarn上边     MapReduce默认运行在本地

查看JAVA_HOME 的值  echo $JAVA_HOME

1)yarn-env.sh    修改export JAVA_HOME =/opt/modules/jdk1.7.0_79/ (查看结果)

2)将文件mapred-site.xml.template 重命名为mapred-site.xml

添加内容：指定MapReduce运行在YARN  上

              mapreduce.framework.name              yarn       

3)运行wordcount命令 输出目录不能存在 不然会报错 先删除

bin/hdfs dfs -rm -R /user/root/mapreduce/wordcount/output/

删除完成后可以通过上一篇博客中的方法 去页面看一下是否已经删除

4)运行MapReduce程序  这个时候MapReduce处理的数据是hdfs文件系统的数据 并且程序运行在YARN上

bin/hadoop jar  share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /user/root/mapreduce/wordcount/input /user/root/mapreduce/wordcount/output

根据步骤(5)方法 刷新页面  就会看到yarn下已经有程序在运行

等运行完成  根据上一篇博客  查看是否有output文件  也可以查看结果是否存在

查看：bin/hdfs dfs -cat /user/root/mapreduce/wordcount/output/part-r-00000

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。