hadoop集群运行jps命令以后Datanode节点未启动的解决办法

hadoop集群运行jps命令以后Datanode节点未启动的解决办法

出现该问题的原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变。 1：其实网上已经有解决办法了，这里自己脑补一下，也可以让别人看到我是怎么解决的。出现这个问题主要是和配置这个文件相关：core-site.xml； fs.defaultFS hdfs://master:9000 hadoop.tmp.dir /home/hadoop/hadoop-2.4.1/tmp 主要和配置的这个/home/hadoop/hadoop-2.4.1/tmp的这个tmp目录里面的（这个tmp目录是自己起的，自己开心就好）； 而网上是这样解决的： 打开hdfs-site.xml里配置的datanode和namenode对应的目录，分别打开current文件夹里的VERSION，可以看到clusterID项正如日志里记录的一样，确实不一致，修改datanode里VERSION文件的clusterID 与namenode里的一致，再重新启动dfs（执行start-dfs.sh）再执行jps命令可以看到datanode已正常启动。 我感觉这样不是很畅快解决问题，所以直接/home/hadoop/hadoop-2.4.1/tmp/dfs/data/current下面的VERSION删除了，然后再执行一下又重新执行了格式化命令（hdfs namenode -format)，最后启动start-dfs.sh和start-yarn.sh就可以了； 2：启动start-dfs.sh和start-yarn.sh显示节点的类别： 1:HDFS的守护进程     (1):主节点：Namenode、SecondaryNamenode     (2):从节点：Datanode 2:YARN的守护进程     (1):主节点：ResourceManager     (2):从节点：NodeManager     3：心灵鸡汤： 有时候，也许坚持下去也不会有所成就，但是放弃肯定是一无所有......致自己；

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。