大数据环境---hadoop的安装

大数据环境---hadoop的安装

接着上一篇，趁着这个势头继续整理！  经常听说大数据，所以hadoop已经可谓如雷贯耳了。 早前曾经对于hadoop进行过一些安装。但是当时基础太过薄弱，因此效果甚微。 如今重新进行学习，并做好笔记！

安装过程：

首先解压并配置环境变量。 这个详细过程就不记录了。 记录一下配置的环境变量吧！

配置过程：

1.首先配置hadoop的环境配置文件（因为它也是基于java的）：

2.配置core-site.xml文件：

3.配置yarn-site.xml:

4.配置slaves以及master:

注意，这里的名称均为节点中的主机名。

5.配置hdfs-site.xml:

6.配置mapred-site.xml：

最后，将整个配置好后的文件分发到整个集群中的每个机器中。由于配置了ssh免密登陆，所以这个步骤还是很轻松的。。。！！

如：

hadoop的运行：

1.在主节点中格式化：

然后启动hadoop集群： 命令： sbin/start-all.sh;   该文件位置相对于hadoop文件的根路径位置如图：

在各个节点执行jps可看到相关信息。

成功的标志：

使用hadoop:

背景知识：

hadoop的本质： 一个分布式系统基础架构。 它的核心是：hdfs 以及 mapreduce.

更多的详细信息我想在hadoop官网应该可以找到答案。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。