Hadoop 2.7 伪分布式环境搭建

Hadoop 2.7 伪分布式环境搭建

hadoop2.7 伪分布式搭建

1、安装环境

①、一台Linux CentOS6.7 系统

hostname                ipaddress        　　      subnet mask                  geteway

Node1　　　　　192.168.139.150　　　　255.255.255.0　　　　　　192.168.139.2

②、hadoop 2.7 安装包

百度云下载链接：JDK

教程：ssh 免密码登录

教程：ssh 免秘钥登录的配置。那么本机配置的话。输入如下命令即可：

ssh-keygen -t rsa -P '' cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys

完成之后，以 root 用户登录，修改 ssh 配置文件

vi /etc/ssh/sshd_config

把文件中的下面几条信息的注释去掉：

RSAAuthentication yes # 启用 RSA 认证　　PubkeyAuthentication yes # 启用公钥私钥配对认证方式　　AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

然后重启服务

service sshd restart

验证出现如下界面，中间不需要输入密码，即配置完成。

4、安装 hadoop-2.7.3.tar.gz

①、将下载的 hadoop-2.7.3.tar.gz  复制到 /home/hadoop 目录下（可以利用工具 WinSCP）

②、解压，进入/home/hadoop 目录下，输入下面命令

tar -zxvf hadoop-2.7.3.tar.gz

③、给 hadoop-2.7.3文件夹重命名，以便后面引用

mv hadoop-2.7.3 hadoop2.7

④、删掉压缩文件 hadoop-2.7.3.tar.gz,并在/home/hadoop 目录下新建文件夹 tmp

mv hadoop-2.7.3 hadoop2.7

⑤、配置 hadoop 的环境变量（注意要使用 root 用户登录）

vi /etc/profile

输入如下信息：

然后输入如下命令保存生效：

source /etc/profile

⑥、验证

在任意目录下，输入 hadoop，出现如下信息即配置成功

5、修改配置文件

①、/home/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh

输入命令

修改 hadoop-env.sh 的 JAVA_HOME 值

②、/home/hadoop/hadoop2.7/etc/hadoop目录下的core-site.xml

fs.defaultFShdfs://192.168.139.150:9000hadoop.tmp.dir/home/hadoop/tmp

③、/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的hdfs-site.xml

dfs.replication1

到此我们便配置完成一个 hdfs 伪分布式环境

启动 hdfs Single Node

①、初始化 hdfs 文件系统

bin/hdfs namenode -format

②、启动 hdfs

sbin/start-dfs.sh

③、输入 jps 应该会有如下信息显示，则启动成功

那么我们就可以 通过 来访问 NameNode

我们点开 Datanodes ,发现就一个 datanode ，而且 IP 是 NameNode 的

我们使用命令创建一个文件

那么在网页上我们就能看到这个文件

④、关闭 hdfs

sbin/stop-dfs.sh

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。