D001.7 Docker搭建Hadoop集群（实践篇）

D001.7 Docker搭建Hadoop集群（实践篇）

教程目录

​​0x00 教程内容​​​​0x01 环境及资源准备​​

​​1. 安装Docker​​​​2. 准备资源​​

​​0x02 生成容器​​

​​1. 生成样本镜像​​​​2. 创建bigdata网络​​​​3. 启动容器​​

​​0x03 检验Hadoop​​

​​1. 启动Hadoop​​​​2. Web UI界面查看​​​​2. 停止并删除容器指令​​

​​0xFF 总结​​

0x00 教程内容

环境及资源准备生成容器检验Hadoop

0x01 环境及资源准备

1. 安装Docker

请参考：​​D001.5 Docker入门（超级详细基础篇）​​的“0x01 Docker的安装”小节

2. 准备资源

根据文末总结的文件目录结构，拷贝文章的资源，资源请参考：​​D001.6 Docker搭建Hadoop集群​​

0x02 生成容器

1. 生成样本镜像

a. 切换成root用户（密码：shaonaiyi）

​​su root​​

b. 拷贝资源文件hadoop进到docker_bigdata目录（此处使用Xftp软件）

​​mkdir docker_bigdata​​

c. 生成样本镜像：shaonaiyi/hadoop

​​cd docker_bigdata/hadoop​​

​​docker build -t shaonaiyi/hadoop .​​

此过程时间根据自己网络情况与自己装docker时的配置有关（10分钟左右）

出现下图表示成功：

2. 创建bigdata网络

a. 修改脚本权限

​​chmod 700 build_network.sh​​

b. 创建网络

​​./build_network.sh​​

修改及创建后如图：

3. 启动容器

a. 修改脚本权限

​​cd config​​

​​chmod 700 start_containers.sh​​

b. 启动容器（映射的端口多的为master）

​​./start_containers.sh​​

0x03 检验Hadoop

1. 启动Hadoop

a. 查看启动的容器

​​docker ps​​

b. 进入容器hadoop-maste（注意修改成自己的容器ID）

​​docker attach c49b5823737a​​

c. 修改脚本执行权限

​​ll​​

​​chmod 700 start-hadoop.sh​​

d. 启动Hadoop集群

​​./start-hadoop.sh​​

执行成功截图为：

2. Web UI界面查看

a. 切换终端，查看端口映射（可看到51070端口映射到docker的50070端口）

​​docker port hadoop-maste​​

b. 在我们的windows系统执行（ip:51070）

2. 停止并删除容器指令

a. 修改脚本权限

​​cd /home/shaonaiyi/docker_bigdata/hadoop/config/​​

​​chmod 700 stop_containers.sh​​

b. 删除容器

​​./stop_containers.sh​​

c. 查看执行的容器（没有则表示删除成功）

​​docker ps​​

0xFF 总结

​作者简介​：​​邵奈一​​

大学大数据讲师、大学市场洞察者、专栏编辑

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。