如何用鲲鹏弹性云服务器部署《Hadoop伪分布式》

如何用鲲鹏弹性云服务器部署《Hadoop伪分布式》

1、安装环境和说明 CentOS 7.6 64  OpenJDK- 1.8 Hadoop- 3.0      2、安装 SSH 客户端 sudo yum install openssh-clients openssh-server 安装完成后，可以使用下面命令进行测试： ssh localhost 输入 root 账户的密码，如果可以正常登录，则说明SSH安装没有问题。测试正常后使用 exit 命令退出      3、安装 JAVA 环境 使用 yum 来安装1.7版本 OpenJDK： sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel 安装完成后，输入 java 和 javac 命令，如果能输出对应的命令帮助，则表明jdk已正确安装。 鲲鹏已经自带了openjdk环境！这步可略~~       4、安装 Hadoop 本教程使用 hadoop-3.0 版本，使用 wget 工具在线下载 wget https://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz 安装 Hadoop 将 Hadoop 安装到 /usr/local 目录下: tar -zxf hadoop-3.2.1.tar.gz -C /usr/local 对安装的目录进行重命名，便于后续操作方便: cd /usr/local mv ./hadoop-3.2.1/ ./hadoop 检查Hadoop是否已经正确安装: /usr/local/hadoop/bin/hadoop version 如果成功输出hadoop的版本信息，表明hadoop已经成功安装。      关键步骤来了！！！      5、Hadoop 伪分布式环境配置 Hadoop伪分布式模式使用多个守护线程模拟分布的伪分布运行模式。 设置 Hadoop 的环境变量 编辑 ~/.bashrc，在结尾追加如下内容： export HADOOP_HOME=/usr/local/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 使Hadoop环境变量配置生效: source ~/.bashrc 修改 Hadoop 的配置文件 Hadoop的配置文件位于安装目录的 /etc/hadoop 目录下，在本教程中即位于 /url/local/hadoop/etc/hadoop 目录下， 需要修改的配置文件为如下两个: /usr/local/hadoop/etc/hadoop/core-site.xml /usr/local/hadoop/etc/hadoop/hdfs-site.xml 编辑 core-site.xml，修改节点的内容为如下所示： 示例代码：/usr/local/hadoop/etc/hadoop/core-site.xml hadoop.tmp.dir file:/usr/local/hadoop/tmp location to store temporary files fs.defaultFS hdfs://localhost:9000 同理，编辑 hdfs-site.xml，修改节点的内容为如下所示： 示例代码：/usr/local/hadoop/etc/hadoop/hdfs-site.xml dfs.replication 1 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data 格式化NameNode: /usr/local/hadoop/bin/hdfs namenode -format 在输出信息中看到如下信息，则表示格式化成功: Storage directory /usr/local/hadoop/tmp/dfs/name has been successfully formatted. Exiting with status 0 启动 NameNode 和 DataNode 进程: /usr/local/hadoop/sbin/start-dfs.sh 执行过程中会提示输入用户密码，输入 root 用户密码即可。另外，启动时ssh会显示警告提示是否继续连接，输入 yes 即可。 检查 NameNode 和 DataNode 是否正常启动: jps 如果NameNode和DataNode已经正常启动，会显示NameNode、DataNode和SecondaryNameNode的进程信息: [hadoop@yxmos_centos ~]$ jps 3689 SecondaryNameNode 3520 DataNode 3800 Jps 3393 NameNode 运行 Hadoop 伪分布式实例 Hadoop自带了丰富的例子，包括 wordcount、grep、sort 等。下面我们将以grep例子为教程， 输入一批文件，从中筛选出符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数。 Hadoop 附带了丰富的例子, 执行下面命令可以查看： cd /usr/local/hadoop ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar 在 HDFS 中创建用户目录 hadoop： /usr/local/hadoop/bin/hdfs dfs -mkdir -p /user/hadoop 准备实验数据 我们将以 Hadoop 所有的 xml 配置文件作为输入数据来完成实验。 执行下面命令在 HDFS 中新建一个 input 文件夹并将 hadoop 配置文件上传到该文件夹下： cd /usr/local/hadoop ./bin/hdfs dfs -mkdir /user/hadoop/input ./bin/hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/input 使用下面命令可以查看刚刚上传到 HDFS 的文件: /usr/local/hadoop/bin/hdfs dfs -ls /user/hadoop/input 运行实验: cd /usr/local/hadoop ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep /user/hadoop/input /user/hadoop/output 'dfs[a-z.]+' 上述命令以 HDFS 文件系统中的 input 为输入数据来运行 Hadoop 自带的 grep 程序， 提取其中符合正则表达式 dfs[a-z.]+ 的数据并进行次数统计，将结果输出到 HDFS 文件系统的 output 文件夹下。 上述例子完成后的结果保存在 HDFS 中，通过下面命令查看结果: /usr/local/hadoop/bin/hdfs dfs -cat /user/hadoop/output/* 如果运行成功，可以看到如下结果: 1 dfsadmin 1 dfs.replication 1 dfs.namenode.name.dir 1 dfs.datanode.data.dir 删除 HDFS 中的结果目录: /usr/local/hadoop/bin/hdfs dfs -rm -r /user/hadoop/output 运行 Hadoop 程序时，为了防止覆盖结果，程序指定的输出目录不能存在，否则会提示错误，因此在下次运行前需要先删除输出目录。 关闭 Hadoop 进程： /usr/local/hadoop/sbin/stop-dfs.sh 再起启动只需要执行下面命令： /usr/local/hadoop/sbin/start-dfs.sh 完毕！ 作者：华为云社区  yxmos2019

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。