YARN线上动态资源调优

YARN线上动态资源调优

背景

线上Hadoop集群资源严重不足，可能存在添加磁盘，添加CPU，添加节点的操作，那么在添加这些硬件资源之后，我们的集群是不能立马就利用上这些资源的，需要修改集群Yarn资源配置，然后使其生效。

现有环境

服务器：12台，内存64Gx12=768G，物理cpu16x12=192，磁盘12Tx12=144T

组件：Hadoop-2.7.7，Hive-2.3.4，Presto-220，Dolphinscheduler-1.3.6，Sqoop-1.4.7

分配策略

由于我们的版本是Hadoop-2.7.7，有些默认配置是固定一个值，好比可用内存8G，可用CPU核数8核，如果调优就需要我们配置的东西比较多。

官方Yarn参数配置：yarn.nodemanager.resource.memory-mb 和CPU核数 yarn.nodemanager.resource.cpu-vcores 也是受此配置影响， 默认配置都是-1，则可用内存为8G，CPU核数为8核。如果开启了自动监测硬件资源，其他配置则可以忽略不用配置，简化了配置。

官方Yarn参数配置：yarn.nodemanager.vmem-pmem-ratio ，表示NodeManager上的Container物理内存不足时，可用使用虚拟内存，默认为物理内存的2.1倍。

修改配置

yarn-site.xml

修改yarn-site.xml，有则修改，没有则添加，这里我们设置单个节点可用内存30G，可用CPU核数为16

yarn.nodemanager.resource.memory-mb 30720 每个节点可用内存,默认8192M(8G),这里设置30G yarn.scheduler.minimum-allocation-mb 1024 单个任务可申请最少内存，默认1024MB yarn.scheduler.maximum-allocation-mb 20480 单个任务可申请最大内存，默认8192M(8G),这里设置20G yarn.app.mapreduce.am.resource.mb 2048 默认为1536。MR运行于YARN上时，为AM分配多少内存。默认值通常来说过小，建议设置为2048或4096等较大的值。 yarn.nodemanager.resource.cpu-vcores 16 默认为8。每个节点可分配多少虚拟核给YARN使用，通常设为该节点定义的总虚拟核数即可。 yarn.scheduler.maximum-allocation-vcores 32 分别为1/32，指定RM可以为每个container分配的最小/最大虚拟核数，低 于或高于该限制的核申请，会按最小或最大核数来进行分配。默认值适合 一般集群使用。 yarn.scheduler.minimum-allocation-vcores 1 分别为1/32，指定RM可以为每个container分配的最小/最大虚拟核数，低 于或高于该限制的核申请，会按最小或最大核数来进行分配。默认值适合 一般集>群使用。 yarn.nodemanager.vcores-pcores-ratio 2 每使用一个物理cpu，可以使用的虚拟cpu的比例，默认为2 yarn.nodemanager.vmem-pmem-ratio 5.2 物理内存不足时,使用的虚拟内存，默认是2.1，表示每使用1MB的物理内存，最多可以使用2.1MB的虚拟内存总量。

mapred-site.xml

修改mapred-site.xml，有则修改，没有则添加

给单个任务设置内存资源，注意这里的值不能大于上面对应的内存 yarn.scheduler.maximum-allocation-mb

mapreduce.map.memory.mb 2048 默认均为1024，调度器为每个map/reduce task申请的内存数。各Job也可以单独指定。 mapreduce.reduce.memory.mb 2048 默认均为1024，调度器为每个map/reduce task申请的内存数。各Job也可以单独指定。

集群生效

分发

修改完配置后，一定要将配置分发到其他集群节点，使用 scp 或者 xsync 工具分发到其他节点，这里举例分发到一个节点

cd /data/soft/hadoop/hadoop-2.7.7/etc/hadoop

scp -r yarn-site.xml mapred-site.xml data002:`pwd`

动态重启

为了不影响集群使用，我们单独启停Yarn，Yarn的服务主要有两个NodeManager和ResourceManager，单独启停命令

yarn-daemon.sh stop nodemanager yarn-daemon.sh start nademanager

yarn-daemon.sh stop resourcemanager yarn-daemon.sh start resourcemanager

根据集群节点逐个执行以上命令，ResourceManager对应的节点执行对应的命令。这样我们就保证了集群资源的动态调优。

当然，如果单个重启麻烦，也可以执行Yarn的重启命令

stop-yarn.sh start-yarn.sh

ResourceManager对应的从节点单独启停即可。

更多请在公号平台搜索：选手一号位，本文编号：2004，回复即可获取。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。