hdfs 参数调优

hdfs 参数调优

dfs.datanode.failed.volumes.tolerated: 允许发生磁盘错误的磁盘数 量，默认为 0，表示不允许 datanode 发生磁盘异常。当挂载多个磁盘的时候，可以修改 该值dfs.replication: 复制因子，默认 3dfs.namenode.handler.count: namenode 节点并发线程量，默认 10dfs.datanode.handler.count：datanode 之间的并发线程量，默认 10dfs.datanode.max.transfer.threads：datanode 提供的数据流操作的并 发线程量，默认 4096。一般将其设置为 linux 系统的文件句柄数的 85%~90%之间，查看文件句柄数语句 ulimit -a，修改 vim /etc/security/limits.conf, 不能设置太大 文件末尾，添加 * soft nofile 65535 * hard nofile 65535 注意：句柄数不能够太大，可以设置为 1000000 以下的所有数值，一般不设 置为-1异常处理：当设置句柄数较大的时候，重新登录可能出现 unable load session 的提示信息，这个时候采用单用户模式进行修改操作即可。单用户模式： 启动的时候按’a’键，进入选择界面，然后按’e’键进入 kernel 修 改界面，然后选择第二行’kernel…’，按’e’键进行修改，在最后添加空格+single 即 可，按回车键回到修改界面，最后按’b’键进行单用户模式启动，当启动成功后，还原文件 后保存，最后退出(exit)重启系统即可。io.file.buffer.size: 读取/写出数据的 buffer 大小，默认 4096，一般不 用设置，推荐设置为 4096 的整数倍(物理页面的整数倍大小)。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。