关于CentOS 6下Hadoop占用系统态CPU高的处理办法
时间:2014-07-02 15:35 来源:linux.it.net.cn 作者:IT网
一次不经意发现Hadoop的系统态CPU使用率很高，然后百度一下居然是个已知问题。
RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升：http://www.linux-kvm.org/wiki/images/9/9e/2010-forum-thp.pdf。
而Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对，Cloudera官方也推荐关闭THP。于是参考一些文章作了调整：
-
# for hadoop , disable thp
-
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
-
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
作用非常明显：
效果很明显，大概12:05分的时候操作的，系统态占用基本消失了。文件Cache使用上升、机器负载下降。
除了手动修改运行时参数之外，还可以修改 /etc/grub.conf 里内核的启动参数，追加“transparent_hugepage=never”（此选项只对 /sys/kernel/mm/redhat_transparent_hugepage/enabled 有效）。
原本 transparent_hugepage 功能是在内核2.6.38之后才引入的，红帽在RHEL6就将此功能合并进来、详细还有待进一步了解。
via : http://hi.baidu.com/higkoo/item/eb5e69c17c6b300a0ad93a00
(责任编辑：IT)
一次不经意发现Hadoop的系统态CPU使用率很高，然后百度一下居然是个已知问题。 RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升：http://www.linux-kvm.org/wiki/images/9/9e/2010-forum-thp.pdf。 而Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对，Cloudera官方也推荐关闭THP。于是参考一些文章作了调整：
作用非常明显：
效果很明显，大概12:05分的时候操作的，系统态占用基本消失了。文件Cache使用上升、机器负载下降。 除了手动修改运行时参数之外，还可以修改 /etc/grub.conf 里内核的启动参数，追加“transparent_hugepage=never”（此选项只对 /sys/kernel/mm/redhat_transparent_hugepage/enabled 有效）。 原本 transparent_hugepage 功能是在内核2.6.38之后才引入的，红帽在RHEL6就将此功能合并进来、详细还有待进一步了解。 via : http://hi.baidu.com/higkoo/item/eb5e69c17c6b300a0ad93a00 (责任编辑：IT) |