当前位置: > Linux集群 > Hadoop >

hadoop2.0 遇到的问题 (持续更新)

时间:2014-12-15 23:29来源:http://blog.csdn.net/ 作者:baiyangfu

最近在弄hadoop2.0,把遇到的一些问题做个笔记:

版本:apache hadoop-2.2.0

2013-10-29

在启动nodemanager的时候报下面的错误:

 
  1. 2013-10-29 11:32:21,523 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager  
  2. java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only  
  3.  contain a-zA-Z0-9_ and can not start with numbers  

或者提交作业出现类似下面的错误:

 

  1. 3/10/29 11:49:01 INFO mapreduce.Job: Task Id : attempt_1383017347984_0001_m_000000_0, Status : FAILED  
  2. Container launch failed for container_1383017347984_0001_01_000002 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:  
  3. mapreduce_shuffle does not exist  

解决办法:

 

在yarn-site.xml 配置文件中增加:

 

  1. <property>  
  2.         <name>yarn.nodemanager.aux-services</name>  
  3.         <value>mapreduce_shuffle</value>  
  4. </property>  

重启就ok了

这个问题其实是由于

 
  1. yarn.nodemanager.aux-services  
配置错误或者没有配置,其实,如果没有配置这个参数应该会有默认值。这是目前版本的一个小bug:

 

https://issues.apache.org/jira/i#browse/YARN-1289

 

2013-10-30:

配置 fairscheduler 的acl , 发现不好使,无论是更新队列或者重启resourcemanager,acl还是不起作用

其实是个bug:https://issues.apache.org/jira/i#browse/YARN-1288

该问题已经解决:http://blog.csdn.net/baiyangfu_love/article/details/14004331

 

2013-11-01:

web ui 页面,想通过application id 查看作业详情,报下面的信息:

You (User dr.who) are not authorized to view application application_xxxx

这个问题是由于权限受限制,我们需要设置我们登录web页面的用户,在core-site.xml 文件添加如下设置:

 

 
  1. <property>  
  2.         <name>hadoop.http.staticuser.user</name>  
  3.         <value>hadoop</value>  
  4. </property>  
这样就会正常的打开application详情页面



(责任编辑:IT)
------分隔线----------------------------