|
最近在弄hadoop2.0，把遇到的一些问题做个笔记：
版本：apache hadoop-2.2.0
2013-10-29
在启动nodemanager的时候报下面的错误：
-
2013-10-29 11:32:21,523 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager
-
java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only
-
contain a-zA-Z0-9_ and can not start with numbers
或者提交作业出现类似下面的错误：
-
3/10/29 11:49:01 INFO mapreduce.Job: Task Id : attempt_1383017347984_0001_m_000000_0, Status : FAILED
-
Container launch failed for container_1383017347984_0001_01_000002 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:
-
mapreduce_shuffle does not exist
解决办法：
在yarn-site.xml 配置文件中增加：
-
<property>
-
<name>yarn.nodemanager.aux-services</name>
-
<value>mapreduce_shuffle</value>
-
</property>
重启就ok了
这个问题其实是由于
-
yarn.nodemanager.aux-services
配置错误或者没有配置，其实，如果没有配置这个参数应该会有默认值。这是目前版本的一个小bug：
https://issues.apache.org/jira/i#browse/YARN-1289
2013-10-30：
配置 fairscheduler 的acl ， 发现不好使，无论是更新队列或者重启resourcemanager，acl还是不起作用
其实是个bug：https://issues.apache.org/jira/i#browse/YARN-1288
该问题已经解决：http://blog.csdn.net/baiyangfu_love/article/details/14004331
2013-11-01：
web ui 页面，想通过application id 查看作业详情，报下面的信息：
You (User dr.who) are not authorized to view application application_xxxx
这个问题是由于权限受限制，我们需要设置我们登录web页面的用户，在core-site.xml 文件添加如下设置：
-
<property>
-
<name>hadoop.http.staticuser.user</name>
-
<value>hadoop</value>
-
</property>
这样就会正常的打开application详情页面
(责任编辑：IT) |
