HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境
时间:2015-05-11 03:18 来源:linux.it.net.cn 作者:IT
如果是在WINDOWS的ECLIPSE中,运行HBASE的MAPREDUCE,会出现异常,这是由于默认运行MAPREDUCE任务是在本地运行,而由于会建立文件赋权限是按照UNIX的方式进行,因此会报错:
java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: Cannot run program "ls": CreateProcess error=2,
解决办法是将任务发到运程主机,通常是LINUX上运行,在hbase-site.xml中加入:
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
同时需把HDFS的权限机制关掉:
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
另外由于是在远程上执行任务,自定义的类文件,如Maper/Reducer等需打包成jar文件上传,具体见方案:
Hadoop作业提交分析(五)http://www.cnblogs.com/spork/archive/2010/04/21/1717592.html
研究了好几天,终于搞清楚,CONFIGUARATION就是JOB的配置信息,远程JOBTRACKER就是以此为参数构建JOB去执行,由于远程主机并没有自定义的MAPREDUCE类,需打成JAR包后,上传到主机处,但无需每次都手动传,可以代码设置:
conf.set("tmpjars", "d:/aaa.jar");
另注意,如果在WINDOWS系统中,文件分隔号是“;”,生成的JAR包信息是以“;”间隔的,在远程主机的LINUX上是无法辨别,需改为:
System.setProperty("path.separator", ":");
参考文章:
http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html
使用hadoop eclipse plugin提交Job并添加多个第三方jar(完美版)
http://heipark.iteye.com/blog/1171923
(责任编辑:IT)
如果是在WINDOWS的ECLIPSE中,运行HBASE的MAPREDUCE,会出现异常,这是由于默认运行MAPREDUCE任务是在本地运行,而由于会建立文件赋权限是按照UNIX的方式进行,因此会报错:
java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: Cannot run program "ls": CreateProcess error=2,
<property>
<name>mapred.job.tracker</name> <value>master:9001</value> </property>
<property>
<name>dfs.permissions</name> <value>false</value> </property>
conf.set("tmpjars", "d:/aaa.jar");
System.setProperty("path.separator", ":");
|