Hadoop Streaming 实战： bash脚本

时间:2015-01-20 00:12 来源:linux.it.net.cn 作者:IT

streaming支持使用脚本作为map、reduce程序。以下介绍一个实现分布式的计算所有文件的总行数的程序

1. 待检索的数据放入hdfs
$ hadoop fs -put localfile /user/hadoop/hadoopfile

2. 编写map、reduce脚本,记得给脚本加可执行权限。
mapper.sh

			view plain

			#!/bin/sh   

			wc –l  

reducer.sh

			view plain

			#!/bin/sh   

			sum=0   

			while read i   

			do   

			        sum=$((sum+i))   

			done   

			echo $sum

3. 运行：
hadoop jar /home/hadoop/hadoop/contrib/streaming/hadoop-0.20.2-streaming.jar -input data/pg4300.txt -output out13 -mapper ./mapper.sh -reducer ./reducer.sh -file mapper.sh -file reducer.sh -jobconf mapre.job.name="grep-test" -jobconf stream.non.zero.exit.is.failure=false -jobconf mapred.reduce.tasks=1

         说明：
           -input /user/hadoop/hadoopfile ：待处理文件目录
           -output /user/hadoop/result   ：处理结果存放目录
            -file ：分发mapper.sh和reducer.sh到hdfs中
            -jobconf mapred.reduce.tasks=1 : reduce任务数

3. 查看结果：
$ hadoop fs –cat /user/hadoop/result/part-00000

(责任编辑：IT)