从零开始

机器环境 
Distributor ID: CentOS 
Description: CentOS release 5.8 (Final) 
Release: 5.8 
Codename: Final 
jdk 版本 
java version "1.6.0_45"

hadoop 版本 
2.5.2 
http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.2/ 
安装jdk: 
从甲骨文官方下载： 
http://www.Oracle.com/technetwork/java/javasebusiness/downloads/java-archive-downloads-javase6-419409.html#jdk-6u45-oth-JPR 
jdk-6u45-linux-i586.bin

在linux下面运行命令  ./jdk-6u45-linux-i586.bin 
配置环境变量 
vi /etc/profile 
export JAVA_HOME=/snwz/java/install/jdk1.6.0_45 
export JAVA_BIN=/snwz/java/install/jdk1.6.0_45/bin 
export PATH=$PATH:$JAVA_HOME/bin 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export JAVA_HOME JAVA_BIN PATH CLASSPATH

运行  java -version 检查是否jdk安装成功

解压缩hadoop安装包，配置环境变量 
$ cd /snwz/hadoop/install/hadoop-2.5.2/etc/hadoop 
$ vi hadoop-env.sh 
配置 java 和 hadoop 的目录 
  # set to the root of your Java installation 
  export JAVA_HOME=/usr/java/latest 
  # Assuming your installation directory is /usr/local/hadoop 
  export HADOOP_PREFIX=/usr/local/hadoop 
配置完成后 运行 bin/hadoop  
显示hadoop信息后，说明环境配置完成，下面开始我们的hadoop之旅！！！！！！

首先 使用hadoop自带的mapreduce实例实测一下 
$ mkdir input 
 $ cp etc/hadoop/*.xml input 
 $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+' 
 $ cat output/*

成功后进入到output目录下 
-rw-r--r-- 1 hadoop hadoop 11 01-08 14:04 part-r-00000 
-rw-r--r-- 1 hadoop hadoop  0 01-08 14:04 _SUCCESS

如果看到这两个文件，则说明mapreduce任务运行成功。

下面我们来部署一个假分布模式 
在分布模式下，因为其他hadoop服务器要通过ssh访问本机hadoop，我们配置ssh免密码登陆 
  $ ssh localhost 
如果登陆不成功则执行下列命名 
  $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
  $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 
在测试 ssh localhost 
如果还是需要输入密码，从网上搜的解决办法，有一大堆呢： 
http://lunae.cc/tag/authorized_keys 
为什么叫假分布呢？因为我们配置副本冗余为1，就是只存放在一个节点上，配置如下： 
etc/hadoop/core-site.xml: 
<configuration> 
    <property> 
        <name>fs.defaultFS</name> 
        <value>hdfs://localhost:9000</value> 
    </property> 
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration> 
    <property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property> 
</configuration>

配置完成后 需要将hadoop 的名称节点格式化 
$ bin/hdfs namenode -format 
启动dfs 
$ sbin/start-dfs.sh 
$ netstat -an | grep 9000 
如果出现什么异常，日志都存放在 /snwz/hadoop/install/hadoop-2.5.2/logs 
hadoop还提供了可视化界面来让用户更好了解当前hadoop各个节点情况，在浏览器中输入 
http://IP:50070

目前推荐使用yarn框架进行hadoop 的部署，关于yarn框架，我在后面会慢慢学习并和大家分享！！！！

今天因为任务提前完成，才有时间记录下忙里偷闲学习的内容，改天继续，下一篇文章要详细介绍集群环境下的配置，在下一章，一个基本的大框架就要搭建起来了，我们拭目以待吧 。