hadoop多硬盘配置注意点
时间:2016-06-10 01:24 来源:linux.it.net.cn 作者:IT
[一]、实验环境
1.1、环境
-
hadoop 2.6.0
-
namenode 2个 各增加 2个1T硬盘
-
datanode 3个 各增加3个1T硬盘
1.2、挂载硬盘
-
fdisk 分区 (输入m—n—p—1–回车—回车—p—w)
-
mkfs 格式化硬盘 ( mkfs.ext4 )
-
mount 挂载硬盘 (以挂载目录为 /bigdata/data0 /bigdata/data1 …. /bigdata/dataN 为例)
-
开机挂载 vi /etc/fstab :
1
2
3
/dev/sda1 /bigdata/data0 ext4 defaults 0 0
/dev/sdb1 /bigdata/data1 ext4 defaults 0 0
/dev/sdc1 /bigdata/data2 ext4 defaults 0 0
命令不会使用的可以查阅相关文档，只要注意配置挂载的新目录赋予hadoop用户的读写权限。
[二]、修改hadoop配置
2.1、修改 $HADOOP_HOME/hdfs-site.xml:
1
2
3
4
5
6
7
8
9
<!-- 多个目录逗号,分割，不能有空格 千万注意 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/bigdata/data0/dfs/name,/bigdata/data1/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/bigdata/data0/dfs/data,/bigdata/data1/dfs/data,/bigdata/data2/dfs/data</value>
</property>
2.2、修改 $HADOOP_HOME/mapred-site.xml:
1
2
3
4
<property>
<name>mapreduce.cluster.local.dir</name>
<value>/bigdata/data0/mapred/local,/bigdata/data1/mapred/local,/bigdata/data2/mapred/local</value>
</property>
(责任编辑：IT)
[一]、实验环境 1.1、环境
1.2、挂载硬盘
命令不会使用的可以查阅相关文档，只要注意配置挂载的新目录赋予hadoop用户的读写权限。 [二]、修改hadoop配置 2.1、修改 $HADOOP_HOME/hdfs-site.xml:
2.2、修改 $HADOOP_HOME/mapred-site.xml:
(责任编辑：IT) |