当前位置: > Linux集群 > Hadoop >

hadoop多硬盘配置注意点

时间:2016-06-10 01:24来源:linux.it.net.cn 作者:IT

[一]、实验环境

1.1、环境

  • hadoop 2.6.0
  • namenode 2个  各增加 2个1T硬盘
  • datanode   3个  各增加3个1T硬盘

1.2、挂载硬盘

  • fdisk    分区 (输入m—n—p—1–回车—回车—p—w)
  • mkfs    格式化硬盘 ( mkfs.ext4 )
  • mount  挂载硬盘 (以挂载目录为 /bigdata/data0  /bigdata/data1 …. /bigdata/dataN 为例)
  • 开机挂载  vi /etc/fstab :
     
     
     
    1
    2
    3
    /dev/sda1               /bigdata/data0          ext4    defaults        0 0
    /dev/sdb1               /bigdata/data1          ext4    defaults        0 0
    /dev/sdc1               /bigdata/data2          ext4    defaults        0 0

命令不会使用的可以查阅相关文档,只要注意配置挂载的新目录赋予hadoop用户的读写权限。




 

[二]、修改hadoop配置

2.1、修改 $HADOOP_HOME/hdfs-site.xml:

 
 
 
 
1
2
3
4
5
6
7
8
9
<!-- 多个目录逗号,分割,不能有空格 千万注意 -->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/bigdata/data0/dfs/name,/bigdata/data1/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/bigdata/data0/dfs/data,/bigdata/data1/dfs/data,/bigdata/data2/dfs/data</value>
</property>

2.2、修改 $HADOOP_HOME/mapred-site.xml:

 
 
 
1
2
3
4
<property>
      <name>mapreduce.cluster.local.dir</name>
      <value>/bigdata/data0/mapred/local,/bigdata/data1/mapred/local,/bigdata/data2/mapred/local</value>
</property>

 


(责任编辑:IT)
------分隔线----------------------------