HBase+Hadoop2 NN HA+Zookeeper独立安装的整合
时间:2016-06-10 01:16 来源:linux.it.net.cn 作者:IT
Hadoop2 NN HA+Zookeeper独立安装的步骤参见:http://www.micmiu.com/bigdata/hadoop/hadoop2-cluster-ha-setup/ ,本文HBase的整合是在此环境搭建好的基础上进行的。
1、各节点的角色分配
hostname
IP
Hadoop角色
HBase角色
nn1.hadoop zk1.hadoop
172.17.225.61
NN,JN,ZK,ZKFC,RM
Master
nn2.hadoop zk2.hadoop
172.17.225.121
NN,JN,ZK,ZKFC,RM
x
dn1.hadoop zk3.hadoop
172.17.225.72
DN,JN,ZK,MRJS
RegionServer
dn2.hadoop
172.17.225.76
DN
RegionServer
dn3.hadoop
172.17.225.19
DN
RegionServer
2、软件安装配置
2.1、下载 hbase-0.98.9-hadoop2-bin.tar.gz 解压安装到 /usr/local/share/hbase
2.2、修改环境变量 vi ~/.bash_profile :
1
2
export HBASE_HOME=/usr/local/share/hbase
export PATH="$HBASE_HOME/bin:$PATH"
2.3、修改 $HBASE_HOME/conf/hbase-env.sh :
1
2
3
4
5
6
7
8
#必须要确认修改的属性
export JAVA_HOME=/usr/java/jdk1.7.0_75
#HBASE自己管理ZK 设为true(默认值);如果ZK独立安装 设为false
export HBASE_MANAGES_ZK=false
#根据实际环境优化配置
export HBASE_HEAPSIZE=4000
export HBASE_OPTS="-server -XX:NewSize=6m -XX:MaxNewSize=6m -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode"
2.4、修改 $HBASE_HOME/conf/hbase-site.xml :
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
property>
<name>hbase.rootdir</name>
<!-- mycluster 需要和NN HA配置的 dfs.nameservices一致-->
<value>hdfs://mycluster/user/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>zk1.hadoop,zk2.hadoop,zk3.hadoop</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/bigdata/hadoop/zookeeper/zkdata</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
</property>
<property>
<name>hbase.regionserver.handler.count</name>
<value>20</value>
</property>
ps: hdfs://mycluster/user/hbase 红色标注的目录根据实际自己的配置。
2.5、修改配置文件:$HBASE_HOME/conf/regionservers :
1
2
3
dn1.hadoop
dn2.hadoop
dn3.hadoop
2.6、在所有HBase的节点上按照上面的步骤配置一遍。
3、启动和演示可参见:HBase安装配置之完全分布式模式。
(责任编辑:IT)
Hadoop2 NN HA+Zookeeper独立安装的步骤参见:http://www.micmiu.com/bigdata/hadoop/hadoop2-cluster-ha-setup/ ,本文HBase的整合是在此环境搭建好的基础上进行的。 1、各节点的角色分配
2、软件安装配置 2.1、下载 hbase-0.98.9-hadoop2-bin.tar.gz 解压安装到 /usr/local/share/hbase 2.2、修改环境变量 vi ~/.bash_profile :
2.3、修改 $HBASE_HOME/conf/hbase-env.sh :
2.4、修改 $HBASE_HOME/conf/hbase-site.xml :
ps: hdfs://mycluster/user/hbase 红色标注的目录根据实际自己的配置。
2.5、修改配置文件:$HBASE_HOME/conf/regionservers :
2.6、在所有HBase的节点上按照上面的步骤配置一遍。
3、启动和演示可参见:HBase安装配置之完全分布式模式。 |