|
安全分布式安装 1. ssh秘钥登陆配置 2. DNS HBase使用本地 hostname 才获得IP地址. 正反向的DNS都是可以的.如果你的机器有多个接口，HBase会使用hostname指向的主接口.如果还不够，你可以设置 hbase.regionserver.dns.interface 来指定主接口。当然你的整个集群的配置文件都必须一致，每个主机都使用相同的网络接口。还有一种方法是设置 hbase.regionserver.dns.nameserver来指定nameserver，不使用系统带的. 3. Lookback IP /etc/hosts 4. NTP 集群时钟要保持一致，稍有不一致是可以容忍的，但是很大的不一致会造成奇怪的行为。如有故障先检查时间是否一致。 5. ulimit 和 nproc HBase是数据库，会在同一时间使用很多的文件句柄。大多数linux系统使用的默认值1024是不能满足的。 /etc/security/limits.conf 添加一行，如： hadoop - nproc 32768 hadoop soft nproc 32000 hadoop hard nproc 32000 修改/etc/pam.d/login文件加上如下参数使limits.conf生效: session required pam_limits.so 6. 将${HBASE_HOME}/lib目录下的hadoop-*.jar文件替换成Hadoop环境中的相应jar文件,以解决Hadoop版本冲突问题。 7. 配置.bash_profile export JAVA_HOME=/usr/java/jdk1.6.0_37 export HADOOP_HOME=/usr/hadoop-1.2.0 export HBASE_HOME=/usr/hbase-0.95.1-hadoop1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin 8. 配置hbase-site.xml <property> <name>hbase.rootdir</name> <value>hdfs://master.hadoop:9000/hbase</value> <description>The directory shared by RegionServers.</description> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> <description>是否采用集群方式部署</description> </property> <property> <name>hbase.zookeeper.quorum</name> <value>slave1.hadoop,slave2.hadoop,slave3.hadoop</value> <description>zookeeper的server地址 </description> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/export/zookeeper</value> <description>Property from ZooKeeper's config zoo.cfg.The directory where the snapshot is stored.</description> </property> <property> <name>dfs.support.append</name> <value>true</value> <description>确保再使用HDFS存储时，不出现数据遗失</description> </property> 9. 配置hbase-env.sh export JAVA_HOME=/usr/java/jdk1.6.0_37 export HBASE_MANAGES_ZK=true export HBASE_HEAPSIZE=4096 注：zookeeper默认由hbase集成的方式部署，如果要想独立部署，需要在hbase-env.sh文件中，将HBASE_MANAGES_ZK设置成false 10. RegionServers 完全分布式模式的还需要修改conf/regionservers。列出了你希望运行的全部 HRegionServer，一行写一个host (就像Hadoop里面的 slaves 一样). 列在这里的server会随着集群的启动而启动，集群的停止而停止. slave1.hadoop slave2.hadoop slave3.hadoop (责任编辑：IT) |