当前位置: > Linux集群 > Hadoop >

HBase安装配置snappy压缩算法

时间:2016-06-10 01:19来源:linux.it.net.cn 作者:IT

[一]、前提

首先是snappy编译安装和hadoop-snappy编译,这个可以直接参考: Hadoop安装配置snappy压缩,所有前提准备好后,HBase上安装配置snappy压缩算法就相对简单多了。



 

[二]、实验环境

角色 OS(系统) JDK
Master CentOS 6.3 1.7.0_75
RegionServer CentOS 5.8 1.7.0_75
RegionServer CentOS 5.8 1.7.0_75
RegionServer CentOS 5.8 1.7.0_75

PS:正因为 Master和 RegionServer 的操作系统版本不一样,所以需要在各自的系统下重新编译相关软件生成本地动态库。



 

[三]、安装配置

3.1、配置本地动态库

把 hadoop的动态库 ($HADOOP_HOME/lib/native 目录下所有文件 ) 和 hadoop-snappy的动态库 ($HADOOP-SNAPPY_CODE_HOME/target/hadoop-snappy-0.0.1-SNAPSHOT/lib/native/Linux-amd64-64 文件夹)  复制到 $HBASE_HOME/lib/native 目录。

PS: CentOS 5.8中需要把 hadoop-snappy 的动态库直接放在 $HBASE_HOME/lib/native  根目录下才生效(CentOS 6.3 可以放在$HBASE_HOME/lib/native/Linux-amd64-64),这个原因还没有查明。

3.2、配置环境变量 $HBASE_HOME/conf/hbase-env.sh

 
 
1
2
3
4
#根据具体的动态库目录配置
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/
或者
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64

可以用命令验证本地库配置是否正确:

 
1
hbase -Djava.library.path=/usr/local/share/hbase/lib/native/Linux-amd64-64/ org.apache.hadoop.hbase.util.CompressionTest /home/hadoop/micmiu.txt snappy

3.3、全部节点配置完成后,重启hbase即可



 

[四]、验证成功

4.1、自带的CompressionTest 测试snappy

 
1
2
3
4
#测试hdfs中文件压缩
hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://mycluster/user/micmiu/demo/wordcount/out6/part-r-00000 snappy
#测试本地文件压缩
hbase org.apache.hadoop.hbase.util.CompressionTest /home/hadoop/micmiu.txt snappy

看到运行日志没有错误,最后输出 SUCCESS 只能表示本机基本安装配置成功。

4.2、验证集群

创建snappy压缩格式的表进行常规基本CRUD的操作,执行过程都正常才真正表示hbase集群环境中配置snappy压缩算法成功。





 

(责任编辑:IT)
------分隔线----------------------------