HBase安装配置snappy压缩算法

时间:2016-06-10 01:19 来源:linux.it.net.cn 作者:IT

[一]、前提

首先是snappy编译安装和hadoop-snappy编译，这个可以直接参考： Hadoop安装配置snappy压缩，所有前提准备好后，HBase上安装配置snappy压缩算法就相对简单多了。

[二]、实验环境

角色	OS(系统)	JDK
Master	CentOS 6.3	1.7.0_75
RegionServer	CentOS 5.8	1.7.0_75
RegionServer	CentOS 5.8	1.7.0_75
RegionServer	CentOS 5.8	1.7.0_75

PS:正因为 Master和 RegionServer 的操作系统版本不一样，所以需要在各自的系统下重新编译相关软件生成本地动态库。

[三]、安装配置

3.1、配置本地动态库

把 hadoop的动态库（$HADOOP_HOME/lib/native 目录下所有文件）和 hadoop-snappy的动态库（$HADOOP-SNAPPY_CODE_HOME/target/hadoop-snappy-0.0.1-SNAPSHOT/lib/native/Linux-amd64-64 文件夹）复制到 $HBASE_HOME/lib/native 目录。

PS: CentOS 5.8中需要把 hadoop-snappy 的动态库直接放在 $HBASE_HOME/lib/native 根目录下才生效（CentOS 6.3 可以放在$HBASE_HOME/lib/native/Linux-amd64-64）,这个原因还没有查明。

3.2、配置环境变量 $HBASE_HOME/conf/hbase-env.sh

#根据具体的动态库目录配置

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/

或者

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64

可以用命令验证本地库配置是否正确：

1	hbase -Djava.library.path=/usr/local/share/hbase/lib/native/Linux-amd64-64/ org.apache.hadoop.hbase.util.CompressionTest /home/hadoop/micmiu.txt snappy

3.3、全部节点配置完成后，重启hbase即可

[四]、验证成功

4.1、自带的CompressionTest 测试snappy

#测试hdfs中文件压缩

hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://mycluster/user/micmiu/demo/wordcount/out6/part-r-00000 snappy

#测试本地文件压缩

hbase org.apache.hadoop.hbase.util.CompressionTest /home/hadoop/micmiu.txt snappy

看到运行日志没有错误，最后输出 SUCCESS 只能表示本机基本安装配置成功。

4.2、验证集群

创建snappy压缩格式的表进行常规基本CRUD的操作，执行过程都正常才真正表示hbase集群环境中配置snappy压缩算法成功。

(责任编辑：IT)