注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

技术行者

时代的车轮在按照摩尔定律滚动。

 
 
 

日志

 
 

HBase配置LZO压缩  

2011-09-30 11:21:00|  分类: 分布式 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

HDFS:  hadoop:hadoop-0.20.2-cdh3u0

HBase: HBase:0.90.3 

 

安装过程:

 

1、安装lzo

emerge dev-libs/lzo

 

2.1 下载

download from:

 

Java代码  

wget http://hadoop-gpl-compression.apache-extras.org.codespot.com/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz  

 

2.2 编译

tar -zxvf hadoop-gpl-compression-0.1.0-rc0.tar.gz

cd hadoop-gpl-compression-0.1.0

cp $HADOOP_HOME//hadoop-core-0.20.2-cdh3u0.jar lib/

nano -w src/java/com/hadoop/compression/lzo/LzoCompressor.java

Java代码  

......  

import org.apache.hadoop.conf.Configuration;  

.....  

  

    public void reinit(Configuration conf) {   

      // do nothing   

    }    

 

ant compile-native tar

 

2.3 拷贝需要的文件

cp build/hadoop-gpl-compression-0.1.0-dev.jar $HADOOP_HOME/lib/

cp build/hadoop-gpl-compression-0.1.0-dev.jar $HBASE_HOME/lib/

 

rsync -auPv lib/native $HADOOP_HOME/lib/

rsync -auPv lib/native $HBASE_HOME/lib/

 

3.修改配置重启HBase和Hadoop

vi core-site.xml(添加的部分)

Xml代码  

<property>   

    <name>io.compression.codecs</name>   

 <value>com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>   

    </property>   

  

 <property>   

    <name>io.compression.codec.lzo.class</name>   

    <value>com.hadoop.compression.lzo.LzoCodec</value>   

  </property>     

 

4 测试是否成功

进入hbase目录的/bin/hbase shell里,执行

create 'mytable', {NAME => 'colfam', COMPRESSION => 'lzo'} 

如果提示成功,则表示hbase启用lzo完成。 

 

 

5 参考资料

 

http://wiki.apache.org/hadoop/UsingLzoCompression

http://wiki.apache.org/hadoop/Hbase/HdfsSyncSupport

  评论这张
 
阅读(14)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017