hadoop 1.0.3增加snappy压缩
程序员文章站
2022-04-03 22:26:34
...
转载请标明来源：http://blackwing.iteye.com/blog/1940933
基础环境是ubuntu 10.04 LTS，网上得知hadoop 1.0.3以后集成了snappy，所以相比安装lzo，简便一点。
预备条件：
1. 预先配好环境
2. 下载并安装snappy
1）下载地址
2）安装
解压后，直接运行：
之后就安装在/usr/local/lib下
3. hadoop方面设置
1）在core-site.xml中增加一下配置：
2）在mapred-site.xml中，增加一下设置
表示通过snappy对map输出进行压缩
3）把/usr/local/lib下libsnappy*文件拷贝到 $HADOOP_HOME/lib/native/Linux-amd64-64/下
4）在hadoop-env.sh中设置：
之后重启hadoop集群，运行MR程序就能看到已经能加载新的压缩codec。
基础环境是ubuntu 10.04 LTS，网上得知hadoop 1.0.3以后集成了snappy，所以相比安装lzo，简便一点。
预备条件：
1. 预先配好环境
sudo apt-get install autoconf
sudo apt-get install automake
sudo apt-get install libtool
2. 下载并安装snappy
1）下载地址
http://code.google.com/p/snappy/downloads/list2）安装
解压后，直接运行：
./configure
make
make install
之后就安装在/usr/local/lib下
3. hadoop方面设置
1）在core-site.xml中增加一下配置：
<property>
<name>hadoop.native.lib</name>
<value>true</value>
</property>
2）在mapred-site.xml中，增加一下设置
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
<property>
<name>mapred.map.output.compression.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
表示通过snappy对map输出进行压缩
3）把/usr/local/lib下libsnappy*文件拷贝到 $HADOOP_HOME/lib/native/Linux-amd64-64/下
4）在hadoop-env.sh中设置：
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/
之后重启hadoop集群，运行MR程序就能看到已经能加载新的压缩codec。