基于Hadoop的数据压缩与解压缩实例
程序员文章站
2022-07-15 22:05:40
...
数据压缩
测试的输入数据(/input/kmeans/sample.txt)为:
1,1
2,2
3,3
-3,-3
-4,-4
-5,-5
输出结果(/output/compress.gz)为一系列压缩字符串
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.CompressionOutputStream;
import org.apache.hadoop.util.ReflectionUtils;
import com.panky.tools.Tools;
public class StreamCompressor {
public static void main(String[] args) throws IOException, ClassNotFoundException {
String codecClassname="org.apache.hadoop.io.compress.GzipCodec";
//获得压缩类的全名称
Class<?> codecClass=Class.forName(codecClassname);
Configuration configuration=new Tools().getTools();
FileSystem fileSystem=FileSystem.get(configuration);
InputStream inputStream=fileSystem.open(new Path("/input/kmeans/sample.txt"));
OutputStream outputStream=fileSystem.create(new Path("/output/compress.gz"));
//通过ReflectionUtil来创建一个CompressionCodec实例
CompressionCodec compressionCodec=(CompressionCodec)ReflectionUtils.newInstance(codecClass, configuration);
//由CompressionOutputStream对System.out进行包装,对数据进行压缩
CompressionOutputStream compressionOutputStream=compressionCodec.createOutputStream(outputStream);
IOUtils.copyBytes(inputStream, compressionOutputStream, 4096, false);
compressionOutputStream.finish();
}
}
数据解压缩
输入数据(/output/compress.gz)为:数据压缩的输出结果
输出结果(/output/compress)<去掉输入文件后缀名即为输出文件名>:
1,1
2,2
3,3
-3,-3
-4,-4
-5,-5
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.CompressionCodecFactory;
import org.apache.hadoop.io.compress.CompressionInputStream;
import com.panky.tools.Tools;
public class FileDecompressor {
public static void main(String[] args) throws IOException {
//如果文件以.gz结尾,则可以使用GzipCodec读取。
String uriString="/output/compress.gz";
Configuration configuration=new Tools().getTools();
FileSystem fileSystem=FileSystem.get(configuration);
CompressionCodecFactory factory=new CompressionCodecFactory(configuration);
//使用getCodec()方法,CompressionCodecFactory提供了一种可以将文件扩展名映射到一个CompressionCodec的方法。
CompressionCodec codec=factory.getCodec(new Path(uriString));
if(codec==null){
System.out.println("No codec found for"+uriString);
System.exit(1);
}
//通过CompressionCodecFactory对象的静态方法removeSuffix()实现 找到对应的codec,去除文件扩展名形成输出文件名
String outString=CompressionCodecFactory.removeSuffix(uriString, codec.getDefaultExtension());
//通过createInputStream(InputStream in)方法获得CompressionInputStream对象
InputStream inputStream=codec.createInputStream(fileSystem.open(new Path(uriString)));
//使用这句也可以进行解压缩
//CompressionInputStream inputStream=codec.createInputStream(fileSystem.open(new Path(uriString)));
OutputStream outputStream=fileSystem.create(new Path(outString));
IOUtils.copyBytes(inputStream, outputStream, configuration);
IOUtils.closeStream(inputStream);
IOUtils.closeStream(outputStream);
}
}
上一篇: flush 方法小用和pid()方法
下一篇: js封装一个十进制转二进制的函数
推荐阅读
-
基于WebClient实现Http协议的Post与Get对网站进行模拟登陆和浏览实例
-
基于WebClient实现Http协议的Post与Get对网站进行模拟登陆和浏览实例
-
jsp基于XML实现用户登录与注册的实例解析(附源码)
-
基于localStorge开发登录模块的记住密码与自动登录实例
-
基于Hadoop的数据压缩与解压缩实例
-
大数据(十五):Hadoop数据压缩与压缩/解压缩实例
-
基于深度学习的实例分割算法研究与应用——环境搭建
-
Go语言基于Socket编写服务器端与客户端通信的实例
-
【JAVA】基于Socket协议传输的服务端与客户端实例!(可直接运行)
-
实例详解PHP基于双向链表与排序操作实现的会员排名功能