欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  数据库

让远程传输大文件变得更快

程序员文章站 2022-03-16 16:37:22
...

我是在两台虚拟机做的测试。如果用传统SCP远程拷贝,速度是比较慢的,如图:现在采用lz4压缩传输。LZ4是一个非常快的无损压缩算法,压缩速度在单核300MB/S,可扩

我是在两台虚拟机做的测试。


如果用传统SCP远程拷贝,,速度是比较慢的,如图:

让远程传输大文件变得更快


现在采用lz4压缩传输。LZ4是一个非常快的无损压缩算法,压缩速度在单核300MB/S,可扩展支持多核CPU。它还具有一个非常快速的解码器,速度单核可达到和超越1GB/S。通常能够达到多核系统上的RAM速度限制。

让远程传输大文件变得更快

项目主页:


安装(在本地和远程均安装lz4压缩工具)

# wget https://dl.dropboxusercontent.com/u/59565338/LZ4/lz4-r108.tar.gz

# cd lz4-r108/

# make;make install


远程传输

time tar -c aa.img |pv|lz4 -B4|ssh 192.168.17.129 "lz4 -d |tar -xC /root/"

让远程传输大文件变得更快

传输2G的文件,速度是119M/S,花费了17秒传输完毕。


本文出自 “贺春旸的技术专栏” 博客,请务必保留此出处