Redis 大批量数据插入
程序员文章站
2022-06-15 18:44:32
...
前言
如果我们此时需要往redis导入大量数据,如果能快速操作??
一行一行的命令加入的话耗费往返时间
使用管道可以节省往返时间,但是会占用很多内存,即使发送大量的命令,也是要分批次的处理才可以;
我们先创建一个redis命令集文件,将所有要设置的命令写在这个文件里,最后统一执行这个文件就可以;
记:
这个redis数据集文件,记得转码;linux请先确保有转码工具,没有的话请brew install unix2dos
转码指令:unix2dos 文件名
例如:我们要生成一个’keyN’->'VALUEN’的大数据集,创建一个redis命令集文件;
set k1 v1
set k2 v2
set k3 v3
.......
redis-cli支持一种新的被称为pipe mode的新模式用于自行大量数据插入工作;
执行命令:
cat data.txt |redis-cli --pipe
//这个命令就是一个用来读取文件内容,一个用来发送文件到redis执行
如果到导入数据在远程主机上,端口也是自定义的话,
cat data.txt|redis-cli -p 9999 -h 192.168.1.122 --pipe
下一篇: react中类组件与函数式组件ref使用
推荐阅读