欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

压缩Redis里的字符串大对象操作

程序员文章站 2022-03-03 16:58:48
背景redis缓存的字符串过大时会有问题。不超过10kb最好,最大不能超过1mb。有几个配置缓存,上千个flink任务调用,每个任务5分钟命中一次,大小在5kb到6mb不等,因此需要压缩。第一种,使用...

背景

redis缓存的字符串过大时会有问题。不超过10kb最好,最大不能超过1mb。

有几个配置缓存,上千个flink任务调用,每个任务5分钟命中一次,大小在5kb到6mb不等,因此需要压缩。

第一种,使用gzip

/**
 * 使用gzip压缩字符串
 */
public static string compress(string str) {
    if (str == null || str.length() == 0) {
        return str;
    }
    bytearrayoutputstream out = new bytearrayoutputstream();
    gzipoutputstream gzip = null;
    try {
        gzip = new gzipoutputstream(out);
        gzip.write(str.getbytes());
    } catch (ioexception e) {
        e.printstacktrace();
    } finally {
        if (gzip != null) {
            try {
                gzip.close();
            } catch (ioexception e) {
                e.printstacktrace();
            }
        }
    }
    return new sun.misc.base64encoder().encode(out.tobytearray());
}
 
/**
 * 使用gzip解压缩
 */
public static string uncompress(string compressedstr) {
    if (compressedstr == null || compressedstr.length() == 0) {
        return compressedstr;
    }
 
    bytearrayoutputstream out = new bytearrayoutputstream();
    bytearrayinputstream in = null;
    gzipinputstream ginzip = null;
    byte[] compressed = null;
    string decompressed = null;
    try {
        compressed = new sun.misc.base64decoder().decodebuffer(compressedstr);
        in = new bytearrayinputstream(compressed);
        ginzip = new gzipinputstream(in);
        byte[] buffer = new byte[1024];
        int offset = -1;
        while ((offset = ginzip.read(buffer)) != -1) {
            out.write(buffer, 0, offset);
        }
        decompressed = out.tostring();
    } catch (ioexception e) {
        e.printstacktrace();
    } finally {
        if (ginzip != null) {
            try {
                ginzip.close();
            } catch (ioexception e) {
            }
        }
        if (in != null) {
            try {
                in.close();
            } catch (ioexception e) {
            }
        }
        if (out != null) {
            try {
                out.close();
            } catch (ioexception e) {
            }
        }
    }
    return decompressed;
}

第二种,使用zstd

        <!-- https://mvnrepository.com/artifact/com.github.luben/zstd-jni -->
        <dependency>
            <groupid>com.github.luben</groupid>
            <artifactid>zstd-jni</artifactid>
            <version>1.4.5-6</version>
        </dependency>
public class configcacheutil {
    private static zstddictcompress compressdict;
    private static zstddictdecompress decompressdict;
    private static final integer level = 5;
    public static void train() throws ioexception {
        // 初始化词典对象
        string dictcontent = fileutils.readfiletostring(new file("/users/yangguang/vscode/text/cache.json"),
            standardcharsets.utf_8);
        byte[] dictbytes = dictcontent.getbytes(standardcharsets.utf_8);
        compressdict = new zstddictcompress(dictbytes, level);
        decompressdict = new zstddictdecompress(dictbytes);
    }
    public static void main(string[] args) throws ioexception {
        string read = fileutils.readfiletostring(new file("/users/yangguang/vscode/text/cache.json"));
        configcacheutil.testgzip(read);
        system.out.println("");
        configcacheutil.test(read.getbytes());
        system.out.println("");
        configcacheutil.testbytrain(read.getbytes());
    }
    public static void testgzip(string str) {
        logger.info("初始数据: {}", str.length());
        // 压缩数据
        long compressbegintime = system.currenttimemillis();
        string compressed = configcacheutil.compress(str);
        long compressendtime = system.currenttimemillis();
        logger.info("压缩耗时: {}", compressendtime - compressbegintime);
        logger.info("数据大小: {}", compressed.length());
        // 解压数据
        long decompressbegintime = system.currenttimemillis();
        // 第 3 个参数不能小于解压后的字节数组的大小
        string decompressed = configcacheutil.uncompress(compressed);
        long decompressendtime = system.currenttimemillis();
        logger.info("解压耗时: {}", decompressendtime - decompressbegintime);
        logger.info("数据大小: {}", decompressed.length());
    }
    
    public static void test(byte[] bytes) {
        logger.info("初始数据: {}", bytes.length);
        // 压缩数据
        long compressbegintime = system.currenttimemillis();
        byte[] compressed = zstd.compress(bytes);
        long compressendtime = system.currenttimemillis();
        logger.info("压缩耗时: {}", compressendtime - compressbegintime);
        logger.info("数据大小: {}", compressed.length);
        // 解压数据
        long decompressbegintime = system.currenttimemillis();
        // 第 3 个参数不能小于解压后的字节数组的大小
        byte[] decompressed = zstd.decompress(compressed, 20 * 1024 * 1024 * 8);
        long decompressendtime = system.currenttimemillis();
        logger.info("解压耗时: {}", decompressendtime - decompressbegintime);
        logger.info("数据大小: {}", decompressed.length);
    }
    public static void testbytrain(byte[] bytes) throws ioexception {
        configcacheutil.train();
        logger.info("初始数据: {}", bytes.length);
        // 压缩数据
        long compressbegintime = system.currenttimemillis();
        byte[] compressed = zstd.compress(bytes, compressdict);
        long compressendtime = system.currenttimemillis();
        logger.info("压缩耗时: {}", compressendtime - compressbegintime);
        logger.info("数据大小: {}", compressed.length);
        // 解压数据
        long decompressbegintime = system.currenttimemillis();
        // 第 3 个参数不能小于解压后的字节数组的大小
        byte[] decompressed = zstd.decompress(compressed, decompressdict, 20 * 1024 * 1024 * 8);
        long decompressendtime = system.currenttimemillis();
        logger.info("解压耗时: {}", decompressendtime - decompressbegintime);
        logger.info("数据大小: {}", decompressed.length);
        compressdict.tostring();
    }
}

输出

5kb

2020-09-08 22:42:48 info configcacheutil:157 - 初始数据: 5541
2020-09-08 22:42:48 info configcacheutil:163 - 压缩耗时: 2
2020-09-08 22:42:48 info configcacheutil:164 - 数据大小: 1236
2020-09-08 22:42:48 info configcacheutil:171 - 解压耗时: 2
2020-09-08 22:42:48 info configcacheutil:172 - 数据大小: 5541

2020-09-08 22:42:48 info configcacheutil:176 - 初始数据: 5541
2020-09-08 22:42:48 info configcacheutil:182 - 压缩耗时: 523
2020-09-08 22:42:48 info configcacheutil:183 - 数据大小: 972
2020-09-08 22:42:48 info configcacheutil:190 - 解压耗时: 85
2020-09-08 22:42:48 info configcacheutil:191 - 数据大小: 5541

2020-09-08 22:42:48 info configcacheutil:196 - 初始数据: 5541
2020-09-08 22:42:48 info configcacheutil:202 - 压缩耗时: 1
2020-09-08 22:42:48 info configcacheutil:203 - 数据大小: 919
2020-09-08 22:42:48 info configcacheutil:210 - 解压耗时: 22
2020-09-08 22:42:48 info configcacheutil:211 - 数据大小: 5541

6mb

2020-09-08 22:44:06 info configcacheutil:158 - 初始数据: 5719269
2020-09-08 22:44:06 info configcacheutil:164 - 压缩耗时: 129
2020-09-08 22:44:06 info configcacheutil:165 - 数据大小: 330090
2020-09-08 22:44:06 info configcacheutil:172 - 解压耗时: 69
2020-09-08 22:44:06 info configcacheutil:173 - 数据大小: 5719269

2020-09-08 22:44:06 info configcacheutil:177 - 初始数据: 5874139
2020-09-08 22:44:06 info configcacheutil:183 - 压缩耗时: 265
2020-09-08 22:44:06 info configcacheutil:184 - 数据大小: 201722
2020-09-08 22:44:06 info configcacheutil:191 - 解压耗时: 81
2020-09-08 22:44:06 info configcacheutil:192 - 数据大小: 5874139

2020-09-08 22:44:06 info configcacheutil:197 - 初始数据: 5874139
2020-09-08 22:44:06 info configcacheutil:203 - 压缩耗时: 42
2020-09-08 22:44:06 info configcacheutil:204 - 数据大小: 115423
2020-09-08 22:44:07 info configcacheutil:211 - 解压耗时: 49
2020-09-08 22:44:07 info configcacheutil:212 - 数据大小: 5874139

redis 压缩列表

压缩列表(ziplist)是列表键和哈希键的底层实现之一。当一个列表键只包含少量列表项,并且每个列表项要么就是小整数值,要么就是长度比较短的字符串,redis就会使用压缩列表来做列表键的底层实现。

下面看一下压缩列表实现的列表键:

压缩Redis里的字符串大对象操作

列表键里面包含的都是1、3、5、10086这样的小整数值,以及''hello''、''world''这样的短字符串。

再看一下压缩列表实现的哈希键:

压缩Redis里的字符串大对象操作

压缩列表是redis为了节约内存而开发的,是一系列特殊编码的连续内存块组成的顺序型数据结构。

一个压缩列表可以包含任意多个节点,每个节点可以保存一个字节数组或者一个整数值。

压缩Redis里的字符串大对象操作

看一下压缩列表的示例:

压缩Redis里的字符串大对象操作

看一下包含五个节点的压缩列表:

压缩Redis里的字符串大对象操作

节点的encoding属性记录了节点的content属性所保存数据的类型以及长度。

节点的content属性负责保存节点的值,节点值可以是一个字节数组或者整数,值的类型和长度由节点的encoding属性决定。

压缩Redis里的字符串大对象操作

连锁更新:

每个节点的previous_entry_length属性都记录了前一个节点的长度,那么当前一个节点的长度从254以下变成254以上时,本节点的存储前一个节点的长度的previous_entry_length就需要从1字节变为5字节。

那么后面的节点的previous_entry_length属性也有可能更新。不过连锁更新的几率并不大。

总结:

压缩Redis里的字符串大对象操作

以上为个人经验,希望能给大家一个参考,也希望大家多多支持。