听说会redis的帅哥都拿到了月入过万
程序员文章站
2022-03-10 15:28:31
来吧，兄弟们，前几天用redis干了个大数据事件，今天和大家探讨干SpringBoot整合redis，以及redis处理大量数据，不要怂，干就完了。一、SpringBoot整合redis：1、首先在pom文件中导入redis依赖，用来引入redis的jar包。
来吧，兄弟们，前几天用redis干了个大数据事件，今天和大家探讨干SpringBoot整合redis，以及redis处理大量数据，不要怂，干就完了。
一、SpringBoot整合redis：
1、首先在pom文件中导入redis依赖，用来引入redis的jar包。
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
2、在yml文件中配置redis连接，包括redis主机地址，如果本地也可以不写，因为redis中的redis.conf配置文件中是127.0.01（也就是本地）；端口号port的设置，默认端口号是6379，如果是6379的话，大家也可以不需要在配置文件中进行配置。配置代码如下所示：
spring:
redis:
host: 127.0.0.1
port: 6379
3、经过导入redis依赖和配置redis连接，我们到测试类中测试下是否成功连接redis非关系型数据库，大家一定要记得开redis哈，否则这个肯定是连接不上redis的。
@Autowired
//引入官方redisTemplate，这个官方RedisTemplate不太好用，后期我们自己会进行编写，在RedisTemplate中允许我们不使用官方的。
private RedisTemplate redisTemplate;
@Test
public void test3(){
//获取redis连接
RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
//清空数据库中当前库的所有数据，类似在redis客户端中操作FLUSHDB操作
connection.flushDb();
//这个是操作字符串的set方法
redisTemplate.opsForValue().set("name","ygl");
//打印获取的key为name的value值
System.out.println(redisTemplate.opsForValue().get("name"));
}
在控制台成功打印出该key为name的value值。下面给大家展示下在Java中如何像直接在redis客户端中操作redis数据类型：
接下来给大家进去官方RedisTemplate中源码分析下，和不用它的原因。
二、编写自己RedisTemplae
将自己的Template设置成<String,Object>类型，且进行序列化，代码如下所示，该config大家也可以在企业中使用。
package com.ygl.config;
import com.fasterxml.jackson.annotation.JsonAutoDetect;
import com.fasterxml.jackson.annotation.PropertyAccessor;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.annotation.AliasFor;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer;
import org.springframework.data.redis.serializer.StringRedisSerializer;
import java.net.UnknownHostException;
/**
* @author ygl
* @description
* @date 2020/10/10 19:45
*/
@Configuration
public class RedisConfig {
//编写自己的redisTemplate 给该方法起别名，
@Bean(name = "redisTemplate1")
@SuppressWarnings("all")
public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory factory) {
RedisTemplate<String, Object> template = new RedisTemplate<String, Object>();
template.setConnectionFactory(factory);
Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
ObjectMapper om = new ObjectMapper();
om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
jackson2JsonRedisSerializer.setObjectMapper(om);
StringRedisSerializer stringRedisSerializer = new StringRedisSerializer();
// key采用String的序列化方式
template.setKeySerializer(stringRedisSerializer);
// hash的key也采用String的序列化方式
template.setHashKeySerializer(stringRedisSerializer);
// value序列化方式采用jackson
template.setValueSerializer(jackson2JsonRedisSerializer);
// hash的value序列化方式采用jackson
template.setHashValueSerializer(jackson2JsonRedisSerializer);
template.afterPropertiesSet();
return template;
}
}
接下来在自动导入RrdisTemplate时，千万要导成自己的，不要再导入官方Template。
三、编写redisUntil工具类
刚刚我们每次操作都需要引入RedisTemplate和每次操作redis时都需要类似redisTemplate.opsForValue().set(“name”,“ygl”); 等等，大家肯定不像类似这样操作，太恶心了吧，年轻人不讲武德 ，接下来我给大家来秀一波，写个工具类，不需要每次都这么恶心操作，工具类代码如下：
package com.kuang.utils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;
import org.springframework.util.CollectionUtils;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.concurrent.TimeUnit;
//@Component作用是将RedisUtil注入Spring容器中，交由Spring管理
@Component
public final class RedisUtil {
@Autowired
private RedisTemplate<String, Object> redisTemplate;
// =============================common============================
/**
* 指定缓存失效时间
* @param key 键
* @param time 时间(秒)
*/
public boolean expire(String key, long time) {
try {
if (time > 0) {
redisTemplate.expire(key, time, TimeUnit.SECONDS);
}
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 根据key 获取过期时间
* @param key 键 不能为null
* @return 时间(秒) 返回0代表为永久有效
*/
public long getExpire(String key) {
return redisTemplate.getExpire(key, TimeUnit.SECONDS);
}
/**
* 判断key是否存在
* @param key 键
* @return true 存在 false不存在
*/
public boolean hasKey(String key) {
try {
return redisTemplate.hasKey(key);
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 删除缓存
* @param key 可以传一个值 或多个
*/
@SuppressWarnings("unchecked")
public void del(String... key) {
if (key != null && key.length > 0) {
if (key.length == 1) {
redisTemplate.delete(key[0]);
} else {
redisTemplate.delete(CollectionUtils.arrayToList(key));
}
}
}
// ============================String=============================
/**
* 普通缓存获取
* @param key 键
* @return 值
*/
public Object get(String key) {
return key == null ? null : redisTemplate.opsForValue().get(key);
}
/**
* 普通缓存放入
* @param key 键
* @param value 值
* @return true成功 false失败
*/
public boolean set(String key, Object value) {
try {
redisTemplate.opsForValue().set(key, value);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 普通缓存放入并设置时间
* @param key 键
* @param value 值
* @param time 时间(秒) time要大于0 如果time小于等于0 将设置无限期
* @return true成功 false 失败
*/
public boolean set(String key, Object value, long time) {
try {
if (time > 0) {
redisTemplate.opsForValue().set(key, value, time, TimeUnit.SECONDS);
} else {
set(key, value);
}
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 递增
* @param key 键
* @param delta 要增加几(大于0)
*/
public long incr(String key, long delta) {
if (delta < 0) {
throw new RuntimeException("递增因子必须大于0");
}
return redisTemplate.opsForValue().increment(key, delta);
}
/**
* 递减
* @param key 键
* @param delta 要减少几(小于0)
*/
public long decr(String key, long delta) {
if (delta < 0) {
throw new RuntimeException("递减因子必须大于0");
}
return redisTemplate.opsForValue().increment(key, -delta);
}
// ================================Map=================================
/**
* HashGet
* @param key 键 不能为null
* @param item 项 不能为null
*/
public Object hget(String key, String item) {
return redisTemplate.opsForHash().get(key, item);
}
/**
* 获取hashKey对应的所有键值
* @param key 键
* @return 对应的多个键值
*/
public Map<Object, Object> hmget(String key) {
return redisTemplate.opsForHash().entries(key);
}
/**
* HashSet
* @param key 键
* @param map 对应多个键值
*/
public boolean hmset(String key, Map<String, Object> map) {
try {
redisTemplate.opsForHash().putAll(key, map);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* HashSet 并设置时间
* @param key 键
* @param map 对应多个键值
* @param time 时间(秒)
* @return true成功 false失败
*/
public boolean hmset(String key, Map<String, Object> map, long time) {
try {
redisTemplate.opsForHash().putAll(key, map);
if (time > 0) {
expire(key, time);
}
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 向一张hash表中放入数据,如果不存在将创建
*
* @param key 键
* @param item 项
* @param value 值
* @return true 成功 false失败
*/
public boolean hset(String key, String item, Object value) {
try {
redisTemplate.opsForHash().put(key, item, value);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 向一张hash表中放入数据,如果不存在将创建
*
* @param key 键
* @param item 项
* @param value 值
* @param time 时间(秒) 注意:如果已存在的hash表有时间,这里将会替换原有的时间
* @return true 成功 false失败
*/
public boolean hset(String key, String item, Object value, long time) {
try {
redisTemplate.opsForHash().put(key, item, value);
if (time > 0) {
expire(key, time);
}
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 删除hash表中的值
*
* @param key 键 不能为null
* @param item 项 可以使多个 不能为null
*/
public void hdel(String key, Object... item) {
redisTemplate.opsForHash().delete(key, item);
}
/**
* 判断hash表中是否有该项的值
*
* @param key 键 不能为null
* @param item 项 不能为null
* @return true 存在 false不存在
*/
public boolean hHasKey(String key, String item) {
return redisTemplate.opsForHash().hasKey(key, item);
}
/**
* hash递增 如果不存在,就会创建一个 并把新增后的值返回
*
* @param key 键
* @param item 项
* @param by 要增加几(大于0)
*/
public double hincr(String key, String item, double by) {
return redisTemplate.opsForHash().increment(key, item, by);
}
/**
* hash递减
*
* @param key 键
* @param item 项
* @param by 要减少记(小于0)
*/
public double hdecr(String key, String item, double by) {
return redisTemplate.opsForHash().increment(key, item, -by);
}
// ============================set=============================
/**
* 根据key获取Set中的所有值
* @param key 键
*/
public Set<Object> sGet(String key) {
try {
return redisTemplate.opsForSet().members(key);
} catch (Exception e) {
e.printStackTrace();
return null;
}
}
/**
* 根据value从一个set中查询,是否存在
*
* @param key 键
* @param value 值
* @return true 存在 false不存在
*/
public boolean sHasKey(String key, Object value) {
try {
return redisTemplate.opsForSet().isMember(key, value);
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 将数据放入set缓存
*
* @param key 键
* @param values 值 可以是多个
* @return 成功个数
*/
public long sSet(String key, Object... values) {
try {
return redisTemplate.opsForSet().add(key, values);
} catch (Exception e) {
e.printStackTrace();
return 0;
}
}
/**
* 将set数据放入缓存
*
* @param key 键
* @param time 时间(秒)
* @param values 值 可以是多个
* @return 成功个数
*/
public long sSetAndTime(String key, long time, Object... values) {
try {
Long count = redisTemplate.opsForSet().add(key, values);
if (time > 0)
expire(key, time);
return count;
} catch (Exception e) {
e.printStackTrace();
return 0;
}
}
/**
* 获取set缓存的长度
*
* @param key 键
*/
public long sGetSetSize(String key) {
try {
return redisTemplate.opsForSet().size(key);
} catch (Exception e) {
e.printStackTrace();
return 0;
}
}
/**
* 移除值为value的
*
* @param key 键
* @param values 值 可以是多个
* @return 移除的个数
*/
public long setRemove(String key, Object... values) {
try {
Long count = redisTemplate.opsForSet().remove(key, values);
return count;
} catch (Exception e) {
e.printStackTrace();
return 0;
}
}
// ===============================list=================================
/**
* 获取list缓存的内容
*
* @param key 键
* @param start 开始
* @param end 结束 0 到 -1代表所有值
*/
public List<Object> lGet(String key, long start, long end) {
try {
return redisTemplate.opsForList().range(key, start, end);
} catch (Exception e) {
e.printStackTrace();
return null;
}
}
/**
* 获取list缓存的长度
*
* @param key 键
*/
public long lGetListSize(String key) {
try {
return redisTemplate.opsForList().size(key);
} catch (Exception e) {
e.printStackTrace();
return 0;
}
}
/**
* 通过索引 获取list中的值
*
* @param key 键
* @param index 索引 index>=0时， 0 表头，1 第二个元素，依次类推；index<0时，-1，表尾，-2倒数第二个元素，依次类推
*/
public Object lGetIndex(String key, long index) {
try {
return redisTemplate.opsForList().index(key, index);
} catch (Exception e) {
e.printStackTrace();
return null;
}
}
/**
* 将list放入缓存
*
* @param key 键
* @param value 值
*/
public boolean lSet(String key, Object value) {
try {
redisTemplate.opsForList().rightPush(key, value);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 将list放入缓存
* @param key 键
* @param value 值
* @param time 时间(秒)
*/
public boolean lSet(String key, Object value, long time) {
try {
redisTemplate.opsForList().rightPush(key, value);
if (time > 0)
expire(key, time);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 将list放入缓存
*
* @param key 键
* @param value 值
* @return
*/
public boolean lSet(String key, List<Object> value) {
try {
redisTemplate.opsForList().rightPushAll(key, value);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 将list放入缓存
*
* @param key 键
* @param value 值
* @param time 时间(秒)
* @return
*/
public boolean lSet(String key, List<Object> value, long time) {
try {
redisTemplate.opsForList().rightPushAll(key, value);
if (time > 0)
expire(key, time);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 根据索引修改list中的某条数据
*
* @param key 键
* @param index 索引
* @param value 值
* @return
*/
public boolean lUpdateIndex(String key, long index, Object value) {
try {
redisTemplate.opsForList().set(key, index, value);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 移除N个值为value
*
* @param key 键
* @param count 移除多少个
* @param value 值
* @return 移除的个数
*/
public long lRemove(String key, long count, Object value) {
try {
Long remove = redisTemplate.opsForList().remove(key, count, value);
return remove;
} catch (Exception e) {
e.printStackTrace();
return 0;
}
}
}
里面大致放了以下这么多的操作，接下来给大家大概总结下：
1、缓存失效时间；
2、五大基本数据类型的基本常用操作；
3、判断该key值是否存在；
4、删除缓存；
5、缓存放入并设置失效时间；
6、递增，每次增加几；递减，每次减几
7、移除指定value的值等等。
下面来说下如何使用工具类来直接操作redis，代码如下：
@Autowired
private RedisUtil redisUtil;
@Test
public void test3(){
//获取redis连接
RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
//清空数据库中当前库的所有数据，类似在redis客户端中操作FLUSHDB操作
connection.flushDb();
redisUtil.set("age",18);
System.out.println(redisUtil.get("age"));
//这个是操作字符串的set方法
//redisTemplate.opsForValue().set("name","ygl");
//打印获取的key为name的value值
//System.out.println(redisTemplate.opsForValue().get("name"));
}
自动导入RedisUtil，然后就可以直接进行操作即可。接下来开始讲Oracle数据库大量数据导入redis数据库中且进行模糊查询方法。
刚刚梳理好数据库中数据如何更快更快的导入redis中和获取，来吧，开干
四：Spring Boot引入Oracle数据库（为了 获取大量数据）
首先引入SpingBoot整合myBatis依赖（千万不要引错了，否则起不来，这个坑踩过），和Oracle数据库依赖
<dependency>
<groupId>com.oracle</groupId>
<artifactId>ojdbc7</artifactId>
<version>12.1.0.1</version>
</dependency>
<dependency>
<groupId>org.mybatis.spring.boot</groupId>
<artifactId>mybatis-spring-boot-starter</artifactId>
<version>2.1.0</version>
</dependency>
PS：这个jar包可能下不来，我给大家放到我CSDN资源里了，大家可以下载，地址为：https://download.csdn.net/download/weixin_45150104/13452835
这里我就不和大家写查询数据库中所有内容的controller、service和mapper层了哈，直接写操作redis的关键，算了，还是写一下吧，直接贴代码，不具体分析： 大家这部分可以不看，直接跳到第五部分写好的优化代码，这里的redis导入和导出只是我做测试分析所使用
总体架构如下图所示：
实体类Test1.class如下图所示：
package com.kuang.pojo;
import lombok.Data;
/**
* @author ygl
* @description
* @date 2020/12/1 19:54
*/
@Data
public class Test1 {
public String name;
public String address;
}
controller层如下图所示：
package com.kuang.controller;
import com.kuang.service.RedisService;
import com.kuang.service.TestService;
import com.kuang.utils.RandomUtil;
import com.kuang.utils.RedisUtil;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.*;
/**
* @author ygl
* @description
* @date 2020/12/1 19:15
*/
@RestController
@RequestMapping("/redis")
public class TestController {
@Autowired
@Qualifier("redisTemplate")
private RedisTemplate redisTemplate;
@Autowired
private RandomUtil randomUtil;
@Autowired
private RedisUtil redisUtil;
@Autowired
private TestService testService;
@Autowired
private RedisService redisService;
//存入value中，是hash类型，查询数据库，导入到redis中，采用逐条查询
@GetMapping("/intoRedis")
private void intoRedis(){
testService.start1();
}
//将值存入到key中，是set类型，导入到redis中，采用逐条查询
@GetMapping("/intoRedis2")
private void intoRedis2(){
testService.start2();
}
@GetMapping("/test")
private void test(){
long l = redisUtil.sSet("key01", "1", "2", "3");
System.out.println("长度："+l);
redisUtil.sGet("key01");
System.out.println();
}
@GetMapping("/likeByOne")
private List test1(String pattern){
Date date1 = new Date();
//模糊查询
// Set keys = redisTemplate.keys("*" + pattern + "*");
//通过外层key拿到下面的对象，外层key一般都是已知的
Map<String, String> entries = redisTemplate.opsForHash().entries("key01");
List<String> list = new ArrayList<>();
List<String> listNew = new ArrayList<>();
//遍历缓存对象
for (String value : entries.keySet()) {
//如果value是对象直接强转对象即可
String o = (String) entries.get(value);
//字符串在缓存中取出来有的时候会多出一对双引号，可以debug看一下，把引号去掉
o = o.replace("\"", "");
//用假设前端的value和对象下的value相比较，相同则添加到list集合中，然后返回
if (o.matches(".*"+pattern+".*")){
System.out.println("值："+o);
// String key01 =(String) redisUtil.hget("key01", o);
// System.out.println("key01:"+key01);
listNew.add(o);
}
}
System.out.println("总条数："+list.size());
Date date2 = new Date();
System.out.println("结束时间："+date1);
System.out.println("结束时间："+date2);
return listNew;
}
//将值存入到key中进行查询
@GetMapping("/likeByOne2")
private Set test2(String pattern){
Date date1 = new Date();
//模糊查询
Set keys = redisTemplate.keys("*" + pattern + "*");
Date date2 = new Date();
System.out.println("结束时间："+date1);
System.out.println("结束时间："+date2);
return keys;
}
}
这里在查询到数据库，取到大量数据（47万8千多条），然后进行插入redis和从redis中模糊取得数据，进行了多种对比，我先把这三层写完，最后做详细描述。
TestService接口：
package com.kuang.service;
import com.kuang.pojo.Test1;
import java.util.List;
/**
* @author ygl
* @description
* @date 2020/12/1 19:51
*/
public interface TestService {
List<Test1> findAll();
void start1();
void start2();
}
TestService实现类：
package com.kuang.service.impl;
import com.kuang.mapper.TestMapper;
import com.kuang.pojo.Test1;
import com.kuang.service.TestService;
import com.kuang.utils.RandomUtil;
import com.kuang.utils.RedisUtil;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.connection.RedisConnection;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Service;
import java.util.Date;
import java.util.List;
/**
* @author ygl
* @description
* @date 2020/12/1 19:56
*/
@Service
public class TestServiceImpl implements TestService {
@Autowired
private TestMapper testMapper;
@Autowired
private TestService testService;
@Autowired
private RedisTemplate redisTemplate;
@Autowired
private RandomUtil randomUtil;
@Autowired
private RedisUtil redisUtil;
@Override
public List<Test1> findAll() {
return testMapper.findAll();
}
@Override
//定时任务
@Scheduled(cron = "0 8 0 1-31 * ? ")
public void start1() {
System.out.println("开始、、、、");
Date date1 = new Date();
List<Test1> all = testService.findAll();
//获取redis连接 且将当前库中所有key value删除
RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
// connection.flushDb();
// String str= JSON.toJSONString(all);
// redisUtil.hset("key01","10001",str);
System.out.println("大小："+all.size());
for (int i=0;i<all.size();i++){
Test1 test = all.get(i);
String s = test.toString();
String itemID = randomUtil.getItemID(10);
redisUtil.hset("key01",itemID,s);
}
Date date2 = new Date();
System.out.println("结束时间："+date1);
System.out.println("结束时间："+date2);
}
@Override
//定时任务
@Scheduled(cron = "0 8 1 1-31 * ? ")
public void start2() {
Date date1 = new Date();
List<Test1> all = testService.findAll();
//获取redis连接 且将当前库中所有key value删除
RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
//connection.flushDb();
System.out.println("大小："+all.size());
for (int i=0;i<all.size();i++){
Test1 test = all.get(i);
String s = test.toString();
redisUtil.set(s,"你好");
}
Date date2 = new Date();
System.out.println("结束时间："+date1);
System.out.println("结束时间："+date2);
}
}
TestMapper代码如下图所示：
package com.kuang.mapper;
import com.kuang.pojo.Test1;
import org.apache.ibatis.annotations.Mapper;
import java.util.List;
/**
* @author ygl
* @description
* @date 2020/12/1 19:57
*/
@Mapper
public interface TestMapper {
List<Test1> findAll();
}
TestMapper.xml文件如下图所示：
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.kuang.mapper.TestMapper">
<select id="findAll" resultType="com.kuang.pojo.Test1">
select NAME,ADDRESS
from TBL_SZ_KJJG_SHOW
</select>
</mapper>
配置文件如下图所示：
#reids的IP地址
#spring.redis.host=127.0.0.1
#redis端口号
#spring.redis.port=6379
spring:
redis:
host: 127.0.0.1
port: 6379
application:
name: user-service
datasource:
driver-class-name: oracle.jdbc.driver.OracleDriver
url: jdbc:oracle:thin:@192.168.31.203:1521:orcl203 写自己的
username: root 写自己的
password: 123456 写自己的
max-idle: 10
max-wait: 10000
min-idle: 5
initial-size: 5
servlet:
multipart:
max-file-size: 50MB
max-request-size: 50MB`在这里插入代码片`
mybatis:
type-aliases-package: com.kuang.pojo
mapper-locations: classpath:mapper/*.xml
接下来我给大家分析下上面我所写的 垃圾代码 ，当时为了和各种情况做对比使用：
1、首先我为了简便，直接存放的数据类型为String类型，因为redisTemplate中有自带的模糊查询（Set keys = redisTemplate.keys("*" + pattern + "*");），这里我就直接将查询出来的值放到key中，效率贼快，在迷糊查询时，当查询出来一万多条时，直接秒出，效率真的是高，但是这不符合常规啊，哪有把数据放在redis中的key里面的，吓唬闹，换吧，所有有了第二种。
PS： 插入的时候，采用的47万多条数据逐条插入，来个for循环，效率特别低，大概用时122秒左右（真实实验数据支撑，包括查询数据库时间）。
2、第二种放到value中，采用的hash结构，key值就设定一个，item我设置成随机生成的十位字符，value放存放的从数据库中查出内容。大量数据放redis中和第一种一样。这个插入也是采用逐条插入，效率特别特别低，这个47万多条插入，用了121秒左右（包括查询数据库时间），这个我等会给大家分析个牛逼方法。
3、这个在模糊查询中，采用的是先取出所有的key值，然后把key值放到list集合中，再遍历所有的key值，逐个取出value值，然后和从前端的值去对比，才用方法是（value.matches(". * “+str+”. *")），如何满足就将value放到list集合中然后返回。这种查询出来一万多条符合条件的数据用时9秒左右，效率也是比较低。
五、放大招，不瞒各位，前面全是垃圾，开始牛逼的批量导入redis和从redis中导出数据：
开始扔干货，接着哈。刚才上面分享的那种逐条导入和导出数据库真的效率太慢了，无法用语言来形容。昨天晚上就和经常使用redis的同学商量如何批量导入数据和导出数据，他给出的建议是采用管道流（Pipelined），RedisTemplate中有redisTemplate.executePipelined（）； 进行管道操作
批量插入实现代码如下图所示：
@Test
public void testPipellined(){
RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
connection.flushDb();
System.out.println("开始查询数据库");
List<Test1> all = testService.findAll();
System.out.println("大小："+all.size());
System.out.println("开始导入redis");
long l = System.currentTimeMillis();
// for (int i = 0;i<all.size();i++){
// Test1 test1 = all.get(i);
// String s = JSON.toJSONString(test1);
// redisUtil.set(("iii"+i),s);
//
// }
redisTemplate.executePipelined(new RedisCallback<String>() {
@Override
public String doInRedis(RedisConnection connection) throws DataAccessException {
for (int i = 0; i < all.size(); i++) {
Test1 test1 = all.get(i);
String s = JSON.toJSONString(test1);
connection.set(("pipel:" + i).getBytes(),s.getBytes() );
}
return null;
}
});
long l1 = System.currentTimeMillis();
System.out.println("结束："+(l1-l));
}
这次47万多条数据用时9272毫秒毫秒哈，为了做对比，我又写了个对照组，又写了个普通的for循环逐条插入。这个逐条插入数据用时57766毫秒左右（真实数据支撑哈）
批量查询实现代码如下图所示：
@Test
public void selectPipellined(){
System.out.println("开始查询");
long l = System.currentTimeMillis();
List<String> keys = new ArrayList<>();
for (int i = 0; i < 478385; i++) {
keys.add(("pipel:" + i));
System.out.println("第一次："+i);
}
redisTemplate.executePipelined(new RedisCallback<String>() {
@Override
public String doInRedis(RedisConnection connection) throws DataAccessException {
for (String key : keys) {
connection.get(key.getBytes());
System.out.println("第二次："+key);
}
System.out.println("大小："+redisTemplate.keys("*").size());
return null;
}
});
long l1 = System.currentTimeMillis();
System.out.println("结束："+(l1-l));
}
这里的第一个for循环是为了模拟前端传来的key集合。
好了以上就是批量导入导出，速度贼快。希望能够帮助大家。
六、redis缓存和数据库一致性问题
说起redis，那么和数据库一致性问题就没法不谈啊，redis的软肋啊。接下来我和大家分析分析这方面的解决方法和存在的问题：
1、更新：先更新数据库，然后删除缓存
读取：先进缓存中进行读取，如果不存在进进数据库中查询，数据库中查询到的话然后再将数据放到redis缓存中。
问题：当数据库已经更新，缓存中还没有删除，这是过来读取的线程，先直接从缓存中读取到，然后就直接返回，这肯定不行。
2、更新：先删除缓存，后更新数据库，
读取：先进缓存中进行读取，如果不存在进进数据库中查询，数据库中查询到的话然后再将数据放到redis缓存中。
问题：缓存已经删除，数据库还没有更新，这个时候来读取数据，缓存中找不到，然后进数据库中拿取数据，拿到的是未更新的数据，这肯定是脏数据啊，所以这个也不行。
面对这两种问题，我们可以在写的时候来进行视情况而定
第一种并发量不高：关于写的时候，先写数据库，然后写redis.
第二种并发量比较高：关于写的时候，先写redis，然后直接返回，定期或者特定动作的时候将redis中的数据更新至数据库中，可以多次更新，一次保存。
第三种：可以写个定时任务全部删除redis中数据，然后将数据库中数据重新写入redis中。
第五种：这个成本可能比较高些，redis和数据库分离，也就是根本不要数据库，所有数据放到缓存redis中，这个方法还是昨天晚上和同学探讨出来的。嘻嘻。
七、补充： json中的json.parseObject()方法和json.tojsonString()方法。
首先引入阿里巴巴的fastjson依赖：
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>1.2.62</version>
<scope>compile</scope>
</dependency>
然后就可以直接使用。
JSON.parseObject，是将Json字符串转化为相应的对象；JSON.toJSONString则是将对象转化为Json字符串。
目前先到此结束吧，后期有新的知识点再进行更新，那些讲的不太明白的小伙伴可以在下面留言讨论，欢迎转发点赞和评论。
让自己变的更强，唯有不断努力，加油，冲啊
本文地址：https://blog.csdn.net/weixin_45150104/article/details/110624466