服务器之家:专注于VPS、云服务器配置技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Redis - 看完Redis缓存穿透、缓存击穿、缓存雪崩来吊打面试官!

看完Redis缓存穿透、缓存击穿、缓存雪崩来吊打面试官!

2023-12-06 14:04小王博客基地 Redis

今天我们深入具体的讨论了Redis缓存穿透、缓存击穿、缓存雪崩的产生原因和解决方案,补充了缓存污染和缓存一致性。

看完Redis缓存穿透、缓存击穿、缓存雪崩来吊打面试官!

一、前言

「Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。」

Redis在缓存应用中还是很广泛的,项目中也经常使用。基本上面试中肯定都会问到,总结一下增强记忆哈!

在享受缓存带来的好处的同时,当然要防止这些不好的方面。

下面我们一起来看看这三种情况的产生原因和解决方案!

「总结: 这三种情况都是在大量请求来的时候,Redis没有命中,请求直接打到数据库,从而导致数据库挂掉!」

Redis缓存简图:

看完Redis缓存穿透、缓存击穿、缓存雪崩来吊打面试官!

二、缓存穿透

1、产生原因

「大量请求的 key 是不合理的,缓存中根本不存在(数据库中一般也不存在),导致这些请求绕过缓存直接访问数据库,给数据库造成了巨大的压力,随时可能宕机。」

  • 恶意查询,如查询id为负数等等。
  • key过期,突然来了大量请求时。
  • key没有提前预热,突然来了大量请求时。

2、解决方案

  • 设置缓存空值:查询数据库没有结果,将空值缓存,但必须设置一个合理的过期时间。
  • 布隆过滤器:是一种用于判断一个元素是否属于一个集合的数据结构。
  • 合理判断参数的范围:非负数等等。
  • 限制并发查询:保证只有一个线程去查询底层数据源,其他线程等待查询结果。

3、具体方案

「设置缓存空值:」

redis有一个配置,可以把从数据库查询出来为空的也缓存到Redis中,也可以自己在代码中写,顺便加上过期时间,也可以配置过期时间,这样是全局都是这个过期时间了,不太建议这样!

spring:
  cache: 
    redis:
      cache-null-value: true
      time-to-live: 30s

「限制并发查询:」

@Cacheable(value={"category"},key = "#root.methodName",sync = true)

sync = true:表示多个线程在尝试获取缓存数据的时候会被阻塞,直到第一个线程从数据库加载数据并放入缓存后,其他线程才能获取到缓存中的数据。这样可以避免多个线程同时查询底层数据库,减轻数据库负载,但会降低并发性能。 默认为false,不开启

「布隆过滤器:」

布隆过滤器(Bloom Filter)是一种用于判断一个元素是否属于一个集合的数据结构。它的主要特点是高效地判断元素是否存在于集合中,且具有空间和时间效率高的优点。布隆过滤器不会存储实际的数据,而是通过一系列的哈希函数和位数组来判断元素的存在。

看完Redis缓存穿透、缓存击穿、缓存雪崩来吊打面试官!

「当布隆过滤器判断元素不存在时,元素一定不存在,元素存在时,元素不一定存在!」

是不是有点绕,我们在详细说一下:

布隆过滤器有一定的假阳性概率,即在判断元素存在时,有可能出现错误的结果。这是因为多个元素可能产生相同的哈希值,导致位数组中的位被设置为1。

「布隆过滤器一旦添加了元素,就不能删除,因为删除元素会影响其他元素的判断结果。」

一般引入guava中的BloomFilter来实现布隆过滤器!如果喜欢用Hutool,也是有实现的!

下面小编给大家简单的写个demo,大家感受一下!

「引入依赖」


    com.google.guava
    guava
    30.1-jre

「配置布隆过滤器」

/**
 * @author wangzhenjun
 * @date 2023/11/7 17:08
 */
@Configuration
public class BloomFilterConfig {

    // 预期插入的元素个数,从配置文件里拿
    private static final Integer EXPECTED_INSERTIONS = 100000;

    // 期望的误判率,值越低,布隆过滤器计算时间越长,从配置文件里拿
    private static final Double FPP = 0.03;

    @Bean
    public BloomFilter bloomFilter(){
        BloomFilter filter = BloomFilter.create(Funnels.stringFunnel(Charset.forName("utf-8")), EXPECTED_INSERTIONS,FPP);
        return filter;
    }

}

「简单测试」

为了简单,直接写在启动类上了,大家不要学哈!

@EnableAsync
@MapperScan("com.example.demonew.demo.mapper")
@EnableTransactionManagement
@SpringBootApplication
public class DemoNewApplication {

    @Autowired
    private BloomFilter bloomFilter;

    public static void main(String[] args) {
        SpringApplication.run(DemoNewApplication.class, args);

    }

    @PostConstruct
    public void init(){
        bloomFilter.put("123");
        boolean b = bloomFilter.mightContain("123");
        System.out.println("是否存在:" + b);
    }

}

看完Redis缓存穿透、缓存击穿、缓存雪崩来吊打面试官!

三、缓存击穿

1、产生原因

「缓存击穿是指当缓存中某个热点key刚刚过期(一般和缓存穿透区别在于热点数据存在于数据库中),在热点数据重新放入缓存之前,瞬间大量的请求绕过缓存,直接打到数据库,数据库随时宕机!」

并发访问热点key:多个并发请求同时访问相同的缓存键

缓存策略问题:设置了过于短的缓存过期时间,容易导致缓存频繁失效。

「一般出现在秒杀中,秒杀都会提前预热,设置key直到活动结束才会过期!」

2、解决方案

  • 缓存预热:系统启动或缓存过期之前,预先加载常用数据到缓存中。
  • key永不过期或者使用期间内不过期。
  • 限制并发查询:保证只有一个线程去查询底层数据源,其他线程等待查询结果。
  • 接口限流、熔断、降级。

3、具体方案

「缓存预热:」

在项目启动时,或者定时任务扫描进行预热!

「限制并发查询:」

@Cacheable(value={"category"},key = "#root.methodName",sync = true)、

详细解释上面已经说过了哈!

「接口限流、熔断、降级」

可以引入:Sentinel来帮助我们更好的限流、熔断、降级,这里就不详细演示了!

四、缓存雪崩

1、产生原因

「缓存雪崩是指缓存中大量key到了过期时间,导致大量的请求直接打到数据库上,数据库随时宕机!」

  • redis服务宕机:redis挂了,所有的key都无法访问
  • 批量设置大量key相同的过期时间

2、解决方案

  • redis搭建集群或者哨兵。
  • 随机设置缓存的失效时间(合理范围内的随机时间),或者用不过期(不建议)。
  • 限制并发查询:保证只有一个线程去查询底层数据源,其他线程等待查询结果。
  • 接口限流、熔断、降级。
  • 多级缓存

「这个多级缓存,能不加不加,加了就需要考虑一致性,增加很多复杂度!」

其实缓存击穿和缓存雪崩是很相似的,解决方案,大家也可以看出来很多相同的!这就引出下一个经常问到的问题:

3、具体解决方案

关于Redis的哨兵搭建可以看一下之前写的文章,这里就不演示了!

关于多级缓存,可以引入本地缓存Caffeine。

4、补充

「缓存击穿和缓存雪崩的区别?」

缓存击穿是缓存中某个热点key不存在了,缓存雪崩是缓存中大量或者所有key都不存在了

他俩的根本区别在于一个是单个key,一个是多个甚至全部key!

五、缓存污染

这里补充一下,关于缓存污染的吧!

1、产生原因

缓存污染指缓存中一些访问次数很少的key,甚至只有一次!但是缓存中会存储着,占用内存空间。随着时间越来越久,内存很快被占满,就需要开启淘汰策略去额外处理这些多余的key,影响redis性能。

2、解决方案

  • 对与key进行监控,不常用key不需要加入缓存。
  • 分析出key访问次数很少,设置过期时间短一些。
  • 配置淘汰策略:LRU(最近最少使用)淘汰策略。

最主要还是要把不常用的key找到,后面不在加入缓存,从根本上解决!

还会出现在多个节点之间的数据同步出现数据不统一时产生,这个东西不好避免,因为Redis 是AP(可用性和分区容忍性),在多节点时,一半以上同步完成时,就认为同步成功了!

六、缓存一致性

引入了缓存就必须要保持缓存的一致性,不然加了缓存没有任何意义!

网上关于缓存一致性的文章很多,什么延迟双删等等。

这些都不如阿里Canal,这个是通过监听MySQL的Bin Log日志,来去更新到缓存中!

七、总结

今天我们深入具体的讨论了Redis缓存穿透、缓存击穿、缓存雪崩的产生原因和解决方案,补充了缓存污染和缓存一致性。

是不是有了深刻的印象,这些东西在企业级还是挺常见的,在面试过程中更加常见。 相信大家从头看到尾,对于面试肯定是没有任何问题的。

在企业级应用中,一定要具体情况具体分析,不要盲目照搬,不一定适合你们的需求。

原文地址:https://mp.weixin.qq.com/s/Ot4i3Z6htUy67lPFdmQXkg

延伸 · 阅读

精彩推荐
  • Redisspringmvc集成使用redis过程

    springmvc集成使用redis过程

    这篇文章主要介绍了springmvc集成使用redis过程,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教...

    蝴蝶Maple11522021-11-24
  • Redisredis连接报错error:NOAUTH Authentication required

    redis连接报错error:NOAUTH Authentication required

    本文主要介绍了redis连接报错error:NOAUTH Authentication required,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋...

    轻尘×7472022-10-17
  • Redisredis分布式锁的8大坑总结梳理

    redis分布式锁的8大坑总结梳理

    这篇文章主要介绍了redis分布式锁的8大坑总结梳理,使用redis的分布式锁,我们首先想到的可能是setNx命令,文章围绕setNx命令展开详细的内容介绍,感兴趣...

    苏三说技术5442022-10-26
  • Redis利用Redis实现SQL伸缩的方法简介

    利用Redis实现SQL伸缩的方法简介

    这篇文章主要介绍了利用Redis实现SQL伸缩的方法,包括讲到了锁和时间序列等方面来提升传统数据库的性能,需要的朋友可以参考下 ...

    goldensun5052019-10-25
  • RedisCentOS系统中Redis数据库的安装配置指南

    CentOS系统中Redis数据库的安装配置指南

    Redis是一个基于主存存储的数据库,性能很强,这里我们就来看一下CentOS系统中Redis数据库的安装配置指南,包括将Redis作为系统服务运行的技巧等,需要的朋友可...

    zhoutk5372019-10-29
  • Redisredis的hGetAll函数的性能问题(记Redis那坑人的HGETALL)

    redis的hGetAll函数的性能问题(记Redis那坑人的HGETALL)

    这篇文章主要介绍了redis的hGetAll函数的性能问题,需要的朋友可以参考下 ...

    mdxy-dxy32562019-10-27
  • Redisredis哨兵常用命令和监控示例详解

    redis哨兵常用命令和监控示例详解

    哨兵模式是一种特殊的模式,首先Redis提供了哨兵的命令,哨兵是一个独立的进程,作为进程,它会独立运行,接下来通过本文给大家讲解redis哨兵常用命令...

    knowledge-is-power6452021-08-06
  • RedisRedis构建分布式锁

    Redis构建分布式锁

    本文主要介绍了Redis构建分布式锁的相关知识。具有很好的参考价值,下面跟着小编一起来看下吧...

    壹叶随风12252021-05-06