服务器之家:专注于VPS、云服务器配置技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Redis - 批量执行Redis命令的四种方式!

批量执行Redis命令的四种方式!

2024-01-18 15:24小许code Redis

在我们的印象中Redis命令好像都是一个个单条进行执行的,如果有人问你如何批量执行Redis命令,你能回答的上吗,或者说能答出几种方式呢?最容易想到的是Redis的一些批量命令,例如MGET

前言

在我们的印象中Redis命令好像都是一个个单条进行执行的,

如果有人问你如何批量执行Redis命令,你能回答的上吗,或者说能答出几种方式呢?

最容易想到的是Redis的一些批量命令,例如MGET

今天小许就这个问题给大家总结一下!

批量执行Redis命令的四种方式!图片

Redis命令执行过程

在了解批量执行有哪些方式之前,我们简单回顾下Redis命令执行的过程:

批量执行Redis命令的四种方式!图片

为什么需要批量执行命令呢?

在了解批量执行命令有哪些方式之前,我们先简单整理下【批量执行命令】比【执行多个单Redis命令】能带来哪些好处!

通过批量执行命令好处如下:

  • • 提高命令执行效率:减少网络延迟,提高Redis服务器的响应速度
  • • 简化客户端逻辑:将多个命令封装成一个操作,简化客户端处理逻辑
  • • 提升事务性能:可以保证一组命令在同一时间内执行,提高事务的性能

批量执行Redis命令的四种方式!图片

你看单个执行命令每次都需要发送进行网络传输,同样多的执行,批量执行可以有效减小网络开销,减少 RTT(往返时间)。

批量执行命令的方式

有以下四种常见批量执行命令的方式:

1. Redis原生命令:例如 MSET、HMGET、HMSET、SADD

2. pipeline(管道)

3. Lua脚本

4. Redis事务

批量执行Redis命令的四种方式!图片

我们来给每种方式简单举个栗子,然后看看有什么需要注意的地方!

原生批量命令

Redis的原生命令就支持批量命令的操作,比如:HMSET、HMGET、SADD。

其实严格来说上述命令不属于批量操作,而是在一个指令中处理多个key,我们来看下具体该如何使用。

String字符串

MSET:设置一个或多个指定 key 的值

MGET:从一个或多个指定的key中获取值

MSET key value [key value ...]
MGET key [key ...]

Hash哈希

操作哈希类型时,使用HMSET和HMGET命令分别设置和获取多个字段及其值

HMSET:将一个或多个 field-value 对设置到指定哈希表中

HMGET:从指定指定哈希表中一个或者多个字段的值

HMSET key field value [field value ...]
HMGET key field [field ...]

Sorted Set 有序集合

SADD可以将多个元素添加到有序集合

SADD key member [member ...]

注意

Redis Cluster中MGET操作可能无法保证原子性!

因为在 Redis Cluster 中,MGET操作涉及多个键的读取操作,并且这些键无法保证所有的 key 都在同一个 hash slot(哈希槽)上。

而Redis Cluster 的节点间可能会有网络延迟和不同的负载情况,MGET 操作不能保证在同一时刻原子地获取所有键的值。

不过相较于非批量操作,这些指令可以节省不少网络传输次数,毕竟不用发送一次命令,服务器响应一次。

pipeline(管道)

Redis Pipeline(管道)命令是一种优化网络通信的技术,可以将多个命令一次性发送给Redis服务器,可以减少客户端与Redis服务器之间的网络通信次数。

批量执行Redis命令的四种方式!图片

客户端将多个命令发送到Redis服务器,Redis服务器将这些命令缓存起来,然后一次性执行,最后将执行结果一次性返回给客户端。

使用Redis Pipeline好处很明显,可以避免在每个命令执行时都进行一次网络通信,时间开销变为:

1 次 pipeline(n条命令) = 1 次网络时间 + 执行n 条命令时间

使用

这里用Golang语言看看如何使用pipeline , 从代码中可以看出需要服务端和客户端的共同实现,不像原生批量命令一样Redis直接支持实现。

package main
import (

    "github.com/go-redis/redis"
)
func main() {
    pipe := client.Pipeline()
    defer pipe.Close()
    // 封装 pipeline待执行命令
    set := pipe.Set("key", "value", 0)
    get := pipe.Get("key")
    // 执行 pipeline
    _, err := pipe.Exec()
    if err != nil {
        panic(err)
    }
    // 获取 pipeline执行结果
    val, err := get.Result()
    if err != nil {
        panic(err)
    }
}

注意

1:Redis Cluster中Pipeline命令操作可能无法保证原子性!

因为 Redis Cluster 采用的分片机制,这些键无法保证所有的 key 都在同一区域hash slot(哈希槽)上,所以不同的命令可能会发送到不同的节点上。

这意味着即使你使用 Pipeline,每个命令仍然在不同的节点上进行处理,可能会导致多个命令的执行不是在同一时刻进行的。

2:pipeline 能执行有依赖关系的命令吗?

答案是不可以的,如果pipeline中后一个命令的执行需要依赖前一个命令的执行结果,就没办法满足需求了。

3:pipeline对发送的命令有数量限制吗?

虽然命令可以一次性发给Redis服务端,但是考虑带宽等情况,建议不多于500个命令,或者根据实际命令的数据类型定。

为了保证更高的一致性和原子性,就需要考虑使用其他方式,比如Lua脚本、事务的方式了,我们继续往下看!

Lua脚本

我们知道Redis支持使用Lua脚本来执行自定义的复杂逻辑,因此使用Lua脚本,我们可以在Redis服务器端执行多个命令。

而且Lua脚本具有原子性,即脚本中的所有命令会在同一时间内执行,不会被其他命令打断。

使用

在Redis中使用EVAL命令使用 Lua 解释器执行脚本,语法如下:

redis 127.0.0.1:6379> EVAL script numkeys key [key ...] arg [arg ...]
  • • script:要执行的Lua脚本
  • • numkeys:脚本中涉及到的键的数量
  • • key和arg:脚本中的键和参数

注意

Redis Cluster 下 Lua 脚本的原子操作同样无法操作,原因也是无法保证所有的 key 都在同一个 hash slot(哈希槽)上。

Redis事务

Redis事务(Transaction)通过将多个Redis操作封装为一个原子性的操作序列,确保在事务执行过程中,不会受到其他客户端的干扰。

比起原生命令和pipeline批量执行方式,事务的执行具备原子性,即全部被执行或全部不执行,并且在持久化时也具备原子性。

使用

Redis事务使用以下三个命令进行操作:

  • • MULTI:标记事务开始
  • • EXEC:执行所有在MULTI之后的命令
  • • DISCARD:取消事务

用过数据库事务的对这几个命令也很容易理解,MULTI和EXEC之间的所有命令将作为一个整体被执行。这些命令会被放入队列中,等待EXEC命令的调用,一旦EXEC命令被调用,所有的命令将按照顺序被执行。

注意

Redis Cluster支持transaction,但是前提是transaction涉及的所有key都属于同一hash slot

所有需要被事务处理的键必须分布在同一个节点上

Redis Cluster模式下该如何正确使用批量命令操作?

通过对上面四种方式的总结,可以发现在Redis Cluster模式下会存在key可能不属于同一个节点的hash slot(哈希槽)上,导致不能按实际想的方式去执行。

小许查了下也有一些解决方式,看下是否适合你。

hash-tag方式:

Redis Cluster模式一般都是支持 hash-tag 功能,它可以将多个 key 强制分配到一个节点上,它的操作时间 =1 次网络时间 +n 次命令时间。

这种方式虽然性能高,可能会因为不均衡问题导致Redis Cluster部分节点负载过高。

维护Hash Slot映射关系:

因为主要问题在于,不能让所有的key在同一个节点上执行,那么我们在客户端维护一个key和slot的映射关系,是不是就让key固定在了一个节点的hash slot执行了!

如有不对的地方还请朋友们指出!

原文地址:https://mp.weixin.qq.com/s/SjxHVMrO-BmzaHOIqxbZQA

延伸 · 阅读

精彩推荐
  • RedisRedis为什么快如何实现高可用及持久化

    Redis为什么快如何实现高可用及持久化

    这篇文章主要介绍了Redis为什么快如何实现高可用及持久化,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参...

    纪莫10092021-02-24
  • RedisRedis遍历所有key的两个命令(KEYS 和 SCAN)

    Redis遍历所有key的两个命令(KEYS 和 SCAN)

    这篇文章主要介绍了Redis遍历所有key的两个命令(KEYS 和 SCAN),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的...

    代码一天不写我浑森难廋8672021-08-01
  • RedisRedis不仅仅是缓存,还是……

    Redis不仅仅是缓存,还是……

    Redis是一个开源的(BSD协议),内存中的数据结构存储,它可以用作数据库,缓存,消息代理。这篇文章主要介绍了Redis不仅仅是缓存,还是……,需要的朋...

    码农译站9202021-02-23
  • Redis分布式利器redis及redisson的延迟队列实践

    分布式利器redis及redisson的延迟队列实践

    这篇文章为大家主要介绍了分布式利器redis及redisson的延迟队列实践,搜遍全网好像还没有使用redisson的延迟队列的,redisson作为一个分布式利器,这么好用...

    kl9492022-03-01
  • Redis深入理解Redis内存淘汰策略

    深入理解Redis内存淘汰策略

    本文主要介绍了深入理解Redis内存淘汰策略,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着...

    紫乾201411712022-07-06
  • RedisRedis数据持久化方式技术解析

    Redis数据持久化方式技术解析

    Redis(Remote Dictionary Server ),即远程字典服务,是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语...

    玉成22611242021-11-17
  • RedisRedis Sentinel服务配置流程(详解)

    Redis Sentinel服务配置流程(详解)

    下面小编就为大家带来一篇Redis Sentinel服务配置流程(详解)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧 ...

    jingxian3422019-11-04
  • RedisRedis3.2开启远程访问详细步骤

    Redis3.2开启远程访问详细步骤

    redis默认只允许本地访问,要使redis可以远程访问可以修改redis.conf ...

    wdc6382019-11-11