服务器之家：专注于VPS、云服务器配置技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Redis - k8s部署redis集群实现过程实例详解

k8s部署redis集群实现过程实例详解

2023-02-22 14:52llsydn Redis

这篇文章主要为大家介绍了k8s部署redis集群实现过程实例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

写在前面

一般来说，REDIS部署有三种模式。

  • 单实例模式，一般用于测试环境。
  • 哨兵模式
  • 集群模式

后两者用于生产部署

  • 哨兵模式

在redis3.0以前，要实现集群一般是借助哨兵sentinel工具来监控master节点的状态。

如果master节点异常，则会做主从切换，将某一台slave作为master。

引入了哨兵节点，部署更复杂，维护成本也比较高，并且性能和高可用性等各方面表现一般。

  • 集群模式

3.0 后推出的 Redis 分布式集群解决方案

主节点提供读写操作，从节点作为备用节点，不提供请求，只作为故障转移使用

如果master节点异常，也是会自动做主从切换，将slave切换为master。

总的来说，集群模式明显优于哨兵模式

那么今天我们就来讲解下：k8s环境下，如何部署redis集群（三主三从）？

前置准备

一、nfs安装

  • nfs
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
# 服务端
# 1.安装
yum -y install nfs-utils # nfs文件系统
yum -y install rpcbind   # rpc协议
# 2.配置（需要共享的文件夹）
vi /etc/exports
/opt/nfs/pv1 *(rw,sync,no_subtree_check,no_root_squash)
/opt/nfs/pv2 *(rw,sync,no_subtree_check,no_root_squash)
/opt/nfs/pv3 *(rw,sync,no_subtree_check,no_root_squash)
/opt/nfs/pv4 *(rw,sync,no_subtree_check,no_root_squash)
/opt/nfs/pv5 *(rw,sync,no_subtree_check,no_root_squash)
/opt/nfs/pv6 *(rw,sync,no_subtree_check,no_root_squash)
# 3.创建文件夹
mkdir -p /opt/nfs/pv{1..6}
# 4.更新配置并重启nfs服务
exportfs -r  #更新配置
systemctl restart rpcbind
systemctl restart nfs
systemctl enable nfs  #开机启动
systemctl enable rpcbind
# 5.验证
showmount -e 192.168.4.xx #服务端验证NFS共享
    > Export list for 192.168.4.xx:
    /opt/nfs/pv6 *
        /opt/nfs/pv5 *
        /opt/nfs/pv4 *
        /opt/nfs/pv3 *
        /opt/nfs/pv2 *
        /opt/nfs/pv1 *
rpcinfo -p #查看端口
# 客户端
yum -y install nfs-utils
systemctl restart nfs
systemctl enable nfs  #开机启动

这里说一下，为什么要安装nfs？

是为了下面创建SC，PV做准备，PV需要使用nfs服务器。

二、SC、PV 创建

2.1创建SC

StorageClass：简称sc，存储类，是k8s平台为存储提供商提供存储接入的一种声明。通过sc和相应的存储插件(csi)为容器应用提供持久存储卷的能力。

vi redis-sc.yaml

?
1
2
3
4
5
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: redis-sc
provisioner: nfs-storage

名称为redis-sc

执行创建sc：

?
1
2
kubectl apply -f redis-sc.yaml
> storageclass.storage.k8s.io/redis-sc created

通过kuboard查看：

k8s部署redis集群实现过程实例详解

2.2创建PV

PersistentVolume简称pv，持久化存储，是k8s为云原生应用提供一种拥有独立生命周期的、用户可管理的存储的抽象设计。

vi redis-pv.yaml

?
1
2
3
4
5
6
7
8
9
10
11
12
13
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv1
spec:
  storageClassName: redis-sc
  capacity:
    storage: 200M
  accessModes:
    - ReadWriteMany
  nfs:
    server: 192.168.4.xx
    path: "/opt/nfs/pv1"

名称为nfs-pv1，对应的storageClassName为redis-sc，capacity容器200M，accessModes访问模式可被多节点读写

对应nfs服务器192.168.4.xx，对应文件夹路径/opt/nfs/pv1（对应上面安装nfs服务器）

以此类推，我们创建6个pv......

执行创建sc：

?
1
2
3
4
5
6
7
kubectl apply -f redis-pv.yaml
> persistentvolume/nfs-pv1 created
  persistentvolume/nfs-pv2 created
  persistentvolume/nfs-pv3 created
  persistentvolume/nfs-pv4 created
  persistentvolume/nfs-pv5 created
  persistentvolume/nfs-pv6 created

通过kuboard查看：

k8s部署redis集群实现过程实例详解

通过kubectl查看：kubectl get sc、kubectl get pv

k8s部署redis集群实现过程实例详解

这里说一下，为什么要创建SC，PV？

因为redis集群，最终需要对应的文件有，redis.conf、nodes.conf、data

由此可见，这些文件每个节点，都得对应有自己得文件夹。

当然redis.conf可以是一个相同得，其他两个，就肯定是不一样得。

如果使用挂载文件夹即是 Volume 的情况部署一个pod，很明显，是不能满足的。

当然，你部署多个不一样的pod，也是可以做到，但是就得写6个部署yaml文件，后期维护也很复杂。

最好的效果是，写一个部署yaml文件，然后有6个replicas副本，就对应了我们redis集群（三主三从）。

那一个pod，再使用Volume挂载文件夹，这个只能是一个文件夹，是无法做到6个pod对应不同的文件夹。

所以这里，就引出了SC、PV了。

使用SC、PV就可以实现，这6个pod启动，就对应上我们创建的6个PV，那就实现了redis.conf、nodes.conf、data，这三个文件，存放的路径，就是不一样的路径了。

哈哈，说了，那么多，不知道，大家明不明白，不明白的可以继续往下看，或者自己部署实操一下，估计你就能明白，为啥要这么干了？

三、redis集群搭建

RC、Deployment、DaemonSet都是面向无状态的服务，它们所管理的Pod的IP、名字，启停顺序等都是随机的，而StatefulSet是什么？顾名思义，有状态的集合，管理所有有状态的服务，比如MySQL、MongoDB集群等。

StatefulSet本质上是Deployment的一种变体，在v1.9版本中已成为GA版本，它为了解决有状态服务的问题，它所管理的Pod拥有固定的Pod名称，启停顺序，在StatefulSet中，Pod名字称为网络标识(hostname)，还必须要用到共享存储。

在Deployment中，与之对应的服务是service，而在StatefulSet中与之对应的headless service，headless service，即无头服务，与service的区别就是它没有Cluster IP，解析它的名称时将返回该Headless Service对应的全部Pod的Endpoint列表。

除此之外，StatefulSet在Headless Service的基础上又为StatefulSet控制的每个Pod副本创建了一个DNS域名，这个域名的格式为：

?
1
$(pod.name).$(headless server.name).${namespace}.svc.cluster.local

也即是说，对于有状态服务，我们最好使用固定的网络标识（如域名信息）来标记节点，当然这也需要应用程序的支持（如Zookeeper就支持在配置文件中写入主机域名）。

StatefulSet基于Headless Service（即没有Cluster IP的Service）为Pod实现了稳定的网络标志（包括Pod的hostname和DNS Records），在Pod重新调度后也保持不变。同时，结合PV/PVC，StatefulSet可以实现稳定的持久化存储，就算Pod重新调度后，还是能访问到原先的持久化数据。

以下为使用StatefulSet部署Redis的架构，无论是Master还是Slave，都作为StatefulSet的一个副本，并且数据通过PV进行持久化，对外暴露为一个Service，接受客户端请求。

3.1创建headless服务

Headless service是StatefulSet实现稳定网络标识的基础。

vi redis-hs.yaml

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
---
apiVersion: v1
kind: Service
metadata:
  labels:
    k8s.kuboard.cn/layer: db
    k8s.kuboard.cn/name: redis
  name: redis-hs
  namespace: jxbp
spec:
  ports:
    - name: nnbary
      port: 6379
      protocol: TCP
      targetPort: 6379
  selector:
    k8s.kuboard.cn/layer: db
    k8s.kuboard.cn/name: redis
  clusterIP: None

命名空间为：jxbp，名称为：redis-hs

执行：

?
1
2
kubectl apply -f redis-hs.yaml
> service/redis-hs created

网络访问：pod名称.headless名称.namespace名称.svc.cluster.local

即：pod名称.redis-hs.jxbp.svc.cluster.local

3.2创建redis对应pod集群

创建好Headless service后，就可以利用StatefulSet创建Redis 集群节点，这也是本文的核心内容。

vi redis.yaml

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: redis
  namespace: jxbp
  labels:
    k8s.kuboard.cn/layer: db
    k8s.kuboard.cn/name: redis
spec:
  replicas: 6
  selector:
    matchLabels:
      k8s.kuboard.cn/layer: db
      k8s.kuboard.cn/name: redis
  serviceName: redis
  template:
    metadata:
      labels:
        k8s.kuboard.cn/layer: db
        k8s.kuboard.cn/name: redis
    spec:
      terminationGracePeriodSeconds: 20
      containers:
        - name: redis
          image: 192.168.4.xx/jxbp/redis:6.2.6
          ports:
            - name: redis
              containerPort: 6379
              protocol: "TCP"
            - name: cluster
              containerPort: 16379
              protocol: "TCP"
          volumeMounts:
            - name: "redis-conf"
              mountPath: "/etc/redis/redis.conf"
            - name: "redis-data"
              mountPath: "/data"
      volumes:
        - name: "redis-conf"
          hostPath:
            path: "/opt/redis/conf/redis.conf"
            type: FileOrCreate
  volumeClaimTemplates:
    - metadata:
        name: redis-data
      spec:
        accessModes: [ "ReadWriteMany" ]
        resources:
          requests:
            storage: 200M
        storageClassName: redis-sc

名称为：redis，对应的镜像为：redis:6.2.6，

挂载的文件：宿主机的/opt/redis/conf/redis.conf到redis容器的/etc/redis/redis.conf（redis.conf配置文件如下所示）

PVC存储卷声明模板volumeClaimTemplates，指定了名称为redis-sc的SC（storageClassName）

由于之前SC绑定了PV，所以这里的PVC和PV，就能一 一对应绑定上了。

PV和PVC的关系，是一 一绑定的。如果这里不指定SC，那就会导致，PVC绑定PV，是一个混乱的过程，随机绑定PV了。

  • redis.conf
?
1
2
3
4
5
6
7
8
9
# 一般配置
bind 0.0.0.0
port 6379
daemonize no
requirepass jxbd
# 集群配置
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000

执行：

?
1
kubectl apply -f redis.yaml

由上操作，我们已经创建好redis的6个副本了。

因为k8s部署redis集群的篇幅，有点长

以上就是k8s部署redis集群实现过程实例详解的详细内容，更多关于k8s部署redis集群的资料请关注服务器之家其它相关文章！

原文链接：https://juejin.cn/post/7202272345833914428

  • 集群
  • redis
  • k8s

    • 延伸 · 阅读

    精彩推荐
    • Redis通过kubesphere部署redis的方法

      通过kubesphere部署redis的方法

      这篇文章主要介绍了通过kubesphere部署redis的方法,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...

      mac文的java路11052020-12-28
    • RedisRedis中常见的几种集群部署方案

      Redis中常见的几种集群部署方案

      本文主要介绍了Redis中常见的几种集群部署方案，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下...

      Zhan-LiZ3702022-03-07
    • RedisWindows环境部署Redis集群

      Windows环境部署Redis集群

      这篇文章主要为大家详细介绍了Windows环境部署Redis集群的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下 ...

      假装攻城狮10072019-11-05
    • Redis在ssm项目中使用redis缓存查询数据的方法

      在ssm项目中使用redis缓存查询数据的方法

      本文主要简单的使用Java代码进行redis缓存，即在查询的时候先在service层从redis缓存中获取数据。如果大家对在ssm项目中使用redis缓存查询数据的相关知识感...

      caychen9142019-11-12
    • RedisRedis 对比 Memcached 并在 CentOS 下进行安装配置详解

      Redis 对比 Memcached 并在 CentOS 下进行安装配置详解

      Redis 是一个开源、支持网络、基于内存、键值对的 Key-Value 数据库，本篇文章主要介绍了Redis 对比 Memcached 并在 CentOS 下进行安装配置详解，有兴趣的可以了...

      cnblogs6072019-11-01
    • RedisRedis如何实现数据库读写分离详解

      Redis如何实现数据库读写分离详解

      Redis的主从架构，能帮助我们实现读多，写少的情况，下面这篇文章主要给大家介绍了关于Redis如何实现数据库读写分离的相关资料，文中通过示例代码介绍...

      罗兵漂流记5642019-11-11
    • RedisRedis连接池配置及初始化实现

      Redis连接池配置及初始化实现

      这篇文章主要介绍了Redis连接池配置及初始化实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下...

      CodeMeiYang8912021-07-29
    • Redis深入理解跳表及其在Redis中的应用

      深入理解跳表及其在Redis中的应用

      跳跃列表是一种数据结构。它允许快速查询一个有序连续元素的数据链表。跳跃列表的平均查找和插入时间复杂度都是O(log n)，优于普通队列的O(n)。...

      后端技术指南针7552021-07-01
    最近更新
    编辑推荐
    阅读排行
    热门标签
    16384 　 批量提权 　 intset 　 节点迁移 　 事务机制 　 主从同步 　 十六进制 　 内部数据结构 　 Redis集群 　 Redis集群搭建 　 持久化方案 　 AOF 　 ziplist 　 限流器 　 内存型数据库 　 RDB 　 简介 　 脑裂 　 批量读写 　 密码认证 　 redis命令 　 未授权 　 访问漏洞 　 redislive 　 发布 　 集合类型 　 列表类型 　 快照模式 　 集群搭建 　 键 　
    © 2019-2023 服务器之家(www.tuohang.net) 版权所有关于我们联系我们版权申明网站地图