脚本之家，脚本语言编程技术及教程分享平台！
分类导航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服务器之家 - 脚本之家 - Golang - Go操作etcd的实现示例

Go操作etcd的实现示例

2021-09-18 00:48boy° Golang

etcd是近几年比较火热的一个开源的、分布式的键值对数据存储系统，提供共享配置、服务的注册和发现，本文主要介绍etcd的安装和使用，感兴趣的可以了解一下

etcd是近几年比较火热的一个开源的、分布式的键值对数据存储系统，提供共享配置、服务的注册和发现，本文主要介绍etcd的安装和使用。

etcdetcd介绍

etcd是使用go语言开发的一个开源的、高可用的分布式key-value存储系统，可以用于配置共享和服务的注册和发现。

类似项目有zookeeper和consul。

etcd具有以下特点：

  • 完全复制：集群中的每个节点都可以使用完整的存档
  • 高可用性：etcd可用于避免硬件的单点故障或网络问题
  • 一致性：每次读取都会返回跨多主机的最新写入
  • 简单：包括一个定义良好、面向用户的api（grpc）
  • 安全：实现了带有可选的客户端证书身份验证的自动化tls
  • 快速：每秒10000次写入的基准速度
  • 可靠：使用raft算法实现了强一致、高可用的服务存储目录

etcd应用场景

服务发现

服务发现要解决的也是分布式系统中最常见的问题之一，即在同一个分布式集群中的进程或服务，要如何才能找到对方并建立连接。本质上来说，服务发现就是想要了解集群中是否有进程在监听 udp 或 tcp 端口，并且通过名字就可以查找和连接。

Go操作etcd的实现示例

配置中心

将一些配置信息放到 etcd 上进行集中管理。

这类场景的使用方式通常是这样：应用在启动的时候主动从 etcd 获取一次配置信息，同时，在 etcd 节点上注册一个 watcher 并等待，以后每次配置有更新的时候，etcd 都会实时通知订阅者，以此达到获取最新配置信息的目的。

分布式锁

因为 etcd 使用 raft 算法保持了数据的强一致性，某次操作存储到集群中的值必然是全局一致的，所以很容易实现分布式锁。锁服务有两种使用方式，一是保持独占，二是控制时序。

保持独占即所有获取锁的用户最终只有一个可以得到。etcd 为此提供了一套实现分布式锁原子操作 cas（compareandswap）的 api。通过设置prevexist值，可以保证在多个节点同时去创建某个目录时，只有一个成功。而创建成功的用户就可以认为是获得了锁。

控制时序，即所有想要获得锁的用户都会被安排执行，但是获得锁的顺序也是全局唯一的，同时决定了执行顺序。etcd 为此也提供了一套 api（自动创建有序键），对一个目录建值时指定为post动作，这样 etcd 会自动在目录下生成一个当前最大的值为键，存储这个新的值（客户端编号）。同时还可以使用 api 按顺序列出所有当前目录下的键值。此时这些键的值就是客户端的时序，而这些键中存储的值可以是代表客户端的编号。

Go操作etcd的实现示例

为什么用 etcd 而不用zookeeper？

etcd 实现的这些功能，zookeeper都能实现。那么为什么要用 etcd 而非直接使用zookeeper呢？

为什么不选择zookeeper？

  • 部署维护复杂，其使用的paxos强一致性算法复杂难懂。官方只提供了java和c两种语言的接口。
  • 使用java编写引入大量的依赖。运维人员维护起来比较麻烦。
  • 最近几年发展缓慢，不如etcd和consul等后起之秀。

为什么选择etcd？

  • 简单。使用 go 语言编写部署简单；支持http/json api,使用简单；使用 raft 算法保证强一致性让用户易于理解。
  • etcd 默认数据一更新就进行持久化。
  • etcd 支持 ssl 客户端安全认证。

最后，etcd 作为一个年轻的项目，正在高速迭代和开发中，这既是一个优点，也是一个缺点。优点是它的未来具有无限的可能性，缺点是无法得到大项目长时间使用的检验。然而，目前 coreos、kubernetes和cloudfoundry等知名项目均在生产环境中使用了etcd，所以总的来说，etcd值得你去尝试。

etcd集群

etcd 作为一个高可用键值存储系统，天生就是为集群化而设计的。由于 raft 算法在做决策时需要多数节点的投票，所以 etcd 一般部署集群推荐奇数个节点，推荐的数量为 3、5 或者 7 个节点构成一个集群。

搭建一个3节点集群示例：

在每个etcd节点指定集群成员，为了区分不同的集群最好同时配置一个独一无二的token。

下面是提前定义好的集群信息，其中n1、n2和n3表示3个不同的etcd节点。

?
1
2
3
token=token-01
cluster_state=new
cluster=n1=http://10.240.0.17:2380,n2=http://10.240.0.18:2380,n3=http://10.240.0.19:2380

在n1这台机器上执行以下命令来启动etcd：

?
1
2
3
4
5
etcd --data-dir=data.etcd --name n1 \
    --initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls http://10.240.0.17:2380 \
    --advertise-client-urls http://10.240.0.17:2379 --listen-client-urls http://10.240.0.17:2379 \
    --initial-cluster ${cluster} \
    --initial-cluster-state ${cluster_state} --initial-cluster-token ${token}

在n2这台机器上执行以下命令启动etcd：

?
1
2
3
4
5
etcd --data-dir=data.etcd --name n2 \
    --initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls http://10.240.0.18:2380 \
    --advertise-client-urls http://10.240.0.18:2379 --listen-client-urls http://10.240.0.18:2379 \
    --initial-cluster ${cluster} \
    --initial-cluster-state ${cluster_state} --initial-cluster-token ${token}

在n3这台机器上执行以下命令启动etcd：

?
1
2
3
4
5
etcd --data-dir=data.etcd --name n3 \
    --initial-advertise-peer-urls http://10.240.0.19:2380 --listen-peer-urls http://10.240.0.19:2380 \
    --advertise-client-urls http://10.240.0.19:2379 --listen-client-urls http://10.240.0.19:2379 \
    --initial-cluster ${cluster} \
    --initial-cluster-state ${cluster_state} --initial-cluster-token ${token}

etcd 官网提供了一个可以公网访问的 etcd 存储地址。你可以通过如下命令得到 etcd 服务的目录，并把它作为-discovery参数使用。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
curl https://discovery.etcd.io/new?size=3
https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92
 
# grab this token
token=token-01
cluster_state=new
discovery=https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92
 
 
etcd --data-dir=data.etcd --name n1 \
    --initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls http://10.240.0.17:2380 \
    --advertise-client-urls http://10.240.0.17:2379 --listen-client-urls http://10.240.0.17:2379 \
    --discovery ${discovery} \
    --initial-cluster-state ${cluster_state} --initial-cluster-token ${token}
 
 
etcd --data-dir=data.etcd --name n2 \
    --initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls http://10.240.0.18:2380 \
    --advertise-client-urls http://10.240.0.18:2379 --listen-client-urls http://10.240.0.18:2379 \
    --discovery ${discovery} \
    --initial-cluster-state ${cluster_state} --initial-cluster-token ${token}
 
 
etcd --data-dir=data.etcd --name n3 \
    --initial-advertise-peer-urls http://10.240.0.19:2380 --listen-peer-urls http://10.240.0.19:2380 \
    --advertise-client-urls http://10.240.0.19:2379 --listen-client-urls http:/10.240.0.19:2379 \
    --discovery ${discovery} \
    --initial-cluster-state ${cluster_state} --initial-cluster-token ${token}

到此etcd集群就搭建起来了，可以使用etcdctl来连接etcd。

?
1
2
3
4
5
6
7
export etcdctl_api=3
host_1=10.240.0.17
host_2=10.240.0.18
host_3=10.240.0.19
endpoints=$host_1:2379,$host_2:2379,$host_3:2379
 
etcdctl --endpoints=$endpoints member lis

go语言操作etcd

这里使用官方的包来连接etcd并进行相关操作。

安装

?
1
go get go.etcd.io/etcd/clientv3

put和get操作

put命令用来设置键值对数据，get命令用来根据key获取值。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
package main
 
import (
    "context"
    "fmt"
    "time"
 
    "go.etcd.io/etcd/clientv3"
)
 
// etcd client put/get demo
// use etcd/clientv3
 
func main() {
    cli, err := clientv3.new(clientv3.config{
        endpoints:   []string{"127.0.0.1:2379"},
        dialtimeout: 5 * time.second,
    })
    if err != nil {
        // handle error!
        fmt.printf("connect to etcd failed, err:%v\n", err)
        return
    }
    fmt.println("connect to etcd success")
    defer cli.close()
    // put
    ctx, cancel := context.withtimeout(context.background(), time.second)
    _, err = cli.put(ctx, "q1mi", "dsb")
    cancel()
    if err != nil {
        fmt.printf("put to etcd failed, err:%v\n", err)
        return
    }
    // get
    ctx, cancel = context.withtimeout(context.background(), time.second)
    resp, err := cli.get(ctx, "q1mi")
    cancel()
    if err != nil {
        fmt.printf("get from etcd failed, err:%v\n", err)
        return
    }
    for _, ev := range resp.kvs {
        fmt.printf("%s:%s\n", ev.key, ev.value)
    }
}

watch操作

watch用来获取未来更改的通知。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
package main
 
import (
    "context"
    "fmt"
    "time"
 
    "go.etcd.io/etcd/clientv3"
)
 
// watch demo
 
func main() {
    cli, err := clientv3.new(clientv3.config{
        endpoints:   []string{"127.0.0.1:2379"},
        dialtimeout: 5 * time.second,
    })
    if err != nil {
        fmt.printf("connect to etcd failed, err:%v\n", err)
        return
    }
    fmt.println("connect to etcd success")
    defer cli.close()
    // watch key:q1mi change
    rch := cli.watch(context.background(), "q1mi") // <-chan watchresponse
    for wresp := range rch {
        for _, ev := range wresp.events {
            fmt.printf("type: %s key:%s value:%s\n", ev.type, ev.kv.key, ev.kv.value)
        }
    }
}

将上面的代码保存编译执行，此时程序就会等待etcd中q1mi这个key的变化。

例如：我们打开终端执行以下命令修改、删除、设置q1mi这个key。

?
1
2
3
4
5
6
7
8
etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 put q1mi "dsb2"
ok
 
etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 del q1mi
1
 
etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 put q1mi "dsb3"
ok

上面的程序都能收到如下通知。

?
1
2
3
4
5
watch>watch.exe
connect to etcd success
type: put key:q1mi value:dsb2
type: delete key:q1mi value:
type: put key:q1mi value:dsb3

lease租约

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
package main
 
import (
    "fmt"
    "time"
)
 
// etcd lease
 
import (
    "context"
    "log"
 
    "go.etcd.io/etcd/clientv3"
)
 
func main() {
    cli, err := clientv3.new(clientv3.config{
        endpoints:   []string{"127.0.0.1:2379"},
        dialtimeout: time.second * 5,
    })
    if err != nil {
        log.fatal(err)
    }
    fmt.println("connect to etcd success.")
    defer cli.close()
 
    // 创建一个5秒的租约
    resp, err := cli.grant(context.todo(), 5)
    if err != nil {
        log.fatal(err)
    }
 
    // 5秒钟之后, /nazha/ 这个key就会被移除
    _, err = cli.put(context.todo(), "/nazha/", "dsb", clientv3.withlease(resp.id))
    if err != nil {
        log.fatal(err)
    }
}

keepalive

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
package main
 
import (
    "context"
    "fmt"
    "log"
    "time"
 
    "go.etcd.io/etcd/clientv3"
)
 
// etcd keepalive
 
func main() {
    cli, err := clientv3.new(clientv3.config{
        endpoints:   []string{"127.0.0.1:2379"},
        dialtimeout: time.second * 5,
    })
    if err != nil {
        log.fatal(err)
    }
    fmt.println("connect to etcd success.")
    defer cli.close()
 
    resp, err := cli.grant(context.todo(), 5)
    if err != nil {
        log.fatal(err)
    }
 
    _, err = cli.put(context.todo(), "/nazha/", "dsb", clientv3.withlease(resp.id))
    if err != nil {
        log.fatal(err)
    }
 
    // the key 'foo' will be kept forever
    ch, kaerr := cli.keepalive(context.todo(), resp.id)
    if kaerr != nil {
        log.fatal(kaerr)
    }
    for {
        ka := <-ch
        fmt.println("ttl:", ka.ttl)
    }
}

基于etcd实现分布式锁

go.etcd.io/etcd/clientv3/concurrency在etcd之上实现并发操作，如分布式锁、屏障和选举。

导入该包：

?
1
import "go.etcd.io/etcd/clientv3/concurrency"

基于etcd实现的分布式锁示例：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
cli, err := clientv3.new(clientv3.config{endpoints: endpoints})
if err != nil {
    log.fatal(err)
}
defer cli.close()
 
// 创建两个单独的会话用来演示锁竞争
s1, err := concurrency.newsession(cli)
if err != nil {
    log.fatal(err)
}
defer s1.close()
m1 := concurrency.newmutex(s1, "/my-lock/")
 
s2, err := concurrency.newsession(cli)
if err != nil {
    log.fatal(err)
}
defer s2.close()
m2 := concurrency.newmutex(s2, "/my-lock/")
 
// 会话s1获取锁
if err := m1.lock(context.todo()); err != nil {
    log.fatal(err)
}
fmt.println("acquired lock for s1")
 
m2locked := make(chan struct{})
go func() {
    defer close(m2locked)
    // 等待直到会话s1释放了/my-lock/的锁
    if err := m2.lock(context.todo()); err != nil {
        log.fatal(err)
    }
}()
 
if err := m1.unlock(context.todo()); err != nil {
    log.fatal(err)
}
fmt.println("released lock for s1")
 
<-m2locked
fmt.println("acquired lock for s2")

输出：

acquired lock for s1
released lock for s1
acquired lock for s2

查看文档了解更多

其他操作

其他操作请查看etcd/clientv3官方文档。

参考链接：

https://etcd.io/docs/v3.3.12/demo/

https://www.infoq.cn/article/etcd-interpretation-application-scenario-implement-principle/ 代码改变世界，脚踏实地，python、Golang。

到此这篇关于go操作etcd的实现示例的文章就介绍到这了,更多相关go操作etcd内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家！

原文链接：https://www.cnblogs.com/Golanguage/p/12285644.html

  • Go
  • etcd

    • 延伸 · 阅读

    精彩推荐
    • GolangGO语言字符串处理Strings包的函数使用示例讲解

      GO语言字符串处理Strings包的函数使用示例讲解

      这篇文章主要为大家介绍了GO语言字符串处理Strings包的函数使用示例讲解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步早日升职加...

      Jeff的技术栈6882022-04-14
    • Golanggo语言获取系统盘符的方法

      go语言获取系统盘符的方法

      这篇文章主要介绍了go语言获取系统盘符的方法,涉及Go语言调用winapi获取系统硬件信息的技巧,具有一定参考借鉴价值,需要的朋友可以参考下 ...

      无尽海3862020-04-24
    • Golang深入浅析Go中三个点(...)用法

      深入浅析Go中三个点(...)用法

      这篇文章主要介绍了深入浅析Go中三个点(...)用法,需要的朋友可以参考下...

      踏雪无痕SS6472021-11-17
    • GolangGolang 语言极简类型转换库cast的使用详解

      Golang 语言极简类型转换库cast的使用详解

      本文我们通过 cast.ToString() 函数的使用，简单介绍了cast 的使用方法，除此之外，它还支持很多其他类型，在这没有多多介绍，对Golang 类型转换库 cast相关知...

      Golang语言开发栈6112021-12-02
    • GolangGo语言基础单元测试与性能测试示例详解

      Go语言基础单元测试与性能测试示例详解

      这篇文章主要为大家介绍了Go语言基础单元测试与性能测试示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助祝大家多多进步...

      枫少文7812021-12-05
    • GolangGo语言range关键字循环时的坑

      Go语言range关键字循环时的坑

      今天小编就为大家分享一篇关于Go语言range关键字循环时的坑，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来...

      benben_20154202020-05-23
    • GolangGolang实现四种负载均衡的算法(随机,轮询等)

      Golang实现四种负载均衡的算法(随机,轮询等)

      本文介绍了示例介绍了Golang 负载均衡的四种实现，主要包括了随机，轮询，加权轮询负载，一致性hash，感兴趣的小伙伴们可以参考一下...

      Gundy_8442021-08-09
    • GolangGo语言实现自动填写古诗词实例代码

      Go语言实现自动填写古诗词实例代码

      这篇文章主要给大家介绍了关于Go语言实现自动填写古诗词的相关资料，这是最近在项目中遇到的一个需求，文中通过示例代码介绍的非常详细，需要的朋...

      FengY5862020-05-14
    最近更新
    编辑推荐
    阅读排行
    热门标签
    fsnotify 　 指针类型 　 new() 　 make() 　 并发模型 　 切片 　 静态WEB服务器 　 端口扫描器 　 Go语言入门教程 　 基础语 　 Slices 　 Maps 　 Golang编程 　 panic 　 接受者类型 　 嵌入类型 　 Slice 　 Golang教程 　 Golang项目 　 内存模型 　 开发环境搭建 　 大小端判断 　 代码组织结构 　 复合类型 　 GOPATH 　 工作目录 　 实例 　 struct类型 　 并发技术 　 buffered 　
    © 2019-2022 脚本之家 | 服务器之家(www.tuohang.net)旗下站点 版权所有关于我们联系我们版权申明网站地图