ETCD集群的工作原理和高可用技术细节介绍

ETCD集群的工作原理和高可用技术细节介绍

【导读】新年快乐！本文介绍了etcd集群的工作原理和高可用技术细节。

etcd 简介

coreos 开发的分布式服务系统，内部采用 raft 协议作为一致性算法。作为服务发现系统，有以下的特点：

安全：支持 SSL 证书验证

快速：根据官方提供的 benchmark 数据，单实例支持每秒 2k+ 读操作

可靠：采用 raft 算法，实现分布式系统数据的可用性和一致性

虽然 etcd 也支持单点部署，但是在生产环境中推荐集群方式部署，一般 etcd 节点数会选择 3、5、7。etcd 会保证所有的节点都会保存数据，并保证数据的一致性和正确性。

工作原理

每个 etcd cluster 都是有若干个 member 组成的，每个 member 是一个独立运行的 etcd 实例，单台机器上可以运行多个 member。

客户端所有的请求都会先发送给 leader，leader 向所有的 followers 同步日志，等收到超过半数的确认后就把该日志存储到磁盘，并返回响应客户端。

每个 etcd 服务有三大主要部分组成：raft 实现、WAL 日志存储、数据的存储和索引。WAL 会在本地磁盘（就是之前提到的 --data-dir）上存储日志内容（wal file）和快照（snapshot）。

集群规划

nameIPHOSTNAME

etcd01192.168.255.131master1

etcd02192.168.255.132master2

etcd03192.168.255.133master3

安装

在安装和启动 etcd 服务的时候，各个节点需要知道集群中其他节点的信息（一般是 ip 和 port 信息）。根据你是否可以提前知道每个节点的 ip，有几种不同的启动方案：

etcd动态发现：通过已有的etcd集群作为数据交互点，然后在扩展新的集群时实现通过已有集群进行服务发现的机制。比如官方提供的：discovery.etcd.io

DNS动态发现： 通过DNS查询方式获取其他节点地址信息。

一般生产环境都是使用静态配置，我们这里也采用这种方法。并配置 SSL来保证通信安全。

1、安装cfssl

chmod +x cfssl_linux-amd64 cfssljson_linux-amd64

mv cfssl_linux-amd64 /usr/local/bin/cfssl

mv cfssljson_linux-amd64 /usr/local/bin/cfssljson

2、创建ca证书，客户端，服务端，节点之间的证书

ca证书 自己给自己签名的权威证书，用来给其他证书签名

server证书 etcd的证书

client证书 客户端，比如etcdctl的证书

peer证书 节点与节点之间通信的证书

1） 创建目录

mkdir -p /etc/etcd/pki

cd /etc/etcd/pki

cfssl print-defaults config 》 ca-config.json

2） 创建ca证书

修改ca-config.json

server auth表示client可以用该ca对server提供的证书进行验证

client auth表示server可以用该ca对client提供的证书进行验证

{

“signing”： {

“default”： {

“expiry”： “43800h”

}，

“profiles”： {

“server”： {

“expiry”： “43800h”，

“usages”： ［

“signing”，

“key encipherment”，

“server auth”，

“client auth”

］

}，

“client”： {

“expiry”： “43800h”，

“usages”： ［

“signing”，

“key encipherment”，

“client auth”

］

}，

“peer”： {

“expiry”： “43800h”，

“usages”： ［

“signing”，

“key encipherment”，

“server auth”，

“client auth”

］

}

}

}

}

创建证书签名请求ca-csr.json

{

“CN”： “etcd”，

“key”： {

“algo”： “rsa”，

“size”： 2048

}

}

生成CA证书和私钥

# cfssl gencert -initca ca-csr.json | cfssljson -bare ca

# ls ca*

ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem

3） 生成客户端证书

vim client.json

{

“CN”： “client”，

“key”： {

“algo”： “ecdsa”，

“size”： 256

}

}

生成

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=client client.json | cfssljson -bare client -

# ls ca*

ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem client-key.pem client.pem

4） 生成server，peer证书

vim etcd.json

{

“CN”： “etcd”，

“hosts”： ［

“127.0.0.1”，

“192.168.255.131”，

“192.168.255.132”，

“192.168.255.133”

］，

“key”： {

“algo”： “ecdsa”，

“size”： 256

}，

“names”： ［

{

“C”： “CN”，

“L”： “SH”，

“ST”： “SH”

}

］

}

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=server etcd.json | cfssljson -bare server

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=peer etcd.json | cfssljson -bare peer

3、安装etcd二进制文件

tar -xvf etcd-v3.1.5-linux-amd64.tar.gz

mv etcd-v3.1.5-linux-amd64/etcd* /usr/local/bin

4、service配置文件

vim /usr/lib/systemd/system/etcd.service， 三台机器配置不一样，需要替换为相应的IP和name。

［Unit］

Description=Etcd Server

After=network-online.target

Wants=network-online.target

［Service］

Type=notify

WorkingDirectory=/var/lib/etcd

ExecStart=/usr/local/bin/etcd

--data-dir=/var/lib/etcd

--name=master1

--cert-file=/etc/etcd/pki/server.pem

--key-file=/etc/etcd/pki/server-key.pem

--trusted-ca-file=/etc/etcd/pki/ca.pem

--peer-cert-file=/etc/etcd/pki/peer.pem

--peer-key-file=/etc/etcd/pki/peer-key.pem

--peer-trusted-ca-file=/etc/etcd/pki/ca.pem

--initial-cluster-token=etcd-cluster-0

--initial-cluster-state=new

--heartbeat-interval=250

--election-timeout=2000

Restart=on-failure

RestartSec=5

LimitNOFILE=65536

［Install］

WantedBy=multi-user.target

配置参数的含义

--name：方便理解的节点名称，默认为 default，在集群中应该保持唯一，可以使用 hostname

--data-dir：服务运行数据保存的路径，默认为 ${name}.etcd

--snapshot-count：指定有多少事务（transaction）被提交时，触发截取快照保存到磁盘

--heartbeat-interval：leader 多久发送一次心跳到 followers。默认值是 100ms

--eletion-timeout：重新投票的超时时间，如果 follow 在该时间间隔没有收到心跳包，会触发重新投票，默认为 1000 ms

--initial-cluster-state：新建集群的时候，这个值为 new；假如已经存在的集群，这个值为 existing

--initial-cluster-token：创建集群的 token，这个值每个集群保持唯一。这样的话，如果你要重新创建集群，即使配置和之前一样，也会再次生成新的集群和节点 uuid；否则会导致多个集群之间的冲突，造成未知的错误

所有以--initial 开头的配置都是在 bootstrap（引导） 集群的时候才会用到，后续节点重启时会被忽略。

5、创建存放etcd数据的目录，启动 etcd

mkdir /var/lib/etcd

6、验证是否成功

在任意一台机器（无论是不是集群节点，前提是需要有etcdctl工具和ca证书，server证书）上执行如下命令：

2019-01-27 2026.909601 I | warning： ignoring ServerName for user-provided CA for backwards compatibility is deprecated

2019-01-27 2026.910165 I | warning： ignoring ServerName for user-provided CA for backwards compatibility is deprecated

cluster is healthy

如果你没有指定证书，会报如下错误

查看集群成员

2019-01-27 2246.914338 I | warning： ignoring ServerName for user-provided CA for backwards compatibility is deprecated

etcd的使用

HTTP API

etcd 对外通过 HTTP API 对外提供服务，这种方式方便测试（通过 curl 或者其他工具就能和 etcd 交互），也很容易集成到各种语言中（每个语言封装 HTTP API 实现自己的 client 就行）。

etcdctl 命令行工具

除了 HTTP API 外，etcd 还提供了 etcdctl 命令行工具和 etcd 服务交互。这个命令行用 go 语言编写，也是对 HTTP API 的封装，日常使用起来也更容易。

总结

etcd 默认只保存 1000 个历史事件，所以不适合有大量更新操作的场景，这样会导致数据的丢失。etcd 典型的应用场景是配置管理和服务发现，这些场景都是读多写少的。

相比于 zookeeper，etcd 使用起来要简单很多。不过要实现真正的服务发现功能，etcd 还需要和其他工具（比如 registrator、confd 等）一起使用来实现服务的自动注册和更新。一般etcd大多用于配置管理的场景，比如kubernetes。

目前 etcd 还没有图形化的工具。

原文标题：快速搭建高可用 ETCD 集群

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。