[云原生专题-24]：K8S - Kubernetes(K8S)Master集群构建与安装过程详细解读 - 初始控制节点的安装

[云原生专题-24]：K8S - Kubernetes(K8S)Master集群构建与安装过程详细解读 - 初始控制节点的安装

作者主页(​​文火冰糖的硅基工坊​​​)：​​文火冰糖（王文兵）的博客_文火冰糖的硅基工坊​

​目录​

​​第一步：集群规划​​

​​1.1 K8S的官方架构​​

​​1.2 K8S的实验架构​​

​​1.3 主要步骤​​

​​1.4 K8S集群搭建方式选择​​

​​1.5 官方参考​​

​​第二步：搭建云服务器​​

​​2.1 安装服务器​​

​​2.2 安装后检查​​

​​第三步：搭建Docker环境（云平台手工操作）​​

​​3.1  为每台虚拟服务器安装docker环境​​

​​3.2 为每台虚拟服务器启动docker环境​​

​​3.3 为K8S修改 docker配置​​

​​第四步：K8前的安装前的准备​​

​​4.1 关闭防火墙​​

​​4.2 关闭swap​​

​​4.3 设置内网静态IP地址​​

​​4.4 配置IPtable-流量桥接​​

​​第五步：搭建集群K8S Initial Mananger节点​​

​​5.1 安装 kubeadm、kubectl（mananger节点特有）、kubelet​​

​​5.2 google_containers 配置（可选）​​

​​5.3 kubeadm init创建leader mananger节点​​

​​第六步：kubeadm init后处理： 创建kube配置文件​​

​​6.2  安装第三方网络插件​​

​​6.3  检查节点的安装情形​​

第一步：集群规划

1.1 K8S的官方架构

1.2 K8S的实验架构

构建2个mananger节点 + 3  worker节点的集群网络。

1.3 主要步骤

​第一步：​安装初始mananger节点（本章）

​第二步：​安装worker节点

​第三步：​安装其他mananger节点

​第四步：​图形化管理界面Dash Board的安装

1.4 K8S集群搭建方式选择

​方式1：minikube​

minikube可以在本地运行Kubernetes的工具，minikube可以在个人计算机（包括Windows，macOS和Linux PC）上运行一个单节点Kubernetes集群，以便您可以试用Kubernetes或进行日常开发工作；

​​Hello Minikube | Kubernetes​​

​方式2：kind​

Kind和minikube类似的工具，让你在本地计算机上运行Kubernetes，此工具需要安装并配置Docker；

​方式3：kubeadm​

Kubeadm是一个K8s部署工具，提供kubeadm init 和 kubeadm join两个操作命令，可以快速部署一个Kubernetes集群；

​本文选择第三种方式 ​

kubeadm是官方社区推出的一个用于快速部署 kubernetes 集群的工具，这个工具能通过两条指令完成一个kubernetes集群的部署；

​（1）创建一个Mananger leader节点​

$ kubeadm init

​（2）将Node节点加入到Master集群中​

$ kubeadm join

因此需要在Mananger节点和worker节点都需要安装。

​方式4：二进制包​

从Github下载发行版的二进制包，手动部署安装每个组件，组成Kubernetes集群，步骤比较繁琐，但是能让你对各个组件有更清晰的认识；

​方式5：yum安装​

通过yum安装Kubernetes的每个组件，组成Kubernetes集群，不过yum源里面的k8s版本已经比较老了，所以这种方式用得也比较少了；

​方式6：第三方工具​

有一些大神封装了一些工具，利用这些工具进行k8s环境的安装；

​方式7：花钱购买​

直接购买类似阿里云这样的k8s公有云平台，一键搞定；

1.5 官方参考

​​Kubeadm | Kubernetes​​

​​Installing kubeadm | Kubernetes​​

​第二步：搭建云服务器​

​2.1 安装服务器​

​（1）服务器​

创建1台服务器 （也可以一次性创建5台服务器，两mananger节点，3个worker节点）所有服务器在同一个默认网络中CPU: 2核4G标准共享型（偏移）操作系统：Alibaba Cloud Linux (完全兼容CentOS, 不建议安装CentOS, 因为CentOS官方已经得不到支持了，无法支持新的功能）

​(2）网络​

分配公有IP地址默认专有网络按流量使用，1M带宽

​（3）默认安全组​

设定公网远程服务服务器的用户名和密码添加80和8080端口，用于后续nginx服务的测试。

2.2 安装后检查

​（1）通过公网IP登录到每台服务器​

​（2） 为服务器划分角色​：initial mananger

公网IP地址：47.99.96.250

私网IP地址：172.24.130.172

​（3）修改主机名​

修改主机名的目的是为了后续可以通过主机名来访问主机，而不是通过IP地址。

当然，如果需要通过主机名访问，还需要修改配置，实现主机名与IP地址的映射。

hostnamectl set-hostname k8s-master1

​（4）建立主机名与IP地址的映射表，以便通过主机名访问主机​

$ vim /etc/hosts

172.24.130.172 k8s-master1172.24.130.172 etcd172.24.130.172 registry172.24.130.172 cluster-endpoint

​（5）安装ifconfig和ping工具（针对没有ping工具的主机）​

$ yum install -y yum-utils$ yum install iputils$ yum install net-tools.x86_64

​（6）通过私网IP可以ping通​

ping k8s-master1ping cluster-endpoint

​第三步：搭建Docker环境（云平台手工操作）​

​​CentOS Docker 安装 | 菜鸟教程​​

​​How nodes work | Docker Documentation​​

​3.1  为每台虚拟服务器安装docker环境​

​（1）ssh到虚拟服务器中​

​（2）一键安装docker环境​

yum-config-manager命令是仓​库​（/etc/yum.repos.d/下的文件）进行增删改查

系统默认没有安装这个命令，这个命令在yum-utils包里，可以通过yum install -y yum-utils安装.

yum repolist all # 显示所有资源库yum repolist enabled # 显示所有已启动的资源库yum repolist disabled # 显示所有被禁用的资源库

# 增加阿里云镜像repo$ yum-config-manager --add-repo 清华镜像$ yum-config-manager --add-repo 官方镜像$ yum-config-manager --add-repo 卸载$ yum remove docker-ce$ rm -rf /var/lib/docker# 非一键安装最新版本yum install docker-ce docker-ce-cli containerd.io# 非一键安装指定版本# 通过其完整的软件包名称安装特定版本，该软件包名称是软件包名称（docker-ce）加上版本字符串（第二列），# 从第一个冒号（:）一直到第一个连字符，并用连字符（-）分隔。# 例如：docker-ce-18.09.1。yum install docker-ce- docker-ce-cli- containerd.io

​3.2 为每台虚拟服务器启动docker环境​

$ systemctl start docker$ docker version$ docker ps$ docker images$ docker info

3.3 为K8S修改 docker配置

$ vim /etc/docker/daemon.json>>{ "registry-mirrors": [" "exec-opts": ["native.cgroupdriver=systemd"]}

其中"exec-opts": ["native.cgroupdriver=systemd"]是K8S所需要的。

限定K8S的程序，以systemd的方式在后台运行。

# 重启docker$ systemctl daemon-reload$ systemctl restart docker

第四步：K8前的安装前的准备

4.1 关闭防火墙

之所以要关闭防火墙，是因为集群内的机器需要通过私网进行通信，如果不关闭防火墙，可能会导致集群内机器通信失败，出现K8S安装失败时，定位问题困难。

$ 临时禁用$ systemctl stop firewalld$ systemctl disable firewalld# setenforce是Linux的selinux防火墙配置命令， 执行setenforce 0 表示关闭selinux防火墙)$ setenforce 0# 永久禁用$ vim /etc/selinux/configSELINUX=disabled

iptables防火墙，会对所有网络流量进行过滤、转发，如果是内网机器一般都会直接关闭，省的影响网络性能，但k8s不能直接关了，k8s是需要用防火墙做ip转发和修改的，当然也看使用的网络模式，如果采用的网络模式不需要防火墙也是可以直接关闭的。

4.2 关闭swap

交换分区，英文的说法是swap，意思是“交换”、“实物交易”。它的功能就是在内存不够的情况下，操作系统先把内存中暂时不用的数据，存到硬盘的交换空间，腾出内存来让别的程序运行，和Windows的虚拟内存（pagefile.sys）的作用是一样的。

将部分内存数据存放到磁盘中，这个这样会使性能下降，为了性能考虑推荐关掉，增加内存。

# 临时关闭$ swapoff -a# 永久关闭$ vim /etc/fstab>>#/dev/mapper/centos-swap swap swap defaults 0 0# 使用free -m确认swap已经关闭。swap部分为0$ free -m

4.3 设置内网静态IP地址

（1）ipconfig查看网卡名称

（2）vim /etc/sysconfig/network-scripts/ifcfg-网卡名称

根据自己系统的实际情况修改IP地址。

master配置：BOOTPROTO="static" # IPADDR="172.24.130.170" # IPNETMASK="255.255.248.0" # mask#GATEWAY="172.24.130.1" # 网关地址（使用route -n 第一行就是默认的网关）#DNS1="8.8.8.8" # DNS服务器 （cat /etc/resolv.conf 查看）

4.4 配置IPtable-流量桥接

​方法1（推荐）​

$ cd /etc/sysctl.d$ touch k8s.conf$ vim k8s.confnet.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1net.ipv4.ip_forward = 1vm.swappiness=0# 使得配置文件生效$ modprobe br_netfilter$ sysctl --system -p /etc/sysctl.d/k8s.conf

​方法2：​

对于 RHEL/CentOS 7 系统，可以会由于 iptables 被绕过导致网络请求被错误的路由。所以还需执行如下命令保证 sysctl 配置中 net.bridge.bridge-nf-call-iptables 被设为1。

$ vi /etc/sysctl.conf# 添加如下内容net.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1net.ipv4.ip_forward = 1$ sysctl --system

第五步：搭建集群K8S Initial Mananger节点

5.1 安装 kubeadm、kubectl（mananger节点特有）、kubelet

​（1）修改K8S配置:  K8S的yum源（kubernetes.repo）​

$ cat < /etc/yum.repos.d/kubernetes.repo[kubernetes]name=Kubernetesbaseurl=yum install -y kubelet kubeadm kubectl# kubelet需要手工启动$ systemctl enable --now kubelet

之所以在master上可以部署kubelet，是因为K8S支持在单一机器上部署集群，如果不是在单个机器上部署集群，就可以不用在master上安装kubelet。

备注：除了上述三个组件，其他组件都是以容器镜像的方式存在，并以容器的方式部署的，因此是可以先通过dock pull手工的方式下载到本地，否则的话，kubeadm init会主动远程下载。

​（3）检查kubelet的状态​

$ systemctl status kubelet

如果是在master上安装kubelet，则此时的状态处于没有ready状态。

5.2 google_containers 配置（可选）

由于coredns改名为coredns/coredns了，所以在kubernetes init之前输入以下命令。

$ docker pull coredns/coredns:latest$ docker tag coredns/coredns:latest registry.aliyuncs.com/google_containers/coredns:latest

DNS的目的是通过域名字来访问主机。

5.3 kubeadm init创建leader mananger节点

​（1）复位​

# 如果初始化过程出现问题，使用如下命令重置$ kubeadm reset$ rm -rf /var/lib/cni/$ rm -f $HOME/.kube/config$ systemctl daemon-reload && systemctl restart kubelet

​（2）命令​

# 确保通过名字可以访问master主节点$ ping cluster-endpoint

kubeadm init --apiserver-advertise-address 172.24.130.172 --control-plane-endpoint cluster-endpoint --image-repository registry.aliyuncs.com/google_containers --service-cidr 10.1.0.0/16 --pod-network-cidr 192.168.0.0/16

apiserver-advertise-address ：API server的地址control-plane-endpoint：控制平面的地址，即leader master的地址image-repository：K8S 组件的docker镜像所在的仓库在哪里kubernetes-version：K8S的版本service-cidr：指定service地址的范围， 不能与主机的网络地址重叠。pod-network-cidr：指定k8s内部的pod节点之间网络可以使用的IP网络范围，不能与主机的IP地址范围重叠。不能与service-cidr重叠。

​（3）输出​

Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the following as a regular user: mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/configAlternatively, if you are the root user, you can run: export KUBECONFIG=/etc/kubernetes/admin.confYou should now deploy a pod network to the cluster.Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: can now join any number of control-plane nodes by copying certificate authoritiesand service account keys on each node and then running the following as root: kubeadm join cluster-endpoint:6443 --token ywv88r.v66vfltjx71o1m78 \ --discovery-token-ca-cert-hash sha256:0960bd69ebf10fbfeba8b630cc827c7345558a5ae24e110cf125930440805f9f \ --control-plane Then you can join any number of worker nodes by running the following on each as root:kubeadm join cluster-endpoint:6443 --token ywv88r.v66vfltjx71o1m78 \ --discovery-token-ca-cert-hash sha256:0960bd69ebf10fbfeba8b630cc827c7345558a5ae24e110cf125930440805f9f

从上面可以看出：

作为​control plane节点​的方式加入集群的两种方法：

kubeadm join cluster-endpoint:6443 --token ywv88r.v66vfltjx71o1m78 \ --discovery-token-ca-cert-hash sha256:0960bd69ebf10fbfeba8b630cc827c7345558a5ae24e110cf125930440805f9f \ --control-plane

作为​普通节点​的方式加入集群的方法：

kubeadm join cluster-endpoint:6443 --token ywv88r.v66vfltjx71o1m78 \ --discovery-token-ca-cert-hash sha256:0960bd69ebf10fbfeba8b630cc827c7345558a5ae24e110cf125930440805f9f

​（3）查看节点情况​

[root@k8s-master1 ~]# kubectl get nodes

NAME          STATUS   ROLES                  AGE   VERSION

k8s-master1   Ready    control-plane,master   19h   v1.23.3

第六步：kubeadm init后处理： 创建kube配置文件

​根据初始化的输出结果提示，进一步处理如下。​

​6.1 修改配置文件​

$ mkdir -p /root/.kube$ sudo cp -i /etc/kubernetes/admin.conf /root/.kube/config$ sudo chown $(id -u):$(id -g) /root/.kube/config

6.2  安装第三方网络插件

​​Installing Addons | Kubernetes​​

网络插件的目的是把k8s网络虚拟出一个网络，对外提供统一的接口，对内实现负载均衡和网络策略管理。

K8S支持多种网络策略，根据自己的需要选择一个，以calico插件为例

# 下载配置文件curl -O# 根据配置文件进行安装$ kubectl apply -f calico.yaml

6.3  检查节点的安装情形

​（1）查看组件部署情况​

$ docker images[root@k8s-master1 ~]# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEkubernetesui/dashboard v2.5.0 57446aa2002e 21 hours ago 223MBcalico/kube-controllers v3.22.0 df76d42861ee 5 days ago 132MBcalico/cni v3.22.0 f86797de8afd 5 days ago 235MBcalico/pod2daemon-flexvol v3.22.0 59daef946c8c 5 days ago 21.4MBcalico/node v3.22.0 f109b1742d34 5 days ago 213MBregistry.aliyuncs.com/google_containers/kube-apiserver v1.23.3 f40be0088a83 9 days ago 135MBregistry.aliyuncs.com/google_containers/kube-scheduler v1.23.3 99a3486be4f2 9 days ago 53.5MBregistry.aliyuncs.com/google_containers/kube-controller-manager v1.23.3 b07520cd7ab7 9 days ago 125MBregistry.aliyuncs.com/google_containers/kube-proxy v1.23.3 9b7cc9982109 9 days ago 112MBregistry.aliyuncs.com/google_containers/kube-apiserver v1.23.0 e6bf5ddd4098 8 weeks ago 135MBregistry.aliyuncs.com/google_containers/kube-proxy v1.23.0 e03484a90585 8 weeks ago 112MBregistry.aliyuncs.com/google_containers/kube-controller-manager v1.23.0 37c6aeb3663b 8 weeks ago 125MBregistry.aliyuncs.com/google_containers/kube-scheduler v1.23.0 56c5af1d00b5 8 weeks ago 53.5MBregistry.aliyuncs.com/google_containers/etcd 3.5.1-0 25f8c7f3da61 3 months ago 293MBcoredns/coredns latest a4ca41631cc7 4 months ago 46.8MBregistry.aliyuncs.com/google_containers/coredns latest a4ca41631cc7 4 months ago 46.8MBregistry.aliyuncs.com/google_containers/coredns v1.8.6 a4ca41631cc7 4 months ago 46.8MBregistry.aliyuncs.com/google_containers/pause 3.6 6270bb605e12 5 months ago 683kBkubernetesui/metrics-scraper v1.0.7 7801cfc6d5c0 7 months ago 34.4MBcalico/node v3.8.9 ee86d6374c0e 20 months ago 190MBcalico/pod2daemon-flexvol v3.8.9 c3fc7e2b20f8 20 months ago 9.37MBcalico/cni v3.8.9 ab4bfb784a04 20 months ago 161MB

$ docker ps[root@k8s-master1 ~]# docker psCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES50c72aebaa12 kubernetesui/dashboard "/dashboard --insecu鈥 2 hours ago Up 2 hours k8s_kubernetes-dashboard_kubernetes-dashboard-546cbc58cd-c55gt_kubernetes-dashboard_c4bbfd43-fd5a-4577-822f-dd762ead45d7_19be049fc07f2 7801cfc6d5c0 "/metrics-sidecar" 2 hours ago Up 2 hours k8s_dashboard-metrics-scraper_dashboard-metrics-scraper-799d786dbf-dkm47_kubernetes-dashboard_cd386835-f902-42bf-8032-178e2185f0d2_131d79f2f6062 registry.aliyuncs.com/google_containers/pause:3.6 "/pause" 2 hours ago Up 2 hours k8s_POD_dashboard-metrics-scraper-799d786dbf-dkm47_kubernetes-dashboard_cd386835-f902-42bf-8032-178e2185f0d2_2245140693ea8 a4ca41631cc7 "/coredns -conf /etc鈥 2 hours ago Up 2 hours k8s_coredns_coredns-6d8c4cb4d-rxjh9_kube-system_bd934648-b339-422c-8d54-9498eeffd779_2f9d212219f0d registry.aliyuncs.com/google_containers/pause:3.6 "/pause" 2 hours ago Up 2 hours k8s_POD_coredns-6d8c4cb4d-rxjh9_kube-system_bd934648-b339-422c-8d54-9498eeffd779_32226f35ec84a registry.aliyuncs.com/google_containers/pause:3.6 "/pause" 2 hours ago Up 2 hours k8s_POD_kubernetes-dashboard-546cbc58cd-c55gt_kubernetes-dashboard_c4bbfd43-fd5a-4577-822f-dd762ead45d7_24cec84eb3f60 a4ca41631cc7 "/coredns -conf /etc鈥 2 hours ago Up 2 hours k8s_coredns_coredns-6d8c4cb4d-mcjv8_kube-system_0063b61b-665e-4d78-963a-589d0803a1cd_2e9bf3939136f registry.aliyuncs.com/google_containers/pause:3.6 "/pause" 2 hours ago Up 2 hours k8s_POD_coredns-6d8c4cb4d-mcjv8_kube-system_0063b61b-665e-4d78-963a-589d0803a1cd_31aba8d3d08b4 df76d42861ee "/usr/bin/kube-contr鈥 2 hours ago Up 2 hours k8s_calico-kube-controllers_calico-kube-controllers-566dc76669-2pkhv_kube-system_c73d1b6c-87ff-4a24-9dc7-7bb4bbf07974_20e28c90b846f registry.aliyuncs.com/google_containers/pause:3.6 "/pause" 2 hours ago Up 2 hours k8s_POD_calico-kube-controllers-566dc76669-2pkhv_kube-system_c73d1b6c-87ff-4a24-9dc7-7bb4bbf07974_391f095f298fc f109b1742d34 "start_runit" 2 hours ago Up 2 hours k8s_calico-node_calico-node-cc8sp_kube-system_cdd6318b-3294-4cb8-8c89-73b195ff6be2_240f3b32fd608 9b7cc9982109 "/usr/local/bin/kube鈥 2 hours ago Up 2 hours k8s_kube-proxy_kube-proxy-9z2bm_kube-system_0ba93fb4-84f9-4ad6-875e-038ce92423af_2e19b019440b4 registry.aliyuncs.com/google_containers/pause:3.6 "/pause" 2 hours ago Up 2 hours k8s_POD_kube-proxy-9z2bm_kube-system_0ba93fb4-84f9-4ad6-875e-038ce92423af_229c1049c94f6 registry.aliyuncs.com/google_containers/pause:3.6 "/pause" 2 hours ago Up 2 hours k8s_POD_calico-node-cc8sp_kube-system_cdd6318b-3294-4cb8-8c89-73b195ff6be2_2b31b5b9ccb11 f40be0088a83 "kube-apiserver --ad鈥 2 hours ago Up 2 hours k8s_kube-apiserver_kube-apiserver-k8s-master1_kube-system_d27f2ab65f6952657233a6ae00cbce0a_62c47614454b5 b07520cd7ab7 "kube-controller-man鈥 2 hours ago Up 2 hours k8s_kube-controller-manager_kube-controller-manager-k8s-master1_kube-system_f750c0e63deed088ac51fe880b38e1f4_45ce3dff0fafd 99a3486be4f2 "kube-scheduler --au鈥 2 hours ago Up 2 hours k8s_kube-scheduler_kube-scheduler-k8s-master1_kube-system_0969a4e217156cc73dc6871a8d553e2b_608855ff00204 25f8c7f3da61 "etcd --advertise-cl鈥 2 hours ago Up 2 hours k8s_etcd_etcd-k8s-master1_kube-system_4ec6d8e85dd87c17347b8e69a6b9d597_783045d940224 registry.aliyuncs.com/google_containers/pause:3.6 "/pause" 2 hours ago Up 2 hours k8s_POD_kube-apiserver-k8s-master1_kube-system_d27f2ab65f6952657233a6ae00cbce0a_2e0d967f87f46 registry.aliyuncs.com/google_containers/pause:3.6 "/pause" 2 hours ago Up 2 hours k8s_POD_kube-controller-manager-k8s-master1_kube-system_f750c0e63deed088ac51fe880b38e1f4_2fef32d3cb851 registry.aliyuncs.com/google_containers/pause:3.6 "/pause" 2 hours ago Up 2 hours k8s_POD_kube-scheduler-k8s-master1_kube-system_0969a4e217156cc73dc6871a8d553e2b_2e53ca7115a40 registry.aliyuncs.com/google_containers/pause:3.6 "/pause" 2 hours ago Up 2 hours k8s_POD_etcd-k8s-master1_kube-system_4ec6d8e85dd87c17347b8e69a6b9d597_2[root@k8s-master1 ~]#

​（2）在master节点查看集群的节点情况​

# 查看集群中的节点$ kubectl get nodes[root@k8s-master1 ~]# kubectl get nodesNAME STATUS ROLES AGE VERSIONk8s-master1 Ready control-plane,master 20h v1.23.3# 查看集群中的服务$ kubectl get pods -A# 周期性查看$ watch -n 1 kubectl get pods -A

作者主页(​​文火冰糖的硅基工坊​​​)：​​文火冰糖（王文兵）的博客_文火冰糖的硅基工坊​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。