附012.Kubeadm部署高可用Kubernetes
程序员文章站
2023-02-05 23:07:03
一 kubeadm介绍 1.1 概述 参考《附003.Kubeadm部署Kubernetes》。 1.2 kubeadm功能 参考《附003.Kubeadm部署Kubernetes》。 二 部署规划 2.1 节点规划 节点主机名 IP 类型 运行服务 k8smaster01 172.24.8.71 ......
一 kubeadm介绍
1.1 概述
参考《附003.kubeadm部署kubernetes》。
1.2 kubeadm功能
参考《附003.kubeadm部署kubernetes》。
二 部署规划
2.1 节点规划
kubernetes的高可用主要指的是控制平面的高可用，即指多套master节点组件和etcd组件，工作节点通过负载均衡连接到各master。ha有通常有如下两种架构：
高可用架构一：etcd与master节点组件混布在一起。
高可用架构二：使用独立的etcd集群，不与master节点混布。
释义：
两种方式的相同之处在于都提供了控制平面的冗余，实现了集群高可以用，区别在于：
- etcd混布方式
- 所需机器资源少
- 部署简单，利于管理
- 容易进行横向扩展
- 风险大，一台宿主机挂了，master和etcd就都少了一套，集群冗余度受到的影响比较大。
- etcd独立部署方式：
- 所需机器资源多（按照etcd集群的奇数原则，这种拓扑的集群关控制平面最少需要6台宿主机了）
- 部署相对复杂，要独立管理etcd集群和和master集群
- 解耦了控制平面和etcd，集群风险小健壮性强，单独挂了一台master或etcd对集群的影响很小
提示：本实验使用高可用架构一实现kubernetes的高可用。
2.2 初始准备
1 [root@k8smaster01 ~]# vi k8sinit.sh 2 # modify author: xhy 3 # modify date: 2019-06-23 22:19 4 # version: 5 #***************************************************************# 6 # initialize the machine. this needs to be executed on every machine. 7 8 # add host domain name. 9 cat >> /etc/hosts << eof 10 172.24.8.71 k8smaster01 11 172.24.8.72 k8smaster02 12 172.24.8.73 k8smaster03 13 172.24.8.74 k8snode01 14 172.24.8.75 k8snode02 15 172.24.8.76 k8snode03 16 eof 17 18 # add docker user 19 useradd -m docker 20 21 # disable the selinux. 22 sed -i 's/^selinux=.*/selinux=disabled/' /etc/selinux/config 23 24 # turn off and disable the firewalld. 25 systemctl stop firewalld 26 systemctl disable firewalld 27 28 # modify related kernel parameters & disable the swap. 29 cat > /etc/sysctl.d/k8s.conf << eof 30 net.ipv4.ip_forward = 1 31 net.bridge.bridge-nf-call-ip6tables = 1 32 net.bridge.bridge-nf-call-iptables = 1 33 net.ipv4.tcp_tw_recycle = 0 34 vm.swappiness = 0 35 vm.overcommit_memory = 1 36 vm.panic_on_oom = 0 37 net.ipv6.conf.all.disable_ipv6 = 1 38 eof 39 sysctl -p /etc/sysctl.d/k8s.conf >&/dev/null 40 swapoff -a 41 sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab 42 modprobe br_netfilter 43 44 # add ipvs modules 45 cat > /etc/sysconfig/modules/ipvs.modules <<eof 46 #!/bin/bash 47 modprobe -- ip_vs 48 modprobe -- ip_vs_rr 49 modprobe -- ip_vs_wrr 50 modprobe -- ip_vs_sh 51 modprobe -- nf_conntrack_ipv4 52 eof 53 chmod 755 /etc/sysconfig/modules/ipvs.modules 54 bash /etc/sysconfig/modules/ipvs.modules 55 56 # install rpm 57 yum install -y conntrack git ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget gcc gcc-c++ make openssl-devel 58 59 # install docker compose 60 sudo curl -l "https://github.com/docker/compose/releases/download/1.25.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose 61 sudo chmod +x /usr/local/bin/docker-compose 62 63 # update kernel 64 rpm --import https://www.elrepo.org/rpm-gpg-key-elrepo.org 65 rpm -uvh https://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm 66 yum --disablerepo="*" --enablerepo="elrepo-kernel" install -y kernel-ml-5.4.1-1.el7.elrepo 67 sed -i 's/^grub_default=.*/grub_default=0/' /etc/default/grub 68 grub2-mkconfig -o /boot/grub2/grub.cfg 69 yum update -y 70 71 # reboot the machine. 72 reboot
提示：对于某些特性，可能需要升级内核，因此如上脚本将内核升级至5.4。
2.3 互信配置
为了更方便远程分发文件和执行命令，本实验配置master节点到其它节点的 ssh 信任关系。
1 [root@k8smaster01 ~]# ssh-keygen -f ~/.ssh/id_rsa -n '' 2 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8smaster01 3 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8smaster02 4 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8smaster03 5 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8snode01 6 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8snode02 7 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8snode03
提示：此操作仅需要在master节点操作。
三 集群部署
3.1 docker安装
1 [root@k8smaster01 ~]# yum -y update
2 [root@k8smaster01 ~]# yum -y install yum-utils device-mapper-persistent-data lvm2
3 [root@k8smaster01 ~]# yum-config-manager \
4 --add-repo \
5 http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
6 [root@k8smaster01 ~]# yum list docker-ce --showduplicates | sort -r #查看可用版本
7 [root@k8smaster01 ~]# yum -y install docker-ce-18.09.9-3.el7.x86_64 #kubeadm当前不支持18.09以上版本
8 [root@k8smaster01 ~]# mkdir /etc/docker
9 [root@k8smaster01 ~]# cat > /etc/docker/daemon.json <<eof
10 {
11 "registry-mirrors": ["https://dbzucv6w.mirror.aliyuncs.com"],
12 "exec-opts": ["native.cgroupdriver=systemd"],
13 "log-driver": "json-file",
14 "log-opts": {
15 "max-size": "100m"
16 },
17 "storage-driver": "overlay2",
18 "storage-opts": [
19 "overlay2.override_kernel_check=true"
20 ]
21 }
22 eof #配置system管理cgroup1 [root@k8smaster01 ~]# systemctl restart docker 2 [root@k8smaster01 ~]# systemctl enable docker 3 [root@k8smaster01 ~]# iptables -nvl #确认iptables filter表中foward链的默认策略(pllicy)为accept
3.2 相关组件包
需要在每台机器上都安装以下的软件包：
kubeadm: 用来初始化集群的指令；
kubelet: 在集群中的每个节点上用来启动 pod 和 container 等；
kubectl: 用来与集群通信的命令行工具。
kubeadm不能安装或管理 kubelet 或 kubectl ，所以得保证他们满足通过 kubeadm 安装的 kubernetes 控制层对版本的要求。如果版本没有满足要求，可能导致一些意外错误或问题。
具体相关组件安装见《附001.kubectl介绍及使用》。
提示：所有master+worker节点均需要如上操作。
kubernetes 1.15版本所有兼容相应组件的版本参考：https://github.com/kubernetes/kubernetes/blob/master/changelog-1.15.md。
3.3 正式安装
1 [root@k8smaster01 ~]# cat <<eof > /etc/yum.repos.d/kubernetes.repo 2 [kubernetes] 3 name=kubernetes 4 baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ 5 enabled=1 6 gpgcheck=1 7 repo_gpgcheck=1 8 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg 9 eof 10 #配置yum源
1 [root@k8smaster01 ~]# yum search kubelet --showduplicates #查看相应版本 2 [root@k8smaster01 ~]# yum install -y kubeadm-1.15.6-0.x86_64 kubelet-1.15.6-0.x86_64 kubectl-1.15.6-0.x86_64 --disableexcludes=kubernetes
说明：同时安装了cri-tools, kubernetes-cni, socat三个依赖：
socat：kubelet的依赖；
cri-tools：即cri(container runtime interface)容器运行时接口的命令行工具。
1 [root@k8smaster01 ~]# systemctl enable kubelet
提示：所有master+worker节点均需要如上操作。此时不需要启动kubelet，初始化的过程中会自动启动的，如果此时启动了会出现报错，忽略即可。
三 部署高可用组件i
3.1 keepalived安装
1 [root@k8smaster01 ~]# wget https://www.keepalived.org/software/keepalived-2.0.19.tar.gz 2 [root@k8smaster01 ~]# tar -zxvf keepalived-2.0.19.tar.gz 3 [root@k8smaster01 ~]# cd keepalived-2.0.19/ 4 [root@k8smaster01 ~]# ./configure --sysconf=/etc --prefix=/usr/local/keepalived 5 [root@k8smaster01 keepalived-2.0.19]# make && make install 6 [root@k8smaster01 ~]# systemctl enable keepalived && systemctl start keepalived
提示：所有master节点均需要如上操作。
3.2 创建配置文件
1 [root@k8smaster01 ~]# git clone https://github.com/cookeem/kubeadm-ha #拉取github的高可用自动配置脚本 2 [root@k8smaster01 ~]# vi /root/kubeadm-ha/kubeadm-config.yaml 3 apiversion: kubeadm.k8s.io/v1beta1 4 kind: clusterconfiguration 5 kubernetesversion: v1.15.6 #配置安装的版本 6 …… 7 podsubnet: "10.10.0.0/16" #指定pod网段及掩码 8 ……
提示：若需要修改为国内kubernetes初始化镜像源，可通过在kubeadm-config.yaml中追加如下参数，若参考4.1步骤提前下载：
imagerepository: registry.cn-hangzhou.aliyuncs.com/google_container
1 [root@k8smaster01 ~]# cd kubeadm-ha/ 2 [root@k8smaster01 kubeadm-ha]# vi create-config.sh 3 # master keepalived virtual ip address 4 export k8sha_vip=172.24.8.100 5 # master01 ip address 6 export k8sha_ip1=172.24.8.71 7 # master02 ip address 8 export k8sha_ip2=172.24.8.72 9 # master03 ip address 10 export k8sha_ip3=172.24.8.73 11 # master keepalived virtual ip hostname 12 export k8sha_vhost=k8smaster01 13 # master01 hostname 14 export k8sha_host1=k8smaster01 15 # master02 hostname 16 export k8sha_host2=k8smaster02 17 # master03 hostname 18 export k8sha_host3=k8smaster03 19 # master01 network interface name 20 export k8sha_netinf1=eth0 21 # master02 network interface name 22 export k8sha_netinf2=eth0 23 # master03 network interface name 24 export k8sha_netinf3=eth0 25 # keepalived auth_pass config 26 export k8sha_keepalived_auth=412f7dc3bfed32194d1600c483e10ad1d 27 # calico reachable ip address 28 export k8sha_calico_reachable_ip=172.24.8.2 29 # kubernetes cidr pod subnet 30 export k8sha_cidr=10.10.0.0 31 32 [root@k8smaster01 kubeadm-ha]# ./create-config.sh
解释：所有master节点均需要如上操作。执行脚本后会生产如下配置文件清单：
执行create-config.sh脚本后，会自动生成以下配置文件：
- kubeadm-config.yaml：kubeadm初始化配置文件，位于kubeadm-ha代码的./根目录
- keepalived：keepalived配置文件，位于各个master节点的/etc/keepalived目录
- nginx-lb：nginx-lb负载均衡配置文件，位于各个master节点的/root/nginx-lb目录
- calico.yaml：calico网络组件部署文件，位于kubeadm-ha代码的./calico目录
3.3 启动keepalived
1 [root@k8smaster01 ~]# cat /etc/keepalived/keepalived.conf 2 [root@k8smaster01 ~]# cat /etc/keepalived/check_apiserver.sh
1 [root@k8smaster01 ~]# systemctl restart keepalived.service 2 [root@k8smaster01 ~]# systemctl status keepalived.service 3 [root@k8smaster01 ~]# ping 172.24.8.100 4
提示：所有master节点均需要如上操作。
3.4 启动nginx
执行create-config.sh脚本后，nginx-lb的配置文件会自动复制到各个master的节点的/root/nginx-lb目录
1 [root@k8smaster01 ~]# cd /root/nginx-lb/
1 [root@k8smaster01 nginx-lb]# docker-compose up -d #使用docker-compose方式启动nginx-lb 2 [root@k8smaster01 ~]# docker-compose ps #检查nginx-lb启动状态
提示：所有master节点均需要如上操作。
四 初始化集群-mater
4.1 master上初始化
1 [root@k8smaster01 ~]# kubeadm --kubernetes-version=v1.15.6 config images list #列出所需镜像 2 k8s.gcr.io/kube-apiserver:v1.15.6 3 k8s.gcr.io/kube-controller-manager:v1.15.6 4 k8s.gcr.io/kube-scheduler:v1.15.6 5 k8s.gcr.io/kube-proxy:v1.15.6 6 k8s.gcr.io/pause:3.1 7 k8s.gcr.io/etcd:3.3.10 8 k8s.gcr.io/coredns:1.3.1
1 [root@k8smaster01 ~]# kubeadm --kubernetes-version=v1.15.6 config images pull #拉取kubernetes所需镜像
注意：
由于国内kubernetes镜像可能无法pull，建议通过vpn等方式提前pull镜像，然后上传至所有master节点。
1 [root@vpn ~]# docker pull k8s.gcr.io/kube-apiserver:v1.15.6 2 [root@vpn ~]# docker pull k8s.gcr.io/kube-controller-manager:v1.15.6 3 [root@vpn ~]# docker pull k8s.gcr.io/kube-scheduler:v1.15.6 4 [root@vpn ~]# docker pull k8s.gcr.io/kube-proxy:v1.15.6 5 [root@vpn ~]# docker pull k8s.gcr.io/pause:3.1 6 [root@vpn ~]# docker pull k8s.gcr.io/etcd:3.3.10 7 [root@vpn ~]# docker pull k8s.gcr.io/coredns:1.3.1 8 [root@k8smaster01 ~]# docker load -i kube-apiserver.tar 9 [root@k8smaster01 ~]# docker load -i kube-controller-manager.tar 10 [root@k8smaster01 ~]# docker load -i kube-scheduler.tar 11 [root@k8smaster01 ~]# docker load -i kube-proxy.tar 12 [root@k8smaster01 ~]# docker load -i pause.tar 13 [root@k8smaster01 ~]# docker load -i etcd.tar 14 [root@k8smaster01 ~]# docker load -i coredns.tar
1 [root@k8smaster01 ~]# kubeadm init --config=/root/kubeadm-ha/kubeadm-config.yaml --upload-certs
保留如下命令用于后续节点添加：
1 you can now join any number of the control-plane node running the following command on each as root: 2 3 kubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \ 4 --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9 \ 5 --control-plane --certificate-key d8393e3d6c936c2e489e4aff53458c6c5b06ef2a8715f49529494cbd469c1471 6 7 please note that the certificate-key gives access to cluster sensitive data, keep it secret! 8 as a safeguard, uploaded-certs will be deleted in two hours; if necessary, you can use 9 "kubeadm init phase upload-certs --upload-certs" to reload certs afterward. 10 11 then you can join any number of worker nodes by running the following on each as root: 12 13 kubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \ 14 --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9
注意：如上token具有默认24小时的有效期，token和hash值可通过如下方式获取：
kubeadm token list
如果 token 过期以后，可以输入以下命令，生成新的 token
1 kubeadm token create 2 openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //' 3
1 [root@k8smaster01 ~]# mkdir -p $home/.kube 2 [root@k8smaster01 ~]# sudo cp -i /etc/kubernetes/admin.conf $home/.kube/admin.conf 3 [root@k8smaster01 ~]# sudo chown $(id -u):$(id -g) $home/.kube/admin.conf
提示：默认使用k8s.gcr.io拉取镜像，国内用户可通过以下命令使用阿里源：
1 [root@k8smaster01 ~]# cat << eof >> ~/.bashrc 2 export kubeconfig=$home/.kube/admin.conf 3 eof #设置kubeconfig环境变量 4 [root@k8smaster01 ~]# source ~/.bashrc
附加：初始化过程大致步骤如下：
- [kubelet-start] 生成kubelet的配置文件”/var/lib/kubelet/config.yaml”
- [certificates]生成相关的各种证书
- [kubeconfig]生成相关的kubeconfig文件
- [bootstraptoken]生成token记录下来，后边使用kubeadm join往集群中添加节点时会用到
提示：初始化仅需要在master01上执行，若初始化异常可通过[root@master ~]# kubeadm reset && rm -rf $home/.kube重置。
4.2 添加其他master节点
1 [root@k8smaster02 ~]# kubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \ 2 --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9 \ 3 --control-plane --certificate-key d8393e3d6c936c2e489e4aff53458c6c5b06ef2a8715f49529494cbd469c1471
1 [root@k8smaster02 ~]# mkdir -p $home/.kube 2 [root@k8smaster02 ~]# sudo cp -i /etc/kubernetes/admin.conf $home/.kube/admin.conf 3 [root@k8smaster02 ~]# sudo chown $(id -u):$(id -g) $home/.kube/admin.conf 4 [root@k8smaster02 ~]# cat << eof >> ~/.bashrc 5 export kubeconfig=$home/.kube/admin.conf 6 eof 7 [root@k8smaster02 ~]# source ~/.bashrc
提示：master03也如上执行添加至集群的controlplane。
五 安装nic插件
5.1 nic插件介绍
calico 是一个安全的 l3 网络和网络策略提供者。
canal 结合 flannel 和 calico， 提供网络和网络策略。
cilium 是一个 l3 网络和网络策略插件， 能够透明的实施 http/api/l7 策略。 同时支持路由（routing）和叠加/封装（ overlay/encapsulation）模式。
contiv 为多种用例提供可配置网络（使用 bgp 的原生 l3，使用 vxlan 的 overlay，经典 l2 和 cisco-sdn/aci）和丰富的策略框架。contiv 项目完全开源。安装工具同时提供基于和不基于 kubeadm 的安装选项。
flannel 是一个可以用于 kubernetes 的 overlay 网络提供者。
romana 是一个 pod 网络的层 3 解决方案，并且支持 networkpolicy api。kubeadm add-on 安装细节可以在这里找到。
weave net 提供了在网络分组两端参与工作的网络和网络策略，并且不需要额外的数据库。
cni-genie 使 kubernetes 无缝连接到一种 cni 插件，例如：flannel、calico、canal、romana 或者 weave。
提示：本实验使用calico插件。
5.2 部署calico
1 [root@k8smaster01 ~]# docker pull calico/cni:v3.6.0 2 [root@k8smaster01 ~]# docker pull calico/node:v3.6.0 3 [root@k8smaster01 ~]# docker pull calico/kube-controllers:v3.6.0 #建议提前pull镜像 4 [root@k8smaster01 ~]# kubectl apply -f kubeadm-ha/calico/calico.yaml
1 [root@k8smaster01 ~]# kubectl get pods --all-namespaces -o wide #查看部署
1 [root@k8smaster01 ~]# kubectl get nodes 2 name status roles age version 3 k8smaster01 ready master 174m v1.15.6 4 k8smaster02 ready master 168m v1.15.6 5 k8smaster03 ready master 168m v1.15.6
六 部署高可用组件ii
6.1 高可用说明
高可用kubernetes集群步骤三已完成配置，但是使用docker-compose方式启动nginx-lb由于无法提供kubernetes集群的健康检查和自动重启功能，nginx-lb作为高可用kubernetes集群的核心组件建议也作为kubernetes集群中的一个pod来进行管理。
在/etc/kubernetes/manifests/目录下，是kubelet直接管理的核心部署文件。现在我们停止原先使用docker-compose启动的nginx-lb，由kubelet直接管理nginx-lb服务。
1 [root@k8smaster01 ~]# systemctl stop kubelet 2 [root@k8smaster01 ~]# docker stop nginx-lb && docker rm nginx-lb
提示：所有master节点均需要如上操作。
1 [root@k8smaster01 ~]# export k8sha_host1=k8smaster01
2 [root@k8smaster01 ~]# export k8sha_host2=k8smaster02
3 [root@k8smaster01 ~]# export k8sha_host3=k8smaster03
4 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.conf root@${k8sha_host1}:/etc/kubernetes/
5 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.conf root@${k8sha_host2}:/etc/kubernetes/
6 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.conf root@${k8sha_host3}:/etc/kubernetes/
7 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.yaml root@${k8sha_host1}:/etc/kubernetes/manifests/
8 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.yaml root@${k8sha_host2}:/etc/kubernetes/manifests/
9 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.yaml root@${k8sha_host3}:/etc/kubernetes/manifests/提示：如上操作仅需master01上执行。
1 [root@k8smaster01 ~]# systemctl restart kubelet docker #所有master节点重启相关服务
提示：所有master节点均需要如上操作。
1 [root@k8smaster01 ~]# kubectl get pods --all-namespaces -o wide #再次验证
七 添加worker节点
7.1 下载镜像
为避免node节点无法pull相关镜像，建议体现pull。
1 [root@k8snode01 ~]# docker load -i pause.tar
提示：所有node节点均需要如上操作。
7.2 添加node节点
1 [root@k8snode01 ~]# systemctl enable kubelet.service 2 [root@k8snode01 ~]# skubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \ 3 --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9
提示：若添加异常可通过如下方式重置：
1 [root@node01 ~]# kubeadm reset 2 [root@node01 ~]# ifconfig cni0 down 3 [root@node01 ~]# ip link delete cni0 4 [root@node01 ~]# ifconfig flannel.1 down 5 [root@node01 ~]# ip link delete flannel.1 6 [root@node01 ~]# rm -rf /var/lib/cni/
7.3 确认验证
1 [root@k8smaster01 ~]# kubectl get nodes #节点状态 2 [root@k8smaster01 ~]# kubectl get cs #组件状态 3 [root@k8smaster01 ~]# kubectl get serviceaccount #服务账户 4 [root@k8smaster01 ~]# kubectl cluster-info #集群信息 5 [root@k8smaster01 ~]# kubectl get pod -n kube-system -o wide #所有服务状态
提示：更多kubetcl使用参考：https://kubernetes.io/docs/reference/kubectl/kubectl/
https://kubernetes.io/docs/reference/kubectl/overview/
更多kubeadm使用参考：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
八 开启ipvs
8.1 修改configmap
1 [root@k8smaster01 ~]# kubectl edit cm kube-proxy -n kube-system #模式改为ipvs
2 ……
3 mode: "ipvs"
4 ……
5 [root@k8smaster01 ~]# kubectl get pod -n kube-system | grep kube-proxy | awk '{system("kubectl delete pod "$1" -n kube-system")}'
6 [root@k8smaster01 ~]# kubectl get pod -n kube-system | grep kube-proxy #查看proxy的pod
7 [root@k8smaster01 ~]# kubectl logs kube-proxy-2c8tj -n kube-system #查看任意一个proxy pod的日志
九 测试集群
9.1 创建测试service
1 [root@k8smaster01 ~]# kubectl run nginx --replicas=2 --labels="run=load-balancer-example" --image=nginx --port=80 2 [root@k8smaster01 ~]# kubectl expose deployment nginx --type=nodeport --name=example-service #暴露端口 3 [root@k8smaster01 ~]# kubectl get service #查看服务状态 4 [root@k8smaster01 ~]# kubectl describe service example-service #查看信息
9.2 测试访问
1 [root@k8smaster01 ~]# curl 10.97.91.153:80
1 [root@k8smaster01 ~]# kubectl get pod -o wide #查看endpoint
1 [root@k8smaster01 ~]# curl 10.10.32.129:80 #访问endpoint，与访问服务ip结果相同 2 [root@k8smaster01 ~]# curl 10.10.154.1:80
十 部署dashboard
10.1 设置标签
1 [root@k8smaster01 ~]# kubectl label nodes k8smaster01 app=kube-system 2 [root@k8smaster01 ~]# kubectl label nodes k8smaster02 app=kube-system 3 [root@k8smaster01 ~]# kubectl label nodes k8smaster03 app=kube-system
10.2 创建证书
由于自动生成的证书可能过期，建议手动生成证书，而取消yaml中自动创建secret的部分。
1 [root@k8smaster01 ~]# cd /etc/kubernetes/pki/ 2 [root@k8smaster01 pki]# openssl genrsa -out dashboard.key 2048 3 [root@k8smaster01 pki]# openssl req -new -out dashboard.csr -key dashboard.key -subj "/cn=dashboard" 4 [root@k8smaster01 pki]# openssl x509 -req -sha256 -in dashboard.csr -out dashboard.crt -signkey dashboard.key -days 365 5 [root@k8smaster01 pki]# openssl x509 -noout -text -in ./dashboard.crt #查看证书 6
10.3 分发证书
1 [root@k8smaster01 pki]# scp dashboard.* root@k8smaster02:/etc/kubernetes/pki/ 2 [root@k8smaster01 pki]# scp dashboard.* root@k8smaster03:/etc/kubernetes/pki/ 3
10.4 手动创建secret
1 [root@k8smaster01 ~]# ll /etc/kubernetes/pki/dashboard.* 2 -rw-r--r-- 1 root root 1.2k dec 3 03:10 /etc/kubernetes/pki/dashboard.crt 3 -rw-r--r-- 1 root root 976 dec 3 03:10 /etc/kubernetes/pki/dashboard.csr 4 -rw-r--r-- 1 root root 1.7k dec 3 03:09 /etc/kubernetes/pki/dashboard.key 5 [root@k8smaster01 ~]# kubectl create secret generic kubernetes-dashboard-certs --from-file="/etc/kubernetes/pki/dashboard.crt,/etc/kubernetes/pki/dashboard.key" -n kube-system #挂载新证书到dashboard 6 [root@master dashboard]# kubectl get secret kubernetes-dashboard-certs -n kube-system -o yaml #查看新证书
10.5 部署dashboard
1 [root@master01 ~]# vim /root/kubeadm-ha/addons/kubernetes-dashboard/kubernetes-dashboard.yaml #如下部分删除 2 # ------------------- dashboard secret ------------------- # 3 4 apiversion: v1 5 kind: secret 6 metadata: 7 labels: 8 k8s-app: kubernetes-dashboard 9 name: kubernetes-dashboard-certs 10 namespace: kube-system 11 type: opaque
1 [root@k8smaster01 ~]# kubectl apply -f /root/kubeadm-ha/addons/kubernetes-dashboard/kubernetes-dashboard.yaml 2 [root@k8smaster01 ~]# kubectl get deployment kubernetes-dashboard -n kube-system 3 name ready up-to-date available age 4 kubernetes-dashboard 1/1 1 1 10s 5 [root@k8smaster01 ~]# kubectl get pods -o wide --namespace kube-system 6 [root@k8smaster01 ~]# kubectl get services kubernetes-dashboard -n kube-system
提示：k8smaster01 nodeport 30000/tcp映射到 dashboard pod 443 端口。
10.6 查看dashboard参数
1 [root@k8smaster01 ~]# kubectl exec --namespace kube-system -it kubernetes-dashboard-66cb8889-gjpnd -- /dashboard --help
提示：dashboard 的 --authentication-mode 支持 token、basic，默认为 token。如果使用 basic，则 kube-apiserver 必须配置 --authorization-mode=abac 和 --basic-auth-file 参数。
十一 访问dashboard
11.1 导入证书
将dashboard.crt导入ie浏览器，并设置为信任，导入操作略。
11.2 创建kubeconfig文件
使用token相对复杂，可将token添加至kubeconfig文件中，使用kubeconfig 文件访问dashboard。
1 [root@k8smaster01 ~]# admin_secret=$(kubectl get secrets -n kube-system | grep admin-user-token- | awk '{print $1}')
2 [root@k8smaster01 ~]# dashboard_login_token=$(kubectl describe secret -n kube-system ${admin_secret} | grep -e '^token' | awk '{print $2}')
3 [root@k8smaster01 ~]# kubectl config set-cluster kubernetes \
4 --certificate-authority=/etc/kubernetes/pki/ca.crt \
5 --embed-certs=true \
6 --server=172.24.8.100:16443 \
7 --kubeconfig=dashboard.kubeconfig # 设置集群参数
8 [root@k8smaster01 ~]# kubectl config set-credentials dashboard_user \
9 --token=${dashboard_login_token} \
10 --kubeconfig=dashboard_admin.kubeconfig # 设置客户端认证参数，使用上面创建的 token
11 [root@k8smaster01 ~]# kubectl config set-context default \
12 --cluster=kubernetes \
13 --user=dashboard_user \
14 --kubeconfig=dashboard_admin.kubeconfig # 设置上下文参数
15 [root@k8smaster01 ~]# kubectl config use-context default --kubeconfig=dashboard_admin.kubeconfig # 设置默认上下文#将dashboard.kubeconfig文件导入，以便于浏览器使用该文件登录。
11.3 测试访问dashboard
本实验采用nodeip:nodepord方式访问。
浏览器访问：https://172.24.8.71:30000
使用dashboard_admin.kubeconfig文件访问：
提示：
更多dashboard访问方式及认证可参考《附004.kubernetes dashboard简介及使用》。
dashboard登录整个流程可参考：https://www.cnadn.net/post/2613.htm
提示：由于缺少 heapster 插件，当前 dashboard 不能展示 pod、nodes 的 cpu、内存等统计数据和图表。
十二 部署heapster
12.1 pull镜像
建议提前pull部署heapster所需镜像。
1 [root@vpn ~]# docker pull k8s.gcr.io/heapster-influxdb-amd64:v1.5.2 2 [root@vpn ~]# docker run -ti --rm --entrypoint "/bin/sh" k8s.gcr.io/heapster-influxdb-amd64:v1.5.2 3 / # sed -i "s/localhost/127.0.0.1/g" /etc/config.toml #容器内修改config 4 [root@vpn ~]# docker ps #另开一个终端 5 container id image command created status ports names 6 30b29cf20782 k8s.gcr.io/heapster-influxdb-amd64:v1.5.2 "/bin/sh" 5 minutes ago up 5 minutes elastic_brahmagupta 7 [root@vpn ~]# docker commit elastic_brahmagupta k8s.gcr.io/heapster-influxdb-amd64:v1.5.2-fixed #提交修改后的容器为镜像 8 [root@vpn ~]# docker save -o heapster-influxdb-fixed.tar k8s.gcr.io/heapster-influxdb-amd64:v1.5.2-fixed
1 [root@vpn ~]# docker pull k8s.gcr.io/heapster-amd64:v1.5.4 2 [root@vpn ~]# docker save -o heapster.tar k8s.gcr.io/heapster-amd64:v1.5.4
1 [root@k8smaster01 ~]# docker load -i heapster.tar 2 [root@k8smaster01 ~]# docker load -i heapster-influxdb-fixed.tar
提示：所有master节点都需要load如上镜像。
12.2 部署heapster
1 [root@k8smaster01 ~]# kubectl apply -f /root/kubeadm-ha/addons/heapster/
12.3 确认验证
1 [root@k8smaster01 ~]# kubectl top pods -n kube-system
再次浏览器访问：https://172.24.8.71:30000/
参考链接：
https://www.kubernetes.org.cn/4956.html
https://www.kubernetes.org.cn/4956.html