028.核心组件-API Server

一 kubernetes api server原理

1.1 api server功能

kubernetes api server的核心功能是提供kubernetes各类资源对象（如pod、rc、service等）的增、删、改、查及watch等http rest接口，成为集群内各个功能模块之间数据交互和通信的中心枢纽，是整个系统的数据总线和数据中心。同时还有以下一些功能特性。

1. 是集群管理的api入口。
2. 是资源配额控制的入口。
3. 提供了完备的集群安全机制。

1.2 kubernetes api server概述

kubernetes api server通过一个名为kube-apiserver的进程提供服务，该进程运行在master上。在默认情况下，kube-apiserver进程在本机的8080端口（对应参数--insecure-port=8080）提供rest服务。同时启动https安全端口（--secure-port=6443）来启动安全机制，加强restapi访问的安全性。

通常可以通过命令行工具kubectl来与kubernetes api server交互，它们之间的接口是restful api。也可通过curl直接测试和验证kubernetes api server所提供的接口。

insecure-port非安全方式测试：

  1 [root@k8smaster01 study]# curl localhost:8080/api		#以json方式返回
  2 [root@k8smaster01 study]# curl localhost:8080/api/v1		#查看kubernetes api server支持的资源对象种类
  3 [root@k8smaster01 study]# curl localhost:8080/api/v1/pods
  4 [root@k8smaster01 study]# curl localhost:8080/api/v1/services	#分别查看集群对应资源列表

secure-port=6443安全方式测试：

  1 [root@k8smaster01 study]# curl -k --cert /opt/k8s/work/admin.pem --key /opt/k8s/work/admin-key.pem https://172.24.8.71:6443/

  1 [root@k8smaster01 study]# curl -k --cert /opt/k8s/work/admin.pem --key /opt/k8s/work/admin-key.pem https://172.24.8.71:6443/api/v1/pods

  1 [root@k8smaster01 study]# curl -k --cert /opt/k8s/work/admin.pem --key /opt/k8s/work/admin-key.pem https://172.24.8.71:6443/api/v1/services

1.3 api server架构解析

api server的架构从上到下可以分为以下几层。

• api层：主要以rest方式提供各种api接口，除了有kubernetes资源对象的crud和watch等主要api，还有健康检查、ui、日志、性能指标等运维监控相关的api。

注意：kubernetes从1.11版本开始废弃heapster监控组件，转而使用metrics server提供metrics api接口，进一步完善了自身的监控能力。

• 访问控制层：当客户端访问api接口时，访问控制层负责对用户身份鉴权，验明用户身份，核准用户对kubernetes资源对象的访问权限，然后根据配置的各种资源访问许可逻辑（admissioncontrol），判断是否允许访问。
• 注册表层：kubernetes把所有资源对象都保存在注册表（registry）中，针对注册表中的各种资源对象都定义了：资源对象的类型、如何创建资源对象、如何转换资源的不同版本，以及如何将资源编码和解码为json或protobuf格式进行存储。
• etcd数据库：用于持久化存储kubernetes资源对象的kv数据库。etcd的watch api接口对于api server来说至关重要，因为通过这个接口，api server创新性地设计了list-watch这种高性能的资源对象实时同步机制，使kubernetes可以管理超大规模的集群，及时响应和快速处理集群中的各种事件。

本质上看，api server与常见的mis或erp系统中的dao模块类似，可以将主要处理逻辑视作对数据库表的crud操作。

如下以一个完整的pod调度过程为例，对api server的list-watch机制进行说明。

pod调度过程中的list-watch机制:

首先，借助etcd提供的watch api接口，api server可以监听（watch）在etcd上发生的数据操作事件，比如pod创建事件、更新事件、删除事件等，在这些事件发生后，etcd会及时通知api server。

如上图所示api server与etcd之间的交互：当一个replicaset对象被创建并被保存到etcd中后，etcd会立即发送一个对应的create事件给api server，与其类似的6、7、10、11箭头都是针对pod的创建、更新事件的。

然后，为了让kubernetes中的其他组件在不访问底层etcd数据库的情况下，也能及时获取资源对象的变化事件，api server模仿etcd的watch api接口提供了自己的watch接口，从而，其他组件就能近乎实时地获取希望获取的任意资源对象的相关事件通知。

如上图所示controller-manager、scheduler、kublet等组件与api server之间的3个标记有list-watch的虚框表明了此过程。

提示：其他组件在监听希望获取的资源事件的时候，可以增加过滤条件，如上图list-watch3为例，node1节点上的kubelet进程只希望获取自己节点上的pod事件。

最后，kubernetes list-watch用于实现数据同步的代码逻辑。客户端首先调用api server的list接口获取相关资源对象的全量数据并将其缓存到内存中，然后启动对应资源对象的watch协程，在接收到watch事件后，再根据事件的类型（比如新增、修改或删除）对内存中的全量资源对象列表做出相应的同步修改。

从实现上来看，这是一种全量结合增量的、高性能的、近乎实时的数据同步方式。

二 kubernetes proxy api

2.1 proxy api介绍

kubernetes api server最主要的rest接口是资源对象的增、删、改、查接口，同时还提供了一类很特殊的rest接口：kubernetes proxy api接口。

这类接口的作用是代理rest请求，即kubernetes api server把收到的rest请求转发到某个node上的kubelet守护进程的rest端口，由该kubelet进程负责响应。

kubernetes proxy api里关于node的rest接口路径为/api/v1/proxy/nodes/{name}，其中{name}为节点的名称或ip地址，包括以下几个具体接口：

/api/v1/proxy/nodes/{name}/pods/ #列出指定节点内所有pod的信息

/api/v1/proxy/nodes/{name}/stats/ #列出指定节点内物理资源的统计信息

/api/v1/proxy/nodes/{name}/spec/ #列出指定节点的概要信息

三 集群模块之间的通信

3.1 通信概述

如下图所示，kubernetes api server作为集群的核心，负责集群各功能模块之间的通信。集群内的各个功能模块通过api server将信息存入etcd，当需要获取和操作这些数据时，则通过api server提供的rest接口（用get、list或watch方法）来实现，从而实现各模块之间的信息交互。

常见的一个交互场景是kubelet进程与api server的交互。每个node上的kubelet每隔一个时间周期，就会调用一次api server的rest接口报告自身状态，api server在接收到这些信息后，会将节点状态信息更新到etcd中。

此外，kubelet也通过api server的watch接口监听pod信息，如果监听到新的pod副本被调度绑定到本节点，则执行pod对应的容器创建和启动逻辑；如果监听到pod对象被删除，则删除本节点上相应的pod容器；如果监听到修改pod的信息，kubelet就会相应地修改本节点的pod容器。

另一个交互场景是kube-controller-manager进程与api server的交互。kube-controller-manager中的node controller模块通过api server提供的watch接口实时监控node的信息，并做相应处理。

还有一个比较重要的交互场景是kube-scheduler与api server的交互。scheduler通过api server的watch接口监听到新建pod副本的信息后，会检索所有符合该pod要求的node列表，开始执行pod调度逻辑，在调度成功后将pod绑定到目标节点上。

为了缓解集群各模块对api server的访问压力，各功能模块都采用缓存机制来缓存数据。

各功能模块定时从api server获取指定的资源对象信息（通过list-watch方法），然后将这些信息保存到本地缓存中，功能模块在某些情况下不直接访问api server，而是通过访问缓存数据来间接访问api server。