029.核心组件-Controller Manager

一 controller manager原理

1.1 controller manager概述

一般来说，智能系统和自动系统通常会通过一个“控制系统”来不断修正系统的工作状态。在kubernetes集群中，每个controller都是这样的一个“控制系统”，它们通过api server提供的（list-watch）接口实时监控集群中特定资源的状态变化，当发生各种故障导致某资源对象的状态发生变化时，controller会尝试将其状态调整为期望的状态。

比如当某个node意外宕机时，node controller会及时发现此故障并执行自动化修复流程，确保集群始终处于预期的工作状态。controller manager是kubernetes中各种controller的管理者，是集群内部的管理控制中心，也是kubernetes自动化功能的核心。

controller manager内部包含replication controller、node controller、resourcequota controller、namespace controller、serviceaccount controller、token controller、service controller及endpoint controller这8种controller，每种controller都负责一种特定资源的控制流程，而controller manager正是这些controller的核心管理者。

提示：serviceaccount controller与token controller是与安全相关的两个控制器，并且与serviceaccount、token密切相关。

提示：在kubernetes集群中与controller manager协调的另一个组件是kubernetes scheduler，它的作用是将待调度的pod（包括通过api server新创建的pod及rc为补足副本而创建的pod等）通过一些复杂的调度流程计算出最佳目标节点，然后绑定到该节点上。

二 replication controller

2.1 replication controller（副本控制器）作用

replication controller的核心作用是确保在任何时候集群中某个rc关联的pod副本数量都保持预设值。如果发现pod的副本数量超过预期值，则replication controller会销毁一些pod副本；反之，replication controller会自动创建新的pod副本，直到符合条件的pod副本数量达到预设值。

注意：只有当pod的重启策略是always时（restartpolicy=always），replication controller才会管理该pod的操作（例如创建、销毁、重启等）。

在通常情况下，pod对象被成功创建后不会消失，唯一的例外是当pod处于succeeded或failed状态的时间过长（超时参数由系统设定）时，该pod会被系统自动回收，管理该pod的副本控制器将在其他工作节点上重新创建、运行该pod副本。

rc中的pod模板就像一个模具，模具制作出来的东西一旦离开模具，它们之间就再也没关系了。同样，一旦pod被创建完毕，无论模板如何变化，甚至换成一个新的模板，也不会影响到已经创建的pod了。

此外，pod可以通过修改它的标签来脱离rc的管控。该方法可以用于将pod从集群中迁移、数据修复等调试。

对于被迁移走的pod，rc会自动创建一个新的副本替换被迁移的副本。

注意：删除一个rc不会影响它所创建的pod。

如果想删除一个被rc所控制的pod，则需要将该rc的副本数（replicas）属性设置为0，这样所有的pod副本就都会被自动删除。

提示：建议不要越过rc直接创建pod，因为replication controller会通过rc管理pod副本，实现自动创建、补足、替换、删除pod副本，这样能提高系统的容灾能力，减少由于节点崩溃等意外状况造成的损失。即使应用程序只用到一个pod副本，也强烈建议使用rc来定义pod。

replication controller的作用总结如下：

• 确保在当前集群中有且仅有n个pod实例，n是在rc中定义的pod副本数量。
• 通过调整rc的spec.replicas属性值来实现系统扩容或者缩容。
• 通过改变rc中的pod模板（主要是镜像版本）来实现系统的滚动升级。

2.2 replication controller（副本控制器）场景

replication controller的典型使用场景通常有如下几种：

1. 重新调度（rescheduling）：不管想运行1个副本还是1000个副本，副本控制器都能确保指定数量的副本存在于集群中，即使发生节点故障或pod副本被终止运行等意外状况。
2. 弹性伸缩（scaling）：手动或者通过自动扩容代理修改副本控制器的spec.replicas属性值，非常容易实现增加或减少副本的数量。
3. 滚动更新（rollingupdates）：副本控制器被设计成通过逐个替换pod的方式来辅助服务的滚动更新。推荐的方式是创建一个只有一个副本的新rc，若新rc副本数量加1，则旧rc的副本数量减1，直到这个旧rc的副本数量为0，然后删除该旧rc。通过上述模式，即使在滚动更新的过程中发生了不可预料的错误，pod集合的更新也都在可控范围内。在理想情况下，滚动更新控制器需要将准备就绪的应用考虑在内，并保证在集群中任何时刻都有足够数量的可用pod。

三 node controller

3.1 node controller作用

kubelet进程在启动时通过api server注册自身的节点信息，并定时向api server汇报状态信息，api server在接收到这些信息后，会将这些信息更新到etcd中。在etcd中存储的节点信息包括节点健康状况、节点资源、节点名称、节点地址信息、操作系统版本、docker版本、kubelet版本等。

节点健康状况包含“就绪”（true）“未就绪”（false）和“未知”（unknown）三种。

3.2 node controller工作流程

node controller通过api server实时获取node的相关信息，实现管理和监控集群中的各个node的相关控制功能。

node controller的核心工作流程：

1. controllerm anager在启动时如果设置了--cluster-cidr参数，那么为每个没有设置spec.podcidr的node都生成一个cidr地址，并用该cidr地址设置节点的spec.podcidr属性，这样做的目的是防止不同节点的cidr地址发生冲突。
2. 逐个读取node信息，多次尝试修改nodestatusmap中的节点状态信息，将该节点信息和node controller的nodestatusmap中保存的节点信息做比较。如果判断出没有收到kubelet发送的节点信息、第1次收到节点kubelet发送的节点信息，或在该处理过程中节点状态变成非“健康”状态，则在nodestatusmap中保存该节点的状态信息，并用node controller所在节点的系统时间作为探测时间和节点状态变化时间。如果判断出在指定时间内收到新的节点信息，且节点状态发生变化，则在nodestatusmap中保存该节点的状态信息，并用node controller所在节点的系统时间作为探测时间和节点状态变化时间。如果判断出在指定时间内收到新的节点信息，但节点状态没发生变化，则在nodestatusmap中保存该节点的状态信息，并用node controller所在节点的系统时间作为探测时间，将上次节点信息中的节点状态变化时间作为该节点的状态变化时间。如果判断出在某段时间（graceperiod）内没有收到节点状态信息，则设置节点状态为“未知”，并且通过api server保存节点状态。
3. 逐个读取节点信息，如果节点状态变为非“就绪”状态，则将节点加入待删除队列，否则将节点从该队列中删除。如果节点状态为非“就绪”状态，且系统指定了cloudprovider，则node controller调用cloudprovider查看节点，若发现节点故障，则删除etcd中的节点信息，并删除和该节点相关的pod等资源的信息。

四 resourcequota controller

4.1 resourcequota controller作用

resourcequota controller，即资源配额管理，资源配额管理确保了指定的资源对象在任何时候都不会超量占用系统物理资源，避免了由于某些业务进程的设计或实现的缺陷导致整个系统运行紊乱甚至意外宕机，对整个集群的平稳运行和稳定性有非常重要的作用。

目前kubernetes支持如下三个层次的资源配额管理。

• 容器级别，可以对cpu和memory进行限制。
• pod级别，可以对一个pod内所有容器的可用资源进行限制。
• namespace级别，为namespace（多租户）级别的资源限制，包括：
• pod数量；
• replication controller数量；
• service数量；
• resourcequota数量；
• secret数量；
• 可持有的pv数量。

kubernetes的配额管理是通过admission control（准入控制）来控制的，admission control当前提供了两种方式的配额约束，分别是limitranger与resourcequota。

其中limitranger作用于pod和container，resourcequota则作用于namespace，限定一个namespace里的各类资源的使用总额。

4.2 resourcequota controller工作流程

如图所示，如果在pod定义中同时声明了limitranger，则用户通过api server请求创建或修改资源时，admission control会计算当前配额的使用情况，如果不符合配额约束，则创建对象失败。

对于定义了resourcequota的namespace，resourcequota controller组件则负责定期统计和生成该namespace下的各类对象的资源使用总量，统计结果包括pod、service、rc、secret和persistentvolume等对象实例个数，以及该namespace下所有container实例所使用的资源量（目前包括cpu和内存），然后将这些统计结果写入etcd的resourcequotastatusstorage目录（resourcequotas/status）下。写入resourcequotastatusstorage的内容包含resource名称、配额值（resourcequota对象中spec.hard域下包含的资源的值）、当前使用值（resourcequota controller统计出来的值）。随后这些统计信息被admission control使用，以确保相关namespace下的资源配额总量不会超过resourcequota中的限定值。

五 namespace controller

5.1 namespace controller作用

用户通过api server可以创建新的namespace并将其保存在etcd中，namespace controller定时通过api server读取这些namespace的信息。如果namespace被api标识为优雅删除（通过设置删除期限实现，即设置deletiontimestamp属性），则将该namespace的状态设置成terminating并保存到etcd中。同时namespace controller删除该namespace下的serviceaccount、rc、pod、secret、persistentvolume、listrange、resourcequota和event等资源对象。

在namespace的状态被设置成terminating后，由admission controller的namespacelifecycle插件来阻止为该namespace创建新的资源。同时，在namespace controller删除该namespace中的所有资源对象后，namespace controller对该namespace执行finalize操作，删除namespace的spec.finalizers域中的信息。如果namespace controller观察到namespace设置了删除期限，同时namespace的spec.finalizers域值是空的，那么namespace controller将通过api server删除该namespace资源。

六 service controller与endpoints controller

6.1 service controller与endpoints controller作用

如下所示为service、endpoints与pod的关系。

endpoints表示一个service对应的所有pod副本的访问地址，endpoints controller就是负责生成和维护所有endpoints对象的控制器。

endpoints controller负责监听service和对应的pod副本的变化，如果监测到service被删除，则删除和该service同名的endpoints对象。如果监测到新的service被创建或者修改，则根据该service信息获得相关的pod列表，然后创建或者更新service对应的endpoints对象。如果监测到pod的事件，则更新它所对应的service的endpoints对象（增加、删除或者修改对应的endpoint条目）。

每个node的kube-proxy进程会使用endpoints对象，kube-proxy进程获取每个service的endpoints，实现了service的负载均衡功能。

因此service controller的作用，它其实是属于kubernetes集群与外部的云平台之间的一个接口控制器。service controller监听service的变化，如果该service是一个loadbalancer类型的service（externalloadbalancers=true），则service controller确保在外部的云平台上该service对应的loadbalancer实例被相应地创建、删除及更新路由转发表（根据endpoints的条目）。

七 admission control

7.1 admission control概述

admission control配备了一个准入控制器的插件列表，发送给api server的任何请求都需要通过列表中每个准入控制器的检查，检查不通过，则api server拒绝此调用请求。此外，准入控制器插件能够修改请求参数以完成一些自动化任务，比如serviceaccount这个控制器插件。

7.2 可配置创建列表

当前可配置的准入控制器插件如下。

• alwaysadmit：已弃用，允许所有请求。
• alwayspullimages：在启动容器之前总是尝试重新下载镜像。这对于多租户共享一个集群的场景非常有用，系统在启动容器之前可以保证总是使用租户的密钥去下载镜像。如果不设置这个控制器，则在node上下载的镜像的安全性将被削弱，只要知道该镜像的名称，任何人便都可以使用它们了。
• alwaysdeny：已弃用，禁止所有请求，用于测试。
• defaultstorageclass：会关注persistentvolumeclaim资源对象的创建，如果其中没有包含任何针对特定storage class的请求，则为其指派指定的storage class。在这种情况下，用户无须在pvc中设置任何特定的storage class就能完成pvc的创建了。如果没有设置默认的storage class，该控制器就不会进行任何操作；如果设置了超过一个的默认storage class，该控制器就会拒绝所有pvc对象的创建申请，并返回错误信息。因此需要确保storage class对象的配置只有一个默认值。

注意：该控制器仅关注pvc的创建过程，对更新过程无效。

• defaulttolerationseconds：针对没有设置容忍node.kubernetes.io/not-ready:noexecute或者node.alpha.kubernetes.io/unreachable:noexecute的pod，设置5min的默认容忍时间。
• denyexeconprivileged：已弃用，拦截所有想在privileged container上执行命令的请求。如果你的集群支持privileged container，又希望限制用户在这些privileged container上执行命令，那么强烈推荐使用它。其功能已被合并到denyescalatingexec中。
• denyescalatingexec：拦截所有exec和attach到具有特权的pod上的请求。如果你的集群支持运行有escalated privilege权限的容器，又希望限制用户在这些容器内执行命令，那么强烈推荐使用它。
• eventreatelimit：alpha版本，用于应对事件密集情况下对api server造成的洪水攻击。
• extendedresourcetoleration：如果需要创建带有特定资源（例如gpu、fpga等）的独立节点，则可能会对节点进行taint处理来进行特别配置。该控制器能够自动为申请这些特别资源的pod加入toleration定义，无须人工干预。
• imagepolicywebhook：这个插件将允许后端的一个webhook程序来完成admission controller的功能。imagepolicywebhook需要使用一个配置文件（通过kube-api server的启动参数--admission-control-config-file设置）定义后端webhook的参数。目前是alpha版本的功能。
• initializers：alpha。用于为动态准入控制提供支持，通过修改待创建资源的元数据来完成对该资源的修改。limitpodhardantiaffinitytopology：该插件启用了pod的反亲和性调度策略设置，在设置亲和性策略参数requiredduringschedulingrequiredduringexecution时要求将topologykey的值设置为“kubernetes.io/hostname”，否则pod会被拒绝创建。
• limitranger：这个插件会监控进入的请求，确保请求的内容符合在namespace中定义的limitrange对象里的资源限制。如果要在kubernetes集群中使用limitrange对象，则必须启用该插件才能实施这一限制。limitranger还能用于为没有设置资源请求的pod自动设置默认的资源请求，该插件会为default命名空间中的所有pod设置0.1cpu的资源请求。
• mutatingadmissionwebhook：beta。这一插件会变更符合要求的请求的内容，webhook以串行的方式顺序执行。
• namespaceautoprovision：这一插件会检测所有进入的具备命名空间的资源请求，如果其中引用的命名空间不存在，就会自动创建命名空间。
• namespaceexists：这一插件会检测所有进入的具备命名空间的资源请求，如果其中引用的命名空间不存在，就会拒绝这一创建过程。
• namespacelifecycle：如果尝试在一个不存在的namespace中创建资源对象，则该创建请求将被拒绝。当删除一个namespace时，系统将会删除该namespace中的所有对象，包括pod、service等，并阻止删除default、kube-system和kube-public这三个命名空间。
• noderestriction：该插件会限制kubelet对node和pod的修改行为。为了实现这一限制，kubelet必须使用system:nodes组中用户名为system:node:<nodename>的token来运行。符合条件的kubelet只能修改自己的node对象，也只能修改分配到各自node上的pod对象。在kubernetes1.11以后的版本中，kubelet无法修改或者更新自身node的taint属性。在kubernetes1.13以后，这一插件还会阻止kubelet删除自己的node资源，并限制对有kubernetes.io/或k8s.io/前缀的标签的修改。
• onwerreferencespermissionenforcement：在该插件启用后，一个用户要想修改对象的metadata.ownerreferences，就必须具备delete权限。该插件还会保护对象的metadata.ownerreferences[x].blockownerdeletion字段，用户只有在对finalizers子资源拥有update权限的时候才能进行修改。
• persistentvolumelabel：弃用。这一插件自动根据云供应商（例如gce或aws）的定义，为persistentvolume对象加入region或zone标签，以此来保障persistentvolume和pod同处一区。如果插件不为pv自动设置标签，则需要用户手动保证pod和其加载卷的相对位置。该插件正在被cloudcontrollermanager替换，从kubernetes1.11版本开始默认被禁止。
• podnodeselector：该插件会读取命名空间的annotation字段及全局配置，来对一个命名空间中对象的节点选择器设置默认值或限制其取值。
• persistentvolumeclaimresize：该插件实现了对persistentvolumeclaim发起的resize请求的额外校验。
• podpreset：该插件会使用podselector选择pod，为符合条件的pod进行注入。
• podsecuritypolicy：在创建或修改pod时决定是否根据pod的securitycontext和可用的podsecuritypolicy对pod的安全策略进行控制。
• podtolerationrestriction：该插件首先会在pod和其命名空间的toleration中进行冲突检测，如果其中存在冲突，则拒绝该pod的创建。它会把命名空间和pod的toleration进行合并，然后将合并的结果与命名空间中的白名单进行比较，如果合并的结果不在白名单内，则拒绝创建。如果不存在命名空间级的默认toleration和白名单，则会采用集群级别的默认toleration和白名单。
• priority：这一插件使用priorityclassname字段来确定优先级，如果没有找到对应的priorityclass，该pod就会被拒绝。
• resourcequota：用于资源配额管理目的，作用于namespace。该插件拦截所有请求，以确保在namespace上的资源配额使用不会超标。推荐在admission control参数列表中将这个插件排最后一个，以免可能被其他插件拒绝的pod被过早分配资源。
• securitycontextdeny：这个插件将在pod中定义的securitycontext选项全部失效。securitycontext在container中定义了操作系统级别的安全设定（uid、gid、capabilities、selinux等）。在未设置podsecuritypolicy的集群中建议启用该插件，以禁用容器设置的非安全访问权限。
• serviceaccount：这个插件将serviceaccount实现了自动化，如果想使用serviceaccount对象，那么强烈推荐使用它。
• storageobjectinuseprotection：这一插件会在新创建的pvc或pv中加入kubernetes.io/pvc-protection或kubernetes.io/pv-protection的finalizer。如果想要删除pvc或者pv，则直到所有finalizer的工作都完成，删除动作才会执行。
• validatingadmissionwebhook：在kubernetes1.8中为alpha版本，在kubernetes1.9中为beta版本。该插件会针对符合其选择要求的请求调用校验webhook。目标webhook会以并行方式运行；如果其中任何一个webhook拒绝了该请求，该请求就会失败。

在api server上设置参数即可定制我们需要的准入控制链，如果启用多种准入控制选项，则建议设置：在kubernetes1.9及之前的版本中使用的参数是--admission-control，并且其中的内容是顺序相关的；在kubernetes1.10及之后的版本中，该参数为--enable-admission-plugins，并且与顺序无关。

对kubernetes 1.10及以上版本设置如下：

  1 --enable-admission-plugins=namespacelifecycle,limitranger,serviceaccount,defaultsstorageclass,defaulttolerationseconds,mutatingadmissionwebhook,validatingadmissionwebhook,resourcequota

对kubernetes 1.9及以下版本设置如下：

  1 --enable-admission-plugins=namespacelifecycle,limitranger,serviceaccount,defaultstorageclass,defaulttolerationseconds,mutatingadmissionwebhook,calidatingadmissionwebhook,resourcequota