030.核心组件-Scheduler

一 scheduler原理

1.1 原理解析

kubernetes scheduler是负责pod调度的重要功能模块，kubernetes scheduler在整个系统中承担了“承上启下”的重要功能，“承上”是指它负责接收controller manager创建的新pod，为其调度至目标node；“启下”是指调度完成后，目标node上的kubelet服务进程接管后继工作，负责pod接下来生命周期。

kubernetes scheduler的作用是将待调度的pod（api新创建的pod、controller manager为补足副本而创建的pod等）按照特定的调度算法和调度策略绑定（binding）到集群中某个合适的node上，并将绑定信息写入etcd中。

在整个调度过程中涉及三个对象，分别是待调度pod列表、可用node列表，以及调度算法和策略。

概述而言，就是通过调度算法调度为待调度pod列表中的每个pod从node列表中选择一个最适合的node。随后，目标节点上的kubelet通过api server监听到kubernetes scheduler产生的pod绑定事件，然后获取对应的pod清单，下载image镜像并启动容器。

完整的流程如下图示：

kubernetes scheduler当前提供的默认调度流程分为以下两步：

预选调度过程，即遍历所有目标node，筛选出符合要求的候选节点。为此，kubernetes内置了多种预选策略（xxx predicates）供用户选择。

确定最优节点，在第1步的基础上，采用优选策略（xxx priority）计算出每个候选节点的积分，积分最高者胜出。kubernetes scheduler的调度流程是通过插件方式加载的“调度算法提供者”（algorithmprovider）具体实现的。

二 scheduler策略

2.1 策略种类

一个algorithmprovider其实就是包括了一组预选策略与一组优先选择策略的结构体。

scheduler中可用的预选策略包含：nodiskconflict、podfitsresources、podselectormatches、podfitshost、checknodelabelpresence、checkserviceaffinity和podfitsports策略等。

其默认的algorithmprovider加载的预选策略predicates包括：podfitsports（podfitsports）、podfitsresources（podfitsresources）、nodiskconflict（nodiskconflict）、matchnodeselector（podselectormatches）和hostname（podfitshost），即每个节点只有通过前面提及的5个默认预选策略后，才能初步被选中，进入下一个流程。

1. nodiskconflict

判断备选pod的gcepersistentdisk或awselasticblockstore和备选的节点中已存在的pod是否存在冲突。检测过程如下。

• 首先，读取备选pod的所有volume的信息（即pod.spec.volumes），对每个volume执行以下步骤进行冲突检测。
• 如果该volume是gcepersistentdisk，则将volume和备选节点上的所有pod的每个volume都进行比较，如果发现相同的gcepersistentdisk，则返回false，表明存在磁盘冲突，检查结束，反馈给调度器该备选节点不适合作为备选pod；
• 如果该volume是awselasticblockstore，则将volume和备选节点上的所有pod的每个volume都进行比较，如果发现相同的awselasticblockstore，则返回false，表明存在磁盘冲突，检查结束，反馈给调度器该备选节点不适合备选pod。
• 如果检查完备选pod的所有volume均未发现冲突，则返回true，表明不存在磁盘冲突，反馈给调度器该备选节点适合备选pod。

2. podfitsresources

判断备选节点的资源是否满足备选pod的需求，检测过程如下。

• 计算备选pod和节点中已存在pod的所有容器的需求资源（内存和cpu）的总和。
• 获得备选节点的状态信息，其中包含节点的资源信息。
• 如果在备选pod和节点中已存在pod的所有容器的需求资源（内存和cpu）的总和，超出了备选节点拥有的资源，则返回false，表明备选节点不适合备选pod，否则返回true，表明备选节点适合备选pod。

3. podselectormatches

判断备选节点是否包含备选pod的标签选择器指定的标签。

• 如果pod没有指定spec.nodeselector标签选择器，则返回true。
• 否则，获得备选节点的标签信息，判断节点是否包含备选pod的标签选择器（spec.nodeselector）所指定的标签，如果包含，则返回true，否则返回false。

4. podfitshost

判断备选pod的spec.nodename域所指定的节点名称和备选节点的名称是否一致，如果一致，则返回true，否则返回false。

5. checknodelabelpresence

如果用户在配置文件中指定了该策略，则scheduler会通过registercustomfitpredicate方法注册该策略。该策略用于判断策略列出的标签在备选节点中存在时，是否选择该备选节点。

• 读取备选节点的标签列表信息。
• 如果策略配置的标签列表存在于备选节点的标签列表中，且策略配置的presence值为false，则返回false，否则返回true；
• 如果策略配置的标签列表不存在于备选节点的标签列表中，且策略配置的presence值为true，则返回false，否则返回true。

6. checkserviceaffinity

如果用户在配置文件中指定了该策略，则scheduler会通过registercustomfitpredicate方法注册该策略。该策略用于判断备选节点是否包含策略指定的标签，或包含和备选pod在相同service和namespace下的pod所在节点的标签列表。如果存在，则返回true，否则返回false。

7. podfitsports

判断备选pod所用的端口列表中的端口是否在备选节点中已被占用，如果被占用，则返回false，否则返回true。

scheduler中的优选策略包含：leastrequestedpriority、calculatenodelabelpriority和balancedresourceallocation等。每个节点通过优先选择策略时都会算出一个得分，计算各项得分，最终选出得分值最大的节点作为优选的结果（也是调度算法的结果）。

• leastrequestedpriority

该优选策略用于从备选节点列表中选出资源消耗最小的节点。

1. 计算出在所有备选节点上运行的pod和备选pod的cpu占用量totalmillicpu。
2. 计算出在所有备选节点上运行的pod和备选pod的内存占用量totalmemory。
3. 计算每个节点的得分，计算规则大致如下，其中，nodecpucapacity为节点cpu计算能力，nodememorycapacity为节点内存大小。

• calculatenodelabelpriority

如果用户在配置文件中指定了该策略，则scheduler会通过registercustompriorityfunction方法注册该策略。该策略用于判断策略列出的标签在备选节点中存在时，是否选择该备选节点。如果备选节点的标签在优选策略的标签列表中且优选策略的presence值为true，或者备选节点的标签不在优选策略的标签列表中且优选策略的presence值为false，则备选节点score=10，否则备选节点score=0。

• balancedresourceallocation

该优选策略用于从备选节点列表中选出各项资源使用率最均衡的节点。

1. 计算出在所有备选节点上运行的pod和备选pod的cpu占用量totalmillicpu。
2. 计算出在所有备选节点上运行的pod和备选pod的内存占用量totalmemory。
3. 计算每个节点的得分，计算规则大致如下，其中，nodecpucapacity为节点的cpu计算能力，nodememorycapacity为节点的内存大小。