Jenkins在kubernetes中的DevOps流水线最佳实践
devopscube，Devops魔方为个人公众号，主要用于一些有关Devops，容器，kubernetes，自动化运维，以及敏捷开发相关的分享。同时也会不定期的分享一些个人心得，比如推荐一些个人使用的办公小软件，对一些事件的评论等。欢迎大家关注交流。
前言
kubernetes目前是最为流行的应用运行环境，应用以容器的形态运行在平台之上，可以实现一些动态的策略，保证服务的SLA。因此DevOps也必须适应这种新形态应用的部署的方式。而对DevOps来讲，其实容器化的出现以及容器平台的出现，其实让DevOps更为简单了。在使用Jenkins kubernetes插件的时候，你就会对流水线的认知更加深刻。总结起来具有以下优势：
- 容器化平台的动态创建slave的方式节约了系统的资源，构建结束后可自行销毁。
- 容器化配置同一流水线的不同的步骤运行环境，且在一定程度上实现隔离
- kubernetes Pod的多容器共享volume的机制，让各个流水线共享操作的中间产物。
- 模块化的配置流水线的方式，可以对流水线不同版本的工具进行统一的配置管理。
传统的kubernetes的操作方式是在一个环境下配置所有的工具，导致对Jenkins master/slave的环境配置要求较大。而到了容器的平台之上，不同的环境的操作可以天然的隔离到不同的容器之中，而且可以像搭积木一样实现流水线分工，还能通过存储共享的方案实现互相之间中间产物的传递，可以说真正的将流水线的设计提现的淋漓尽致。
本文就主要围绕Jenkins在kubernetes中的使用方案进行探讨，给大家呈现一个kubernetes下的最佳实践。
准备工作
-
kubernetes环境，可以使用各种商业/免费版本，自行选择。
我本人使用的是rancher的k3s，因为整体的安装体积小，便于测试。任何一个可用的kubernetes发行版都能满足我们的需求，我们运行应用使用kubernetes最基本的功能即可。
-
helm安装Jenkins到k8s之上（也可以独立安装，Jenkins kubernetes插件不要求Jenkins master必须运行在kubernetes之上）
请参考我的历史文章：
此外需要安装相应的kubernetes插件，请参见历史文章：
-
镜像仓库，可以使用Harbor或者Nexus作为镜像仓库。
镜像仓库可以是用开源的方案，本文不用过多阐述。
-
helm仓库，可以存储已经打包好的helm应用包。
可以使用harbor存储helm包，也可以使用chartmuseum进行helm包的存储。 当然也可以自己搭建web应用服务器进行存储。在kubernetes平台上建议使用helm进行应用部署。方便管理和配置。
-
Gitlab环境，用于存储代码，用于流水线配置使用。
官方提供了Gitlab的helm安装部署方式，可以参考。
https://docs.gitlab.com/charts/
-
Maven仓库，用于存储java的制品，管理jar包依赖，内网存储可以提高构建的速度。
流水线配置
这里把一整段的jenkins流水线配置贴出来供大家参考，另外对其中的一些信息做相应的介绍：
podTemplate(cloud: 'kubernetes',
imagePullSecrets: ['regcred'],
containers: [
containerTemplate(name: 'jnlp', image: '192.168.100.3:5000/jenkins/jnlp-slave:cicd', ttyEnabled: true),
containerTemplate(name: 'maven', image: '192.168.100.3:5000/mavenbuild:cicd', ttyEnabled: true),
containerTemplate(name: 'docker', image: '192.168.100.3:5000/dind:19.03.6', privileged: true, ttyEnabled: true),
containerTemplate(name: 'helm', image: '192.168.100.3:5000/helmcli:v3.1.2', privileged: true, ttyEnabled: true, command: 'cat')
],
volumes: [
persistentVolumeClaim(claimName: 'kubeconfigs', mountPath: '/root/kubeconfigs/', readOnly: true)
]
){
node(POD_LABEL) {
container('maven'){
stage('Pull source code'){
sh "rm -rf ${config.project_name}-pipeline"
git credentialsId: 'test', branch: 'master' , url: 'http://192.168.100.3/gitlab/demo.git'
}
stage('Compile code') {
sh 'mvn clean package'
}
}
container('docker'){
stage('Docker image build & Push') {
withCredentials([usernamePassword(credentialsId: 'nexus-docker', passwordVariable: 'PASSWORD', usernameVariable: 'USERNAME')]) {
sh 'echo "$PASSWORD" | docker login dockerrepo:5000 -u "$USERNAME" --password-stdin'
sh "docker build -t dockerrepo:5000/cicd/app1:v1.${BUILD_NUMBER} \
-f Dockerfile --force-rm --no-cache ."
sh "docker push dockerrepo:5000/cicd/app1:v1.${BUILD_NUMBER}"
}
}
}
container('helm'){
stage('deploy to kubesphere') {
withCredentials([file(credentialsId: 'k3s-kubeconfig', variable: 'KUBECONFIG')]) {
def action
result = sh returnStatus: true, script: "helm status myproject -n default --kubeconfig $KUBECONFIG"
if(result == 0){
action = "upgrade"
}else{
action = "install"
}
sh "helm ${action} myproject \
http://192.168.100.4:9000/helm-repo/springboot-0.1.0.tgz \
--set image.repository=dockerrepo:5000/cicd/app1:v1.${BUILD_NUMBER} \
--set nameOverride=myproject \
--set fullnameOverride=myproject \
--set ingress.enabled=yes \
--set ingress.host=test.cicd.com \
--set ingress.path=/test \
-n default \
--kubeconfig $KUBECONFIG"
}
}
}
}
}
说明：
-
在containerTemplate中根据功能的不同配置了多个不同的环境，例如docker，maven等。我们需要自己配置自己的运行环境的容器。例如，我自己打包的maven镜像中已经包含了连接到nexus制品库的信息。
示例，我的maven镜像的Dockerfile，其中包含maven的配置以及证书等信息。仅供参考。
[aaa@qq.com mavenimage]$ ls cert.pem Dockerfile entrypoint.sh README.txt settings.xml [aaa@qq.com mavenimage]$ cat entrypoint.sh #!/bin/bash /usr/local/bin/mvn-entrypoint.sh && cat [aaa@qq.com mavenimage]$ cat Dockerfile FROM maven:3.6.2-jdk-8 COPY settings.xml /usr/share/maven/ref/ COPY cert.pem /usr/share/maven/ref/ COPY entrypoint.sh /usr/local/bin/ RUN chmod 777 /usr/local/bin/entrypoint.sh RUN keytool -importcert -file /usr/share/maven/ref/cert.pem -alias nexus -storepass changeit -keystore $JAVA_HOME/jre/lib/security/cacerts -trustcacerts -noprompt RUN git config --global http.sslverify false ENTRYPOINT ["/usr/local/bin/entrypoint.sh"] [aaa@qq.com mavenimage]$示例： 我的docker in docker 镜像的内容， 可以将证书，credential等配置提前预置好。仅供参考
[aaa@qq.com dind]$ ls CA ca.crt config.json daemon.json Dockerfile [aaa@qq.com dind]$ cat Dockerfile FROM 192.168.100.3:5000/docker:19.03.6-dind RUN mkdir -p /etc/docker/certs.d/192.168.100.3:5000/ && mkdir -p /root/.docker/ COPY ca.crt /etc/docker/certs.d/192.168.100.3:5000 COPY config.json /root/.docker/ COPY daemon.json /etc/docker/示例： helm镜像
[aaa@qq.com helm]$ cat Dockerfile FROM 192.168.100.3:5000/alpine:3.10 WORKDIR ~ RUN apk add curl RUN curl -LO https://storage.googleapis.com/kubernetes-release/release/v1.18.0/bin/linux/amd64/kubectl RUN chmod +x ./kubectl RUN mv ./kubectl /usr/local/bin/kubectl RUN wget https://get.helm.sh/helm-v3.1.2-linux-amd64.tar.gz RUN tar -zxvf helm-v3.1.2-linux-amd64.tar.gz RUN mv ./linux-amd64/helm /usr/local/bin/helmjnlp的镜像就是官方提供的镜像，如果自己需要添加自定义的工具可以自行构建Dockerfile
以上四个容器，就作为流水线中的不同的部分对共有的jenkins workspace进行相应的操作。
-
使用Jenkins 的credential的机制，存储敏感数据，避免明文配置和运行。这里我们用到的是用户名密码以及SecretFile的方式。存储的是docker仓库的用户名密码以及kubeconfig文件。建议不要使用明文进行配置。
withCredentials([usernamePassword(credentialsId: 'nexus-docker', passwordVariable: 'PASSWORD', usernameVariable: 'USERNAME')]) withCredentials([file(credentialsId: 'k3s-kubeconfig', variable: 'KUBECONFIG')]) -
使用helm部署的方式部署应用，可以根据自己的需要打包成helm包，然后上传到helm仓库中，在jenkinsfile中指定相应的helm包即可。同时在声明式语法中也可以使用脚本的语言，例如例子中使用脚本判断是否有helm release已经部署，来决定是否使用helm install命令，否则使用upgrade命令。
def action result = sh returnStatus: true, script: "helm status myproject -n default --kubeconfig $KUBECONFIG" if(result == 0){ action = "upgrade" }else{ action = "install" }
总结
本文提供了Jenkins在kubernetes环境中的使用方案，该方案是利用Jenkins kubernetes插件的方式运行流水线，并可以自己动态构建所需要的流水线运行环境。helm对应用进行封装，并暴露出相应的配置用于Jenkins中helm命令的调用。使用withcredential的方式使用Jenkins凭据，减少敏感信息的明文存储。并可以使用groovy脚本配合声明式配置来进行更加复杂的操作。
devopscube，Devops魔方为个人公众号，主要用于一些有关Devops，容器，kubernetes，自动化运维，以及敏捷开发相关的分享。同时也会不定期的分享一些个人心得，比如推荐一些个人使用的办公小软件，对一些事件的评论等。欢迎大家关注交流。