使用Jenkins 实现自动化构建

0 前言

Jenkins是帮我们将代码进行统一的编译打包、还可以放到tomcat容器中进行发布。

意思是我们通过配置，将以前：编译、打包、上传、部署到Tomcat中的过程交由Jenkins，Jenkins通过给定的代码地址URL，将代码拉取到其“宿主服务器”（这是我个人的称呼，在下边会用到，就是Jenkins的安装位置），进行编译、打包和发布到容器中。

因此我们可以注意到的是，在Jenkins的宿主服务器中必须要有可以进行：代码clone（Git）、代码编译（Maven）、代码运行（Tomcat）的基本环境

 

更多内容请移步http://blog.csdn.net/wangmuming/article/category/2167947/1

 

1Jenkins简介

Jenkins 是一个可扩展的持续集成引擎。

主要用于：

• l 持续、自动地构建/测试软件项目。
• l 监控一些定时执行的任务。

Jenkins拥有的特性包括：

• l 易于安装-只要把jenkins.war部署到servlet容器，不需要数据库支持。
• l 易于配置-所有配置都是通过其提供的web界面实现。
• l 集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知。
• l 生成JUnit/TestNG测试报告。
• l 分布式构建支持Jenkins能够让多台计算机一起构建/测试。
• l 文件识别:Jenkins能够跟踪哪次构建生成哪些jar，哪次构建使用哪个版本的jar等。
• l 插件支持:支持扩展插件，你可以开发适合自己团队使用的工具。

1 Jenkins的由来

目前持续集成(CI)已成为当前许多软件开发团队在整个软件开发生命周期内侧重于保证代码质量的常见做法。它是一种实践，旨在缓和和稳固软件的构建过程。并且能够帮助您的开发团队应对如下挑战：

• l 软件构建自动化 ：配置完成后，CI系统会依照预先制定的时间表，或者针对某一特定事件，对目标软件进行构建。
• l 构建可持续的自动化检查 ：CI系统能持续地获取新增或修改后签入的源代码，也就是说，当软件开发团队需要周期性的检查新增或修改后的代码时，CI系统会不断确认这些新代码是否破坏了原有软件的成功构建。这减少了开发者们在检查彼此相互依存的代码中变化情况需要花费的时间和精力(说直接一点也是钱啊，呵呵)。
• l 构建可持续的自动化测试 ：构建检查的扩展部分，构建后执行预先制定的一套测试规则，完成后触发通知(Email,RSS等等)给相关的当事人。
• l 生成后后续过程的自动化 :当自动化检查和测试成功完成，软件构建的周期中可能也需要一些额外的任务，诸如生成文档、打包软件、部署构件到一个运行环境或者软件仓库。这样，构件才能更迅速地提供给用户使用。

部署一个CI系统需要的最低要求是，一个可获取的源代码的仓库，一个包含构建脚本的项目。

下图概括了CI系统的基本结构：

 

该系统的各个组成部分是按如下顺序来发挥作用的：

1. 开发者检入代码到源代码仓库。

2. CI系统会为每一个项目创建了一个单独的工作区。当预设或请求一次新的构建时，它将把源代码仓库的源码存放到对应的工作区。

3. CI系统会在对应的工作区内执行构建过程。

4. （配置如果存在）构建完成后，CI系统会在一个新的构件中执行定义的一套测试。完成后触发通知(Email,RSS等等)给相关的当事人。

5. （配置如果存在）如果构建成功，这个构件会被打包并转移到一个部署目标(如应用服务器)或存储为软件仓库中的一个新版本。软件仓库可以是CI系统的一部分，也可以是一个外部的仓库，诸如一个文件服务器或者像Java.net、 SourceForge之类的网站。

6. CI系统通常会根据请求发起相应的操作，诸如即时构建、生成报告，或者检索一些构建好的构件。

Jenkins就是这么一个CI系统。之前叫做Hudson。

以下是使用Jenkins的一些理由：

• l 是所有CI产品中在安装和配置上最简单的。
• l 基于Web访问，用户界面非常友好、直观和灵活，在许多情况下，还提供了AJAX的即时反馈。
• l Jenkins是基于Java开发的(如果你是一个Java开发人员，这是非常有用的)，但它不仅限于构建基于Java的软件。
• l Jenkins拥有大量的插件。这些插件极大的扩展了Jenkins的功能；它们都是开源的，而且它们可以直接通过web界面来进行安装与管理。

1.1 Jenkins的目标

Jenkins的主要目标是监控软件开发流程，快速显示问题。所以能保证开发人员以及相关人员省时省力提高开发效率。

CI系统在整个开发过程中的主要作用是控制：当系统在代码存储库中探测到修改时，它将运行构建的任务委托给构建过程本身。如果构建失败了，那么CI系统将通知相关人员，然后继续监视存储库。它的角色看起来是被动的；但它确能快速反映问题。

特别是它具有以下优点：

• l Jenkins一切配置都可以在web界面上完成。有些配置如MAVEN_HOME和Email，只需要配置一次，所有的项目就都能用。当然也可以通过修改XML进行配置。
• l 支持Maven的模块(Module)，Jenkins对Maven做了优化，因此它能自动识别Module，每个Module可以配置成一个job。相当灵活。
• l 测试报告聚合，所有模块的测试报告都被聚合在一起，结果一目了然，使用其他CI，这几乎是件不可能完成的任务。
• l 构件指纹(artifact fingerprint)，每次build的结果构件都被很好的自动管理，无需任何配置就可以方便的浏览下载。

2Jenkins安装前的环境准备

一、Git的安装

1、安装依赖

sudo yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker

• 1

• 1

注意：perl-ExtUtils-MakeMaker 也是这些安装列表中的一员，不要因为显示的换行造成大家认为是两条执行命令。

2、下载Git

选择一个目录，存放下载的git，例如我的是：/home/xuliugen/tmp，大家可以根据需求到官网下载相应的版本

wget https://github.com/git/git/archive/v2.3.0.zip

• 1

• 1

3、解压git

下载之后是这样的，不要感到奇怪，直接解压即可

因为下载的是一个zip，所以使用命令将其解压到git目录下：

#参数-d 后边的是解压到的目录
unzip v2.3.0 -d git 

• 1
• 2

• 1
• 2

4、编译安装git

进入git目录

将其安装在“/usr/local/git”目录下,命令如下：

make prefix=/usr/local/git all
sudo make prefix=/usr/local/git install

• 1
• 2

• 1
• 2

5、配置Git

sudo vim /etc/profile #编辑profile文件

• 1

• 1

然后而已看到这个文件已经有很多配置了，只需要在最下边添加git的路径即可：

export PATH=/usr/local/git/bin:$PATH

• 1

• 1

将这段话放在最后边，然后使用source命令应用修改:

source /etc/profile

• 1

• 1

6、检验Git是否安装成功

git --version

• 1

• 1

二、Maven安装

1、下载和解压Maven

Maven的安装包下载可以根据需求找到合适的版本，解压之后，我的位置是：

2、配置Maven

编辑：~/.bash_profile文件,根据注释相应的修改即可

# maven所在的目录  
export M2_HOME=/home/xuliugen/software/maven/apache-maven-3.3.3
# maven bin所在的目录  
export M2=$M2_HOME/bin
# 将maven bin加到PATH变量中  
export PATH=$M2:$PATH
# 配置JAVA_HOME所在的目录，注意这个目录下应该有bin文件夹，bin下应该有java等命令  
export JAVA_HOME=/usr/lib/jvm/jre-1.7.0

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

然后运行：source ~/.bash_profile 应用修改

3、查看Maven是否安装成功

使用：mvn -version 即可查看结果

 

3Jenkins安装与设置

Jenkins的安装很简单，直接将war放到容器中进行运行即可

1、将jenkins放到Tomcat中并解压，启动Tomcat，成功启动之后访问ip和端口如下：

启动成功之后，进入的界面如上，表示启动成功。

2、安装插件

在进行配置之前，由于使用的是Git拉去代码的方式，所以要首先安装插件

找到：插件管理 在“可选插件”界面使用ctrl+f 搜索：Deploy to container Plugin 插件（这个是支持将代码部署到tomcat容器的）

勾选，点击下边的按钮：直接安装，这个可能时间较久，等待即可。

安装完之后，如果勾选了：安装完成后重启jenkins 那么会重启jenkins。

然后安装:GIT plugin，何上边的步骤一样，如果使用上述的方式，由于网络的原因，可能会安装失败，这就需要我们使用另一种方式进行安装。

使用同样的方式在“可选插件”中搜索GIT plugin，找到之后点击蓝色链接（最好右键在新窗口中打开，放置覆盖jenkins界面）

会跳转到Git Plugin的插件信息地址：

可以看到Plugin ID为：git，然后在：http://updates.jenkins-ci.org/download/plugins/ 这地地方搜索（ctrl+f）即可找到，点进去，选择一个版本进行下载：

点进去下载的是一个hpi文件

然后同样的在：系统管理–管理插件–高级Tab中，下拉可以看到上传插件，然后选择文件上传刚才下载的hpi文件，即可，上传完之后，会自动安装。上述安装Deploy to container Plugin的方式也可以采用这种方式。

都安装完之后，在已安装Tab中可以看到刚安装的插件：

3、进行配置

看到上图中的左侧有一个：系统管理 点击去

上边的第一行黄色信息，表示编码问题，在Tomcat–>conf–>server.xml文件中修改即可

4、Jenkins系统设置

点击：系统设置，这里没有强调的都设置为默认即可

（1）JDK，别名是任意的,选择自己jdk的位置，jenkins推荐使用sun jdk而不是openjdk

（2）Git 的配置

注意这里的git位置，是可执行文件的地址，即是git–bin–下的可执行文件 git的目录（类似于java中bin下的java可执行文件位置）

如果填错，后期回报无法找到git等错误（最下边，其他问题下的第三个问题），请大家注意！

（3）Ant的配置

由于本次并没有用到Ant，不做配置，大家可以根据配置进行设置

（4）Maven的配置，选择自己maven的存放位置

（5）Jenkins Location

这里配置的是ip加端口和一个路径名称，邮箱要进行设定，后期会发送jenkins执行的结果到邮件中

（6）邮件通知

这里我配置的QQ邮箱，大家根据情况进行设置相应的smtp服务器，用户名、密码分别为自己的QQ邮箱何密码，如果不进行设置，后期jenkins构建项目的时候会报错，报错信息很好理解也很好找到是没有配置邮件的问题。

首先，要保证邮件的smtp和pop是开启状态的，这样的话才可以通过验证：

最后点击下边的应用、保存即可

5、Configure Global Security

然后回到系统管理，看到Configure Global Security 点击进去，根据下边进行配置即可

点击应用 保存之后，然后在屏幕的右上角，有一个登录-注册 ，点击注册即可实现用户的登录。

这里，如果是公司内网的话，或者最后搭建的jenkins是公司使用，那么最好用户名和密码为公司的账户密码，邮件也是公司的邮件，这样的话方便后期的操作。

至此Jenkins的基本配置完成。

创建Job

1、创建项目

点击登录之后，会看到下边的界面中：My Views

点击进去

点击：创建一个新任务

选择maven项目，点击OK，这里的Item名称是后边需要用到的，下边的配置也有用到这个的，大家可以很好的对应。

2、进行项目的配置

（1）源码管理选择Git，这个时候添加url之后，下边会报错，显示让去认证，认证即可（其他的安装中又遇到这个问题），如果认证失败，请下载认证Github Authentication plugin插件，这个在插件管理的可选插件中搜索安装。

我这里的rul是我在gitos上的一个项目，credentials是我在gitos上的用户名和密码认证。

（2）构建触发器，就是什么时候执行jenkins的自动化部署

选择第一个，其他的基本是定时执行什么的，大家可以自行查找，查看如何设置，根据需要进行配置

（3）Post Steps

选择上图中的，然后下边 的Execute shell如下，脚本的编写在下边进行了详细的说明：

#!/bin/bash 
#copy file and restart tomcat 

export JAVA_HOME=/data/home/server/jdk
export CATALINA_HOME=/home/xuliugen/dubbo-provider
export CATALINA_BASE=/home/xuliugen/dubbo-provider
export BUILD_ID=dontKillMe

tomcat_path=/home/xuliugen/dubbo-provider
project=dubbo-provider
war_name=dubbo-provider.war 
war_path=http://132.153.131.237/:8022/jenkins/job/ManenDemo/ws/targetserver_port=8082 
file_path=~/.jenkins/jobs/ManenDemo/workspace/spring_provider/target

$tomcat_path/bin/shutdown.sh 

sleep 3s 

echo "rm -rf ${tomcat_path}/webapps/ROOT/*"

rm -rf ${tomcat_path}/webapps/ROOT/*

cd $file_path

cp ${war_name} ${tomcat_path}/webapps/ROOT/

cd $tomcat_path/webapps/ROOT/

unzip ${war_name}

rm -rf ${war_name}

sleep 5s 

#$tomcat_path/bin/startup.sh

cd $tomcat_path/bin/
./startup.sh

echo "server restarted"

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40

（4）邮件通知

至此基本设置完毕，点击应用、保存

（5）立即构建

点击左上角的立即构建

然后看到下边的Build History 点击蓝色的进去，会进入Console

下边是进行jar的下载，会下载到宿主服务器的maven仓库中：

下边的信息表示项目编译通过：

下边是运行脚本的信息：

脚本的分析

在Jenkins的服务器上查看：

可以看到在/root/.jenkins这个目录，实际存放了Jenkins拉取Git代码之后编译好war的位置，到此，大家也许都该明白了，编译后的位置就在这里啊！然后，接着是部署到宿主服务器的Tomcat容器中，如何将编译好的war放到tomcat中，这就需要脚本来完成，也是上述过程中配置的过程，下边对每一行进行分析。

首先我们应该明白，将编译好的war放到tomcat容器中，我们首先要知道这两个的位置：编译后war的位置和目标容器的位置，很显然我们是知道的。

1、脚本文件的头，这个没得说

#!/bin/bash 

• 1

• 1

2、环境变量设置

export JAVA_HOME=/data/home/server/jdk
export CATALINA_HOME=/home/xuliugen/dubbo-provider
export CATALINA_BASE=/home/xuliugen/dubbo-provider
export BUILD_ID=dontKillMe

• 1
• 2
• 3
• 4

• 1
• 2
• 3
• 4

上边的各个位置，大家也许都知道，CATALINA_HOME和CATALINA_BASE的位置就是Tomcat容器的位置，这里根据需求我将Tomcat容器的名字改为dubbo-provider了，如果改成/home/xuliugen/tomcat是不是更好理解。

export BUILD_ID=dontKillMe这一句很重要，因为该job启动完后执行下一job,jenkins直接把tomcat进程杀了，所以无论脚本中怎么写了启动tomcat的命令，他是不会启动的。虽然上述截图中显示了Tomcat started、server restarted但是访问项目地址是访问不了的，这在：其他问题的第二个说明了这个问题。

3、其他路径位置

tomcat_path=/home/xuliugen/dubbo-provider #我的Tomcat位置
project=dubbo-provider #我的项目编译的名称
war_name=dubbo-provider.war  #最后打包的war名称
war_path=http://132.153.131.237/:8022/jenkins/job/ManenDemo/ws/targetserver_port=8082 #宿主服务器的ip何端口
file_path=~/.jenkins/jobs/ManenDemo/workspace/spring_provider/target  #编译好的war包存放地址

• 1
• 2
• 3
• 4
• 5

• 1
• 2
• 3
• 4
• 5

这个：war_path 其实也就是Jenkins的宿主服务器位置IP，端口为jenkins运行的端口，大家只需要将ip地址端口ManenDemo换成自己的即可；

file_path：就是Jenkins帮我们编译好的项目war的位置，上图中大家也可以看到，并且大家不可以完全按照上边的路径，要找到自己宿主服务器上实际war的位置，进行设置。

4、耳熟能详的执行命令

下边就是我们在使用原始方式，部署war的命令，大家很简单的可以理解，其中：

注意：个人写脚本的能力有限，所以我是假设项目已经在运行的情况下，因此我上来就是先关闭Tomcat，（正确的方式，应该判断端口是否打开，如果本身tomcat未启动，我的这种情况，会在Jenkins的Console中报拒绝连接的问题，如下图）。

另外用到了sleep 3s 这个可以让线程休眠一下，这样的话可以看一下tomcat的日志信息。

下边的脚本就是删除原来容器中的文件，然后将编译好的war移动到容器中，解压。运行tomcat。

$tomcat_path/bin/shutdown.sh 
sleep 3s 
echo "rm -rf ${tomcat_path}/webapps/ROOT/*"
rm -rf ${tomcat_path}/webapps/ROOT/*
cd $file_path
cp ${war_name} ${tomcat_path}/webapps/ROOT/
cd $tomcat_path/webapps/ROOT/
unzip ${war_name}
rm -rf ${war_name}
sleep 5s 
cd $tomcat_path/bin/
./startup.sh
echo "server restarted"

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13

将项目布署到远程Tomcat

上述创建项目，可以看出是在本地进行执行的，也就是进行编译后执行的Tomcat是何Jenkins的宿主服务器是在一起的，这很显然不符合我们常规的公司及其部署的方案，通常是将编译之后的代码在运行到其他的Tomcat服务器中的，下边有两种方式，将编译之后的项目部署到远程服务器中。

1、使用脚本的方式部署到远程服务器

2、使用Deploy to container Plugin插件部署到远程服务器

上述的开始阶段就安装了这个插件，下边就开始发挥其作用。

在创建的Job左侧点击设置，其他配置何在远程搭建项目是一致的，不同的是在这个地方：

以前我们在编译之后，将编译后的通过脚本补助到Jenkins的宿主服务器，使用插件，就不需要这种方式了。

还有就是的在构建之后，将编译后的文件**/target/dubbo-provider.war（就是上边的~/.jenkins/jobs/ManenDemo/workspace/spring_provider/target目录）部署到下边的远程Tomcat容器中；这里Containers的用户名和密码是Tomcat管理员的账户密码，Tomcat URL 就是你需要进行部署的远程Tomcat服务器的ip和端口。

这里需要进行设置的是远程Tomcat的管理员信息，修改远程Tomcat容器下的conf–tomcat-users.xml文件，在内添加下边的内容：

<role rolename="manager"/>
<role rolename="manager-gui"/>
<role rolename="manager-script"/>
<role rolename="admin"/>
<user username="admin" password="admin" roles="admin,manager,manager-script,manager-gui"/>

• 1
• 2
• 3
• 4
• 5

• 1
• 2
• 3
• 4
• 5

即可实现远程的访问，测试是可以通过的，但是有一个问题，通过这种方式，只将war复制到了wenapps下：

因此这种方式的话，我们访问的时候必须是ip、端口和项目名，例如：

http://115.159.151.247:8030/dubbo-provider/

• 1

• 1

当然这种方式 也是在实际的应用中不提倡的，解决方式就是修改Tomcat默认的访问路径即可，设置Tomcat–conf–server.xml文件如下： 
在Host节点之间添加：

<Context path="" docBase="dubbo-provider" debug="0" reloadable="true" />

• 1

• 1

或者在docBase里边输入项目的绝对路径，例如我的：

<Context path="" docBase="/home/xuliugen/dubbo-provider/webapps/dubbo-provider" debug="0" reloadable="true" />

• 1

• 1

然后重启Tomcat，这样的话,http://ip:8030/dubbo-provider/ 和http://ip:8030这两种方式都可以访问到该项目。

其他问题

1、部署项目的时候报错

这个大家很好理解，是因为下载jar失败的问题，由于是第一次使用Maven，需要第一次下载很多jar到Maven仓库中，由于网络的问题下载失败，大家可以多次构建让他重新下载，或者直接到：https://repo.maven.apache.org/maven2 根据报错的jar，在maven2中找到自己缺失的jar，然后在/root/.m2/repository 相应的位置添加jar即可。

2、编写脚本文件启动tomcat但是项目仍然运行不起来

就是上边说道的问题了： 
添加：export BUILD_ID=dontKillMe，因为该job启动完后执行下一job,jenkins直接把tomcat进程杀了，所以无论脚本中怎么写了启动tomcat的命令，他是不会启动的。

3、遇到下边的问题

这就是在系统设置的时候，设置的git的地址不对，上述已经说明了，应该是git的可执行文件的地址，如果只是git的目录，是无法找到git这个可执行文件的，如下：

可以看出使用的是这个：/usr/local/git/bin/git 进行git仓库的配置何代码的拉取，因此这设置git的目录，jenkins默认是不会找bin目录下的git可执行文件的。

更多配置：http://blog.csdn.net/wangmuming/article/details/22925127

至此，Jenkins的部署完成