Spring Cloud Config 分布式配置中心
分布式系统中面临的配置问题
微服务意味着要将单体应用中的业务拆分成一个个子服务,每个服务的粒度相对较小,因此系统中会出现大量的服务。由于每个服务都需要必要的配置信息才能运行,所以一套集中式的、动态的配置管理设施是必不可少的。
SpringCloud提供了ConfigServer来解决这个问题—我们每一个微服务自己带着一个application.yml,项目中可能会有几十个上百个配置文件。
如上图所示,SpringCloudConfig为微服务架构中的微服务提供集中化的外部配置支持,配置服务器为各个不同微服务应用的所有环境提供了一个中心化的外部配置。
SpringCloudConfig分为服务端和客户端两个部分。
服务端也称为分布式配置中心,它是一个独立的微服务应用,用来连接配置服务器并为客户端提供获取配置信息,加密/解密信息等访问接口。
客户端则是通过指定的配置中心来管理应用资源,以及与业务相关的配置内容,并在启动的时候从配置中心获取和加载配置信息。配置服务器默认采用git来存储配置信息,这样就有助于对环境配置进行版本管理,并且可以通过git客户端工具来方便的管理和访问配置内容。
SpringCloudConfig功能:
- 集中管理配置文件;
- 不同环境不同配置,动态化的配置更新,分环境部署比如dev/test/prod/beta/release
- 运行期间动态调整配置,不再需要在每个服务部署的机器上编写配置文件,服务会向配置中心统一拉取配置自己的信息;
- 当配置发送变动时,服务不需要重启即可感知到配置的变化并应用新的配置;
- 将配置信息以REST接口的形式暴露。
中文文档地址:https://springcloud.cc/spring-cloud-config.html
源码地址:https://github.com/spring-cloud/spring-cloud-config
【1】模拟运维人员操作
首先模拟运维人员将其本地库中的配置文件推送到远程GitHub上面。
① 在GitHub上建立仓库microservicecloud-config
其Git地址:
HTTPS协议:https://github.com/JanusJ/microservicecloud-config.git
SSH协议:aaa@qq.com:JanusJ/microservicecloud-config.git
② 在本地建立文件夹springcloud,进入git bash 从远程clone到本地
$ git clone https://github.com/JanusJ/microservicecloud-config.git
③ 在本地库中建立application.yml并保存为UTF-8格式
spring:
profiles:
active:
- dev
---
spring:
profiles: dev # 开发环境
application:
name: microservicecloud-config-dev
---
spring:
profiles: test # 测试环境
application:
name: microservicecloud-config-test
④ 将本地库的yml推送到GitHub远程库
git status
git add application.yml
git commit -m "application.yml" application.yml
git push origin-cloud master
【2】建立服务配置中心Server
① 新建module-microservicecloud-config-3344
② 编辑application.yml文件
server:
port: 3344
spring:
application:
name: microservicecloud-config
cloud:
config:
server:
git:
uri: https://github.com/JanusJ/microservicecloud-config.git #GitHub上面的git仓库名字
③ 修改pom文件
<dependencies>
<!-- springCloud Config -->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-config-server</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-config</artifactId>
</dependency>
<!-- 避免Config的Git插件报错:org/eclipse/jgit/api/TransportConfigCallback -->
<dependency>
<groupId>org.eclipse.jgit</groupId>
<artifactId>org.eclipse.jgit</artifactId>
<version>4.10.0.201712302008-r</version>
</dependency>
<!-- 熔断 -->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-hystrix</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-eureka</artifactId>
</dependency>
<!-- spring boot -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-jetty</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!-- 图形化监控 -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
</dependency>
<!-- 热部署插件 -->
<dependency>
<groupId>org.springframework</groupId>
<artifactId>springloaded</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-devtools</artifactId>
</dependency>
</dependencies>
④ 修改主启动类
@SpringBootApplication
@EnableConfigServer //必不可少
public class Config_3344_StartSpringCloudApp
{
public static void main(String[] args)
{
SpringApplication.run(Config_3344_StartSpringCloudApp.class, args);
}
}
⑤ 启动项目,进行测试获取远程GitHub中的yml
分别请求如下:
http://localhost:3344/application-dev.yml
http://localhost:3344/application-test.yml
如果请求一个不存在但是符合yml命名规范的资源,将会返回基本配置,如下所示:
HTTP服务具有以下格式的资源:
/{application}/{profile}[/{label}]
/{application}-{profile}.yml
/{label}/{application}-{profile}.yml
/{application}-{profile}.properties
/{label}/{application}-{profile}.properties
其中“应用程序”作为SpringApplication中的spring.config.name注入(即常规Spring Boot应用程序中通常为“应用程序”),“配置文件”是活动配置文件(或逗号分隔列表)的属性),“label”是可选的git标签(默认为“master”)。
至此,成功实现了SpringCloud从远程GitHub上获取yml配置信息。
【3】Config客户端配置
首先模拟运维人员操作,在本地创建客户端配置yml,然后推送到GitHub上面。
microservicecloud-config-client.yml 如下:
spring:
profiles:
active:
- dev
---
server:
port: 8201
spring:
profiles: dev
application:
name: microservicecloud-config-client
eureka:
client:
service-url:
defaultZone: http://eureka-dev.com:7001/eureka/
---
server:
port: 8202
spring:
profiles: test
application:
name: microservicecloud-config-client
eureka:
client:
service-url:
defaultZone: http://eureka-test.com:7001/eureka/
其次建立/microservicecloud-config-client-3355 Module
① application.yml文件如下
spring:
application:
name: microservicecloud-config-client
② bootstrap.yml文件如下
spring:
cloud:
config:
name: microservicecloud-config-client #需要从github上读取的资源名称,注意没有yml后缀名
profile: test #本次访问的配置项
label: master
uri: http://config-3344.com:3344 #本微服务启动后先去找3344号服务,通过SpringCloudConfig获取GitHub的服务地址
这里说明一下什么是bootstap.yml,其与application.yml有什么区别。
application.yml是用户级的资源配置项,bootstrap.yml是系统级的,优先级更高。
SpringCloud会创建一个Bootstrap Context,作为Spring应用的Application Context的父上下文。初始化的时候Bootstrap Context负责从外部源加载配置并解析配置。这两个上下文共享一个 从外部获取的Environment。Bootstrap属性有高优先级,默认情况下,它们不会被本地配置覆盖。Bootstrap Context和Application Context有着不同的约定。
所以新增了一个bootstrap.yml,保证了Bootstrap Context 和Application Context 配置的分离。
③ 新建REST类,验证能否从GitHub上面读取配置
@RestController
public class ConfigClientRest
{
@Value("${spring.application.name}")
private String applicationName;
@Value("${eureka.client.service-url.defaultZone}")
private String eurekaServers;
@Value("${server.port}")
private String port;
@RequestMapping("/config")
public String getConfig()
{
String str = "applicationName: " + applicationName + "\t eurekaServers:" + eurekaServers + "\t port: " + port;
System.out.println("******str: " + str);
return "applicationName: " + applicationName + "\t eurekaServers:" + eurekaServers + "\t port: " + port;
}
}
④ 主程序类如下
@SpringBootApplication
public class ConfigClient_3355_StartSpringCloudApp
{
public static void main(String[] args)
{
SpringApplication.run(ConfigClient_3355_StartSpringCloudApp.class, args);
}
}
⑤ 启动3344和3355两个项目进行测试
请求http://config-3344.com:3344/application-dev.yml如下:
请求http://config-3344.com:3344/microservicecloud-config-client-dev.yml如下:
针对config-client项目的bootstrap.yml配置,请求测试如下:
http://client-config.com:8201/config
http://client-config.com:8202/config
至此成功实现了客户端/microservicecloud-config-client-3355访问SpringCloud Config 3344从远程仓库GitHub上获取配置信息。
【4】Config配置实战
根据上面步骤,我们的Config服务端配置ok且测试通过,可以利用config+github进行配置修改并获取内容。
接下来做一个eureka服务和一个服务提供者dept访问的微服务,两个微服务的配置统一由GitHub获得。实现统一配置,分布式管理,完成多环境的变更。
① 在本地库创建microservicecloud-config-eureka-client.yml和microservicecloud-config-dept-client.yml并推送到GitHub
microservicecloud-config-eureka-client.yml内容如下:
spring:
profiles:
active:
- dev
---
server:
port: 7001
spring:
profiles: dev
application:
name: microservicecloud-config-eureka-client
eureka:
instance:
hostname: eureka7001.com # eureka服务端的实例名称
# prefer-ip-address: true
client:
register-with-eureka: false #false 表示不向注册中心注册自己
fetch-registry: false # false 表示自己端就是注册中心,我的职责就是维护服务实例,并不需要去检索服务
service-url:
defaultZone: http://${eureka.instance.hostname}:${server.port}/eureka/ #设置与Eureka Server交互的地址 查询服务和注册服务都需要依赖这个地址
---
server:
port: 7001
spring:
profiles: test
application:
name: microservicecloud-config-eureka-client
eureka:
instance:
hostname: eureka7001.com # eureka服务端的实例名称
# prefer-ip-address: true
client:
register-with-eureka: false #false 表示不向注册中心注册自己
fetch-registry: false # false 表示自己端就是注册中心,我的职责就是维护服务实例,并不需要去检索服务
service-url:
defaultZone: http://${eureka.instance.hostname}:${server.port}/eureka/ #设置与Eureka Server交互的地址 查询服务和注册服务都需要依赖这个地址
microservicecloud-config-dept-client.yml内容如下:
spring:
profiles:
active:
- dev
---
server:
port: 8001
mybatis:
config-location: classpath:mybatis/mybatis.cfg.xml # mybatis配置文件所在路径
type-aliases-package: com.web.springcloud.entities # 所有Entity别名类所在包
mapper-locations:
- classpath:mybatis/mapper/**/*.xml # mapper映射文件
spring:
profiles: dev
application:
name: microservicecloud-config-dept-client
datasource:
type: com.alibaba.druid.pool.DruidDataSource # 当前数据源操作类型
driver-class-name: com.mysql.jdbc.Driver # mysql驱动包
# driver-class-name: org.gjt.mm.mysql.Driver # mysql驱动包
url: jdbc:mysql://localhost:3306/clouddb01 # 数据库名称
username: root
password: 123456
initialSize: 5
minIdle: 5
maxActive: 20
maxWait: 60000
timeBetweenEvictionRunsMillis: 60000
minEvictableIdleTimeMillis: 300000
validationQuery: SELECT 1 FROM DUAL
testWhileIdle: true
testOnBorrow: true
testOnReturn: false
poolPreparedStatements: true
#配置监控统计拦截的filters,去掉后监控界面sql无法统计,'wall'用于防火墙
filters: stat,wall,log4j
maxPoolPreparedStatementPerConnectionSize: 20
useGlobalDataSourceStat: true
connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=500
eureka:
client: #客户端注册进eureka服务列表内
service-url:
defaultZone: http://localhost:7001/eureka/
instance:
instance-id: microservicecloud-dept8001 # 自定义服务实例Id
prefer-ip-address: true #访问路径可以显示IP地址
# http://192.168.2.100:8001/info优化显示
info:
app.name: web-microservicecloud-config-dept-config01
company.name: www.web.com
build.artifactId: $project.artifactId$
build.version: $project.version$
---
server:
port: 8001
mybatis:
config-location: classpath:mybatis/mybatis.cfg.xml # mybatis配置文件所在路径
type-aliases-package: com.web.springcloud.entities # 所有Entity别名类所在包
mapper-locations:
- classpath:mybatis/mapper/**/*.xml # mapper映射文件
spring:
profiles: test
application:
name: microservicecloud-config-dept-client
datasource:
type: com.alibaba.druid.pool.DruidDataSource # 当前数据源操作类型
driver-class-name: com.mysql.jdbc.Driver # mysql驱动包
# driver-class-name: org.gjt.mm.mysql.Driver # mysql驱动包
url: jdbc:mysql://localhost:3306/clouddb02 # 数据库名称
username: root
password: 123456
initialSize: 5
minIdle: 5
maxActive: 20
maxWait: 60000
timeBetweenEvictionRunsMillis: 60000
minEvictableIdleTimeMillis: 300000
validationQuery: SELECT 1 FROM DUAL
testWhileIdle: true
testOnBorrow: true
testOnReturn: false
poolPreparedStatements: true
#配置监控统计拦截的filters,去掉后监控界面sql无法统计,'wall'用于防火墙
filters: stat,wall,log4j
maxPoolPreparedStatementPerConnectionSize: 20
useGlobalDataSourceStat: true
connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=500
eureka:
client: #客户端注册进eureka服务列表内
service-url:
defaultZone: http://localhost:7001/eureka/
instance:
instance-id: microservicecloud-dept8001 # 自定义服务实例Id
prefer-ip-address: true #访问路径可以显示IP地址
# http://192.168.2.100:8001/info优化显示
info:
app.name: web-microservicecloud-config-dept-config02
company.name: www.web.com
build.artifactId: $project.artifactId$
build.version: $project.version$
文件编码格式记得保存为UTF-8。
② 参考/microservicecloud-eureka-7001新建Module /microservicecloud-config-eureka-client-7001
application.yml文件如下:
spring:
application:
name: microservicecloud-config-eureka-client
bootstrap.yml文件如下:
spring:
cloud:
config:
name: microservicecloud-config-eureka-client #需要从github上读取的资源名称,注意没有yml后缀名
profile: dev
label: master
uri: http://config-3344.com:3344 #SpringCloudConfig获取的服务地址
pom文件如下:
<dependencies>
<!-- SpringCloudConfig配置 -->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-config</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-eureka-server</artifactId>
</dependency>
<!-- 热部署插件 -->
<dependency>
<groupId>org.springframework</groupId>
<artifactId>springloaded</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-devtools</artifactId>
</dependency>
</dependencies>
主启动类如下:
/**
* EurekaServer服务器端启动类,接受其它微服务注册进来
*
*/
@SpringBootApplication
@EnableEurekaServer
public class Config_Git_EurekaServerApplication
{
public static void main(String[] args)
{
SpringApplication.run(Config_Git_EurekaServerApplication.class, args);
}
}
③ 参考/microservicecloud-provider-dept-8001新建Module /microservicecloud-config-provider-dept-client-8001
application.yml文件如下:
spring:
application:
name: microservicecloud-config-dept-client
bootstrap.yml文件如下:
spring:
cloud:
config:
name: microservicecloud-config-dept-client #需要从github上读取的资源名称,注意没有yml后缀名
#profile配置是什么就取什么配置dev or test
profile: dev
#profile: test
label: master
uri: http://config-3344.com:3344 #SpringCloudConfig获取的服务地址
pom文件如下:
<dependencies>
<!-- 引入自己定义的api通用包,可以使用Dept部门Entity -->
<dependency>
<groupId>com.web.springcloud</groupId>
<artifactId>microservicecloud-api</artifactId>
<version>${project.version}</version>
</dependency>
<!-- actuator监控信息完善 -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<!-- 将微服务provider侧注册进eureka -->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-eureka</artifactId>
</dependency>
<!-- spring cloud config-client -->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-config</artifactId>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
</dependency>
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid</artifactId>
</dependency>
<dependency>
<groupId>ch.qos.logback</groupId>
<artifactId>logback-core</artifactId>
</dependency>
<dependency>
<groupId>org.mybatis.spring.boot</groupId>
<artifactId>mybatis-spring-boot-starter</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-jetty</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
</dependency>
<!-- 修改后立即生效,热部署 -->
<dependency>
<groupId>org.springframework</groupId>
<artifactId>springloaded</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-devtools</artifactId>
</dependency>
</dependencies>
④ 测试eureka7001
首先启动/microservicecloud-config-3344,然后启动/microservicecloud-config-eureka-client-7001,访问http://eureka7001.com:7001/。
如下所示,表明eureka-client-7001通过microservicecloud-config-3344从远程GitHub上获取到了配置信息并正常启动:
⑤ 测试/microservicecloud-config-provider-dept-client-8001
其④的基础上启动/microservicecloud-config-provider-dept-client-8001。
访问http://eureka7001.com:7001/如下所示:
默认spring.profiles=dev,连接的数据库为clouddb01。访问http://localhost:8001/dept/list如下:
将config-provider-dept-client项目的bootstrap.yml文件中 profile切换为test,再次测试如下:
可以看到,此时连接的数据库为clouddb02,客户端实现了动态配置切换!!
⑥ 客户端动态配置切换正规玩法
正规玩法应该是运维工程师本地修改了配置(如切换了数据库),然后上传到远程GitHub。客户端项目在不做修改的情况下,自动使用新的配置新的数据库!!
本地修改microservicecloud-config-dept-client.yml,将clouddb01切换为clouddb03
提交到本地库并推送到远程GitHub上
发送POST请求http://localhost:8001/refresh进行配置刷新
【5】Git配置修改与客户端获取最新配置
① Full authentication is required to access this resource
解决办法:
#忽略权限拦截
management:
security:
enabled: false
或者:
security:
basic:
enabled: false
pom中有监控依赖:
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
② refresh与restart
refresh
post方式执行http://localhost:port/refresh 会刷新env中的配置restart
如果配置信息已经注入到bean中,由于bean是单例的,不会去加载修改后的配置
需要通过post方式去执行http://localhost:prot/restart。
添加如下设置:
endpoints:
restart:
enabled: true
③ RefreshScope
该注解源码如下:
/**
* Convenience annotation to put a <code>@Bean</code> definition in
* {@link org.springframework.cloud.context.scope.refresh.RefreshScope refresh scope}.
* Beans annotated this way can be refreshed at runtime and any components that are using
* them will get a new instance on the next method call, fully initialized and injected
* with all dependencies.
*
* @author Dave Syer
*
*/
@Target({ ElementType.TYPE, ElementType.METHOD })
@Retention(RetentionPolicy.RUNTIME)
@Scope("refresh")
@Documented
public @interface RefreshScope {
/**
* @see Scope#proxyMode()
*/
ScopedProxyMode proxyMode() default ScopedProxyMode.TARGET_CLASS;
}
需要额外注意的是,该注解并不能很好的实现你想要的强大刷新功能!
④ 消息总线实现全节点的半自动刷新
之所以称之为半自动,是因为你需要手动发POST请求。
⑤ GitHub的Webhooks
综合第四步和第五步,实现真正的自动刷新!!
waiting…
上一篇: 三种实现PHP伪静态页面的方法
下一篇: SpringCloud核心组件-5大神兽
推荐阅读
-
spring cloud 初步搭建1-1(eureka配置)
-
spring cloud Eureka 配置信息
-
Spring Cloud Config 配置中心实践过程中,你需要了解这些细节!
-
详解Spring Cloud Eureka多网卡配置总结
-
详解基于Spring Cloud几行配置完成单点登录开发
-
Spring Cloud 分布式链路跟踪 Sleuth + Zipkin + Elasticsearch【Finchley 版】
-
Springcloud 2.x 版本 分布式配置中心
-
Spring Cloud Alibaba | Nacos服务中心初探
-
2.1spring cloud 环境配置
-
Spring Cloud Alibaba | Nacos配置管理