SAAS软件架构——数据层架构实践
程序员文章站
2024-03-24 10:20:22
...
1. 多租户数据架构三种模式:
①独立数据库
②共享数据库、独立 Schema
③共享数据库、共享 Schema、共享数据表
由于本篇属于实践篇,三种模式的优缺点就不多赘述,需要详细了解的小伙伴可以戳(SaaS多租户数据隔离的三种方案)。
本篇选用的是模式②,也是企业级SAAS常规的选择。
2. 为什么选择共享数据库实例,独立Schema
- 租户间数据彼此独立,应用程序的实现比较简单。
- 充分利用系统资源,可扩展性比较好。
缺点:备份恢复稍微有点复杂。
3. 使用Spring + Mybatis实现动态数据源切换
应用需要解决的核心问题就是租户识别,独立Schema架构在应用层表现为每一个租户都有一个自己的数据源,因此需要首先解决动态数据源切换问题。
3.1 AbstractRoutingDataSource
该类是Spring提供的动态路由数据源的抽象类,通过继承重写该类的determineCurrentLookupKey方法可以实现数据源的动态切换。
通过分析AbstractRoutingDataSource如下源码可以知道,首先通过determineTargetDataSource来确定当前数据的key(lookupKey),然后从resolvedDataSources中获取数据源对象,所以重写determineCurrentLookupKey返回当前数据源key即可以实现数据源动态切换。
protected DataSource determineTargetDataSource() {
Assert.notNull(this.resolvedDataSources, "DataSource router not initialized"); Object lookupKey = determineCurrentLookupKey();
DataSource dataSource = this.resolvedDataSources.get(lookupKey);
if (dataSource == null && (this.lenientFallback || lookupKey == null)) {
dataSource = this.resolvedDefaultDataSource;
}
if (dataSource == null) {
throw new IllegalStateException("Cannot determine target DataSource for lookup key [" + lookupKey + "]");
}
return dataSource;
}
protected abstract Object determineCurrentLookupKey();
3.2 实现DynamicDataSource
import com.alibaba.druid.pool.DruidDataSource;
import lombok.Data;
import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;
import java.util.HashMap;
import java.util.Map;
public class DynamicDataSource extends AbstractRoutingDataSource {
//因为AbstractRoutingDataSource的targetDataSources属性没有提供get方法,为了动态维护数据源,需要_targetDataSources
//然后通过setTargetDataSources方法更新targetDataSources
//再调用afterPropertiesSet方法将targetDataSources更新到resolvedDataSources中
private Map<Object, Object> _targetDataSources = new HashMap<Object,Object>();
private static ThreadLocal<DataSourceEntity> dataSourceHolder = new ThreadLocal<>();
private static String MYSQL_JDBC_URL = "jdbc:mysql://%s:3306/%s?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true";
public DynamicDataSource(){
//默认数据源可以在这里初始化,或者可以在xml配置文件中初始化,不然编译无法通过(因为我们配置的事务管理器要依赖数据源)
super.setDefaultTargetDataSource(new DruidDataSource());
super.setTargetDataSources(_targetDataSources);
}
@Override
protected Object determineCurrentLookupKey() {
DataSourceEntity dataSourceEntity = dataSourceHolder.get();
String lookupKey = dataSourceEntity.getTenantId();//将tenantId作为key
if (!_targetDataSources.containsKey(lookupKey)){
addDataSource(dataSourceEntity);
}
return lookupKey;
}
/**
* 新增数据源
* @param dataSourceEntity
*/
private void addDataSource(DataSourceEntity dataSourceEntity) {
DruidDataSource dataSource = new DruidDataSource();
dataSource.setUrl(String.format(MYSQL_JDBC_URL,dataSourceEntity.getSchemaIp(),dataSourceEntity.getSchemaName()));
dataSource.setUsername(dataSourceEntity.getUsername());
dataSource.setPassword(dataSourceEntity.getPassword());
//......其他参数配置
_targetDataSources.put(dataSourceEntity.getTalentId(),dataSource);
//更新targetDataSources
setTargetDataSources(_targetDataSources);
//更新resolvedDataSources
afterPropertiesSet();
}
/**
* 设置当前线程数据源信息
* 如果在请求中有异步任务,并且需要查询数据库,那么
* @param dataSourceEntity
*/
public static void setDataSource(DataSourceEntity dataSourceEntity){
dataSourceHolder.set(dataSourceEntity);
}
@Data //lombok的注解(可以自动生成getter与setter方法)
public class DataSourceEntity{
private String tenantId;//租户id
private String schemaIp;//租户schemaIp
private String schemaName;//schemaName
private String username;//用户名
private String password;//密码
}
}
XML配置如下:
<bean id="dynamicDataSource" class="com.sws.gss.db.DynamicDataSource" />
<!-- 配置事务管理器 -->
<bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
<property name="dataSource" ref="dynamicDataSource" />
</bean>
<!-- mybatis相关配置 -->
<bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">
<property name="dataSource" ref="dynamicDataSource" />
<!-- 自动扫描entity目录, 省掉Configuration.xml里的手工配置 -->
<property name="mapperLocations" value="classpath:mapping/*.xml" />
<property name="configLocation" value="classpath:/config.xml" />
</bean>
<bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">
<property name="basePackage" value="com.sws.gss.mapper" />
<property name="sqlSessionFactoryBeanName" value="sqlSessionFactory" />
</bean>
<! -------其他相关配置 -------->
4. 新租户的创建
新租户创建有两种方案可以选择:
①预先创建多个租户空间,设置租户空间剩余数预警,租户注册进来直接入驻便可。
②实时创建租户空间,linux下可以通过执行shell脚本来创建,缺点是创建时耗时较长。
5. 表结构同步
每个租户都有自己的表结构,如果想要实现表结构的同步,传统的方式肯定是不可行的,我们可以通过运行sql文件的方式来同步表结构,外层包一个for循环遍历所有租户的数据源信息。可以使用ibatis提供的ScriptRunner来完成对sql文件的执行。核心代码如下:
public static void runSqlScript(String jdbcUrl,String username,String pass){
Connection connection = null;
try{
connection = DriverManager.getConnection(jdbcUrl,username,pass);
Class.forName("com.mysql.jdbc.Driver");
ScriptRunner runner = new ScriptRunner(connection);
runner.setAutoCommit(false);
runner.setSendFullScript(true);
runner.runScript( Resources.getResourceAsReader("upgrade_sql.sql"));
}catch (Exception ex){
}finally {
try {
if (connection != null){
connection.close();
}
} catch (SQLException e) {
e.printStackTrace();
}
}
}
注:jdbcUrl后面需要带allowMultiQueries=true参数,以支持多行执行
上一篇: 接口测试
推荐阅读
-
SAAS软件架构——数据层架构实践
-
NoSQL架构实践(一)——以NoSQL为辅 博客分类: 数据存储
-
阿里巴巴大数据实践之数据建模 大数据数据库架构
-
大数据在银行业的应用与实践 博客分类: 综合 大数据数据架构BI商业智能银行
-
JAVAWEB练习——后台商品管理系统,技术点提取(三层架构,数据库的内容显示到前端表格中,增删等操作)
-
应用系统架构设计 博客分类: 软件工程 设计模式应用服务器UI数据结构ASP.net
-
三层架构(DAL层Data Access Layer数据库访问层)
-
HRMS(人力资源管理系统)-SaaS架构设计-概要设计实践
-
SaaS(软件即服务) 的架构设计,是什么样子的
-
架构设计:数据访问层简述