欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

SAAS软件架构——数据层架构实践

程序员文章站 2024-03-24 10:20:22
...

1. 多租户数据架构三种模式:

①独立数据库
②共享数据库、独立 Schema
③共享数据库、共享 Schema、共享数据表
由于本篇属于实践篇,三种模式的优缺点就不多赘述,需要详细了解的小伙伴可以戳(SaaS多租户数据隔离的三种方案)。
本篇选用的是模式②,也是企业级SAAS常规的选择。

2. 为什么选择共享数据库实例,独立Schema

  1. 租户间数据彼此独立,应用程序的实现比较简单。
  2. 充分利用系统资源,可扩展性比较好。
    缺点:备份恢复稍微有点复杂。

3. 使用Spring + Mybatis实现动态数据源切换

应用需要解决的核心问题就是租户识别,独立Schema架构在应用层表现为每一个租户都有一个自己的数据源,因此需要首先解决动态数据源切换问题。

3.1 AbstractRoutingDataSource

该类是Spring提供的动态路由数据源的抽象类,通过继承重写该类的determineCurrentLookupKey方法可以实现数据源的动态切换。
通过分析AbstractRoutingDataSource如下源码可以知道,首先通过determineTargetDataSource来确定当前数据的key(lookupKey),然后从resolvedDataSources中获取数据源对象,所以重写determineCurrentLookupKey返回当前数据源key即可以实现数据源动态切换。

protected DataSource determineTargetDataSource() {
    Assert.notNull(this.resolvedDataSources, "DataSource router not initialized");  Object lookupKey = determineCurrentLookupKey();
    DataSource dataSource = this.resolvedDataSources.get(lookupKey);
    if (dataSource == null && (this.lenientFallback || lookupKey == null)) {
        dataSource = this.resolvedDefaultDataSource;
    }
    if (dataSource == null) {
        throw new IllegalStateException("Cannot determine target DataSource for lookup key [" + lookupKey + "]");
    }
    return dataSource;
}
protected abstract Object determineCurrentLookupKey();
3.2 实现DynamicDataSource
import com.alibaba.druid.pool.DruidDataSource;
import lombok.Data;
import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;
import java.util.HashMap;
import java.util.Map;

public class DynamicDataSource extends AbstractRoutingDataSource {

    //因为AbstractRoutingDataSource的targetDataSources属性没有提供get方法,为了动态维护数据源,需要_targetDataSources
    //然后通过setTargetDataSources方法更新targetDataSources
    //再调用afterPropertiesSet方法将targetDataSources更新到resolvedDataSources中
    private Map<Object, Object> _targetDataSources = new HashMap<Object,Object>();

    private static ThreadLocal<DataSourceEntity> dataSourceHolder = new ThreadLocal<>();

    private static String MYSQL_JDBC_URL = "jdbc:mysql://%s:3306/%s?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true";

    public DynamicDataSource(){
        //默认数据源可以在这里初始化,或者可以在xml配置文件中初始化,不然编译无法通过(因为我们配置的事务管理器要依赖数据源)
        super.setDefaultTargetDataSource(new DruidDataSource());
        super.setTargetDataSources(_targetDataSources);
    }

    @Override
    protected Object determineCurrentLookupKey() {
        DataSourceEntity dataSourceEntity = dataSourceHolder.get();
        String lookupKey = dataSourceEntity.getTenantId();//将tenantId作为key
        if (!_targetDataSources.containsKey(lookupKey)){
            addDataSource(dataSourceEntity);
        }
        return lookupKey;
    }

    /**
     * 新增数据源
     * @param dataSourceEntity
     */
    private void addDataSource(DataSourceEntity dataSourceEntity) {
        DruidDataSource dataSource = new DruidDataSource();

        dataSource.setUrl(String.format(MYSQL_JDBC_URL,dataSourceEntity.getSchemaIp(),dataSourceEntity.getSchemaName()));
        dataSource.setUsername(dataSourceEntity.getUsername());
        dataSource.setPassword(dataSourceEntity.getPassword());
        //......其他参数配置
        _targetDataSources.put(dataSourceEntity.getTalentId(),dataSource);
        //更新targetDataSources
        setTargetDataSources(_targetDataSources);
        //更新resolvedDataSources
        afterPropertiesSet();
    }

    /**
     * 设置当前线程数据源信息
     *  如果在请求中有异步任务,并且需要查询数据库,那么
     * @param dataSourceEntity
     */
    public static void setDataSource(DataSourceEntity dataSourceEntity){
        dataSourceHolder.set(dataSourceEntity);
    }
  
    @Data        //lombok的注解(可以自动生成getter与setter方法)
    public class DataSourceEntity{
        private String tenantId;//租户id
        private String schemaIp;//租户schemaIp
        private String schemaName;//schemaName
        private String username;//用户名
        private String password;//密码
    }
}

XML配置如下:

<bean id="dynamicDataSource" class="com.sws.gss.db.DynamicDataSource" />
<!-- 配置事务管理器 -->
<bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
    <property name="dataSource" ref="dynamicDataSource" />
</bean>

<!-- mybatis相关配置 -->
<bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">          
        <property name="dataSource" ref="dynamicDataSource" />
    <!-- 自动扫描entity目录, 省掉Configuration.xml里的手工配置 -->
    <property name="mapperLocations" value="classpath:mapping/*.xml" />
    <property name="configLocation" value="classpath:/config.xml" />
</bean>
<bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">
    <property name="basePackage" value="com.sws.gss.mapper" />
    <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory" />
</bean>
<! -------其他相关配置 -------->

4. 新租户的创建

新租户创建有两种方案可以选择:
①预先创建多个租户空间,设置租户空间剩余数预警,租户注册进来直接入驻便可。
②实时创建租户空间,linux下可以通过执行shell脚本来创建,缺点是创建时耗时较长。

5. 表结构同步

每个租户都有自己的表结构,如果想要实现表结构的同步,传统的方式肯定是不可行的,我们可以通过运行sql文件的方式来同步表结构,外层包一个for循环遍历所有租户的数据源信息。可以使用ibatis提供的ScriptRunner来完成对sql文件的执行。核心代码如下:

    public static void runSqlScript(String jdbcUrl,String username,String pass){
        Connection connection = null;
        try{
            connection = DriverManager.getConnection(jdbcUrl,username,pass);
            Class.forName("com.mysql.jdbc.Driver");
            ScriptRunner runner = new ScriptRunner(connection);
            runner.setAutoCommit(false);
            runner.setSendFullScript(true);
            runner.runScript( Resources.getResourceAsReader("upgrade_sql.sql"));
        }catch (Exception ex){
        }finally {
            try {
                if (connection != null){
                    connection.close();
                }
            } catch (SQLException e) {
                e.printStackTrace();
            }
        }
    }
注:jdbcUrl后面需要带allowMultiQueries=true参数,以支持多行执行

上一篇: 接口测试

下一篇: