欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

java程序员5年后的技术思考(2018) 博客分类: java  

程序员文章站 2024-02-13 12:47:46
...
5年前,做的项目只在单机上运行,数据量不大,3大框架+一个数据库是标配

5年后,项目集群部署,数据量大,编程中要考虑分布式锁,分库,缓存等。考虑项目时,需要加入新的元素,势必也会引入新的问题


现在开发中,哪些想法是标配呢?




#分布式锁

锁存在的意义是控制对共享资源的访问,共享资源主要有类变量、数据库、硬件资源等。现在编程中,类变量已经用的很少了

单机运行时,javaapi可以实现锁(允许同一时间只有一个方法在执行)

集群部署javaapi就无能为力,毕竟javaapi在不同机器或jvm上运行,两者没有联系

至于分布式锁的场景,在编写的带有关键词synchronized的代码,严格意义上,基本都需要由分布式锁替代.在一般的大企业的应用中,基本都是集群部署。

基于分布式锁有3种实现方式:
1.基于数据库的锁机制
1.1 通过插入一条满足唯一性的记录实现分布式锁
1.2 通过数据库中预设的记录实现排他锁(for update-行级锁,前提是过滤的字段有唯一性索引,要不然就不能叫行级锁了)
springquartz就是通过这种方法实现的

这个是数据库悲观锁,其实还有一种乐观锁。比较典型的例子是svn提交,都可以提交,失败就回滚


2.基于缓存redis的锁机制

做的业务场景比较简单,所以很少用到redis锁,实在想不出分布式锁主要用在哪些地方。只能说贫(业)穷(务)限制了我对锁的想象力

锁->资源->数据库:什么数据库资源只能同时一个人访问,可能在秒杀活动能遇到(同一时间,万级别的人抢几件商品)

加锁:
public class RedisTool {
 
    private static final String LOCK_SUCCESS = "OK";
    private static final String SET_IF_NOT_EXIST = "NX";
    private static final String SET_WITH_EXPIRE_TIME = "PX";
 
    /**
     * 尝试获取分布式锁
     * @param jedis Redis客户端
     * @param lockKey 锁
     * @param requestId 请求标识
     * @param expireTime 超期时间
     * @return 是否获取成功
     */
    public static boolean tryGetDistributedLock(Jedis jedis, String lockKey, String requestId, int expireTime) {
 
        String result = jedis.set(lockKey, requestId, SET_IF_NOT_EXIST, SET_WITH_EXPIRE_TIME, expireTime);
 
        if (LOCK_SUCCESS.equals(result)) {
            return true;
        }
        return false;
 
    }
 
}


解锁:
public class RedisTool {
 
    private static final Long RELEASE_SUCCESS = 1L;
 
    /**
     * 释放分布式锁
     * @param jedis Redis客户端
     * @param lockKey 锁
     * @param requestId 请求标识
     * @return 是否释放成功
     */
    public static boolean releaseDistributedLock(Jedis jedis, String lockKey, String requestId) {
 
        String script = "if redis.call('get', KEYS[1]) == ARGV[1] then return redis.call('del', KEYS[1]) else return 0 end";
        Object result = jedis.eval(script, Collections.singletonList(lockKey), Collections.singletonList(requestId));
 
        if (RELEASE_SUCCESS.equals(result)) {
            return true;
        }
        return false;
 
    }
 
}


引用:
Redis 分布式锁的正确实现方式( Java 版 )
http://www.importnew.com/27477.html


3.基于zookeeper的锁机制



数据库锁:sql

redis锁:jedis api+redis服务器(原理同数据库分布式锁)

zookeeper锁:curator api+zookeeper服务器





#缓存
对于一些简单的应用或场景或业务,直接查询数据库就能解决问题。再复杂一点也是用到第三方缓存组件

对于一些比较复杂的场景或业务,就要借助缓存服务器解决响应慢的问题

现在比较火的就是redis

在一般的企业级应用中,也就是用hashmap或list这样的类变量做为简单的缓存。就算是负载均衡部署,几个应用都从数据库中加载数据,只要数据不变也不会有多大问题。但是对于大型分布式应用,对数据的一致性要求比较高,这时候第三方缓存服务器就有用武之地了。

对于系统中,通过类变量hashmap或list来存储缓存数据的.用户量增加,分布式部署时,都可以通过redis替换

redis可用于解决tomcat启动过程中的session丢失问题

以获取最近25条评论为例
@Test
	public void test0() {
		String key = "latest.comments";
		// 准备初始化数据
		ListOperations<Serializable, Object> listOp = redisTemplate.opsForList();

		for (int i = 1; i <= 100; i++) {
			listOp.leftPush(key, i);
		}

		// 最近的25条记录
		listOp.trim(key, 0, 25);
		
		// 查询最近10条记录
		int startPage = 3;
		int nums = 10;
		List<Object> list1 = listOp.range(key, (startPage - 1)*nums, startPage*nums -1);
		if (null != list1 && list1.size() == nums) { // 全部在缓存中
			for (int i = 0; i < list1.size(); i++) {
				System.out.println(list1.get(i));
			}
		} else {
			System.out.println("查询数据库获取历史记录");
		}
		
	}






#对外接口设计
对于一个有价(liu)值(liang)的业务,不仅要能提供直接浏览器访问,更需要提供可供其他系统调用的接口。怎么设计这些接口呢

2个层面考虑:
1.技术选型
http,hessian,netty,mq

2.流量控制





#配置文件
项目集群或分布式部署,配置文件中参数太多,重新部署太耗费时间或直接在运行项目中修改,地方太多。

更明确的方法是有一个配置管理系统

在spring项目中,通过覆盖属性配置类,启动应用时,调用配置系统设置参数。





#单点登录





#分库分表机制

可以从2个方面考虑:
1.DB集群配置
2.代码实现
spring环境中,多数据源的核心类是AbstractRoutingDataSource.

import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;

public class DynamicRoutingDataSource extends AbstractRoutingDataSource {

	@Override
	protected Object determineCurrentLookupKey() {
		return DbRouterLocalContext.getDbKey();
	}

}



获取当前环境数据源
public class DbRouterLocalContext {
	private static final ThreadLocal<String> dbKeyLocal = new ThreadLocal<String>();
	
	private static final ThreadLocal<String> tblKeyLocal = new ThreadLocal<String>();
	
	public static void setDbKey (String dbIdx) {
		dbKeyLocal.set(dbIdx);
	}
	
	public static String getDbKey() {
		return dbKeyLocal.get();
	}
	
	public static void setTblKey (String tblIdx) {
		tblKeyLocal.set(tblIdx);
	}
	
	public static String getTblKey() {
		return tblKeyLocal.get();
	}
}

当前环境使用数据库的配置,一般在dao层设置.根据传入的id或其他值设置规则,应该传入哪个数据库。此时将涉及spring aop的编写

基本思路:
定义切面aspect,定义连接点pointcut(结合注解)



xml中配置:
数据库操作模板中,设置dyDataSource
<bean id="dyDataSource" class="com.byron.sharding.router.DynamicRoutingDataSource">
		<property name="targetDataSources">
	        <map>
	             <entry key="db1" value-ref="dataSource01" /> 
	             <entry key="db2" value-ref="dataSource02" /> 
	             <entry key="db3" value-ref="dataSource03" /> 
	        </map>
    	</property>
    	<property name="defaultTargetDataSource" ref="dataSource01" />
	</bean>



参考:
http://flysoloing.github.io/2015/09/20/spring-database-sharding-practice/




#文件服务器








不要脱离业务学习技术,学习新技术同时学习新业务场景,即使这些场景你用不到