AppBoxFuture(二): Say goodbye to sql!

  信息管理类应用系统离不开关系数据存储，目前大家基本都使用的是传统的数据库如mysql、postgres等。作者从事信息化建设十多年，个人认为传统的数据库存在以下的问题：

扩展问题：

  系统数据的不断增长是个绕不过去的坎，传统数据库的存储结构一般都基于b+tree，单表数据在一定范围内没有问题，但数据量增大到一定程度后性能便会不断下降，只能通过分库分表的方式或升级硬件来解决，随之而来的是提高了应用软件的开发难度及相应的硬件成本。作者曾建设过一个北斗监控平台，其中单表记录10多亿，经过优化虽能实行秒级查询一天轨迹，但备份及定期删除历史数据非常慢且影响在线操作，后来只能手工实现了一套文件存储来解决（那个时代还没有nosql)。

可用性问题：

  传统数据库只能使用主从的方式来保障可用性，运维较复杂。作者曾经碰到过一次闪电导致机房（等保三级）内一台数据库用san存储的电源背板烧坏，虽这台存储冗余电源，raid10统统没用，导致系统停用两天。

开发人员问题：

  由于开发人员对sql的熟悉程度不同，经常能碰到写的很烂的sql语句。另外如果使用orm，则orm->sql字符串->网络传输->sql引擎分析->执行->网络传输->orm存在较大性能损耗。作者的一个朋友在一家公司做运维，他说他公司的开发只管程序能否跑通，从不管sql优化问题，导致系统很慢，出了问题全丢给运维处理。

  由于存在上述问题，作者一直在寻找新的适合于信息管理类系统的存储技术，既能简单的随需扩展，又能保障高可用高性能，还能兼顾大数据存储与分析，最好建设与运维的成本尽可能的低（作者接触的都是中小微企业）。因此先后学习了互联网企业常用的newsql（tidb, cockroach）、nosql(cassandra, kudu, es等）技术，希望能将这些技术应用于传统的信息管理系统的建设。但随着进一步的深入了解，这些技术都存在这样或那样的问题，比如或架构复杂问题，或事务一致性问题，或性能问题（如并发扣减库存）。

  在学习了上述技术的原理后，作者就想能否重新实现一套适合于上述要求的分布式数据库，直接集成至应用框架内，从而可以：

简化应用系统架构

整个应用系统由一个或多个节点组成，每个节点负责处理用户请求及存储，随需扩展节点。

表分区

大表支持定义为按分区键分区存储（类似于cassandra的partionkey），同时支持分区索引及全局索引，以避免热点问题，另外删除整个分区对性能的影响较小。

强一致性事务

基于raft及2pc支持分布式事务（类似于tidb, cockroach)。

简单的api

支持框架的实体模型与存储结构的直接映射，避免sql字符串转换与分析损耗，另由于直接进程内访问存储引擎，可减少网络通信开销。
举个简单的保存例子：

var pos = new entities.vehicleposition(vehicleid); //车辆位置，根据id分区
pos.lat = 32.22223;
pos.lng = 100.2123;
await entitystore.saveasync(pos);

再举个简单的表扫描查询例子，支持其他查询方式如索引扫描，聚合扫描等：

var q = new tablescan<entities.vehicleposition>();
q.partions(p => p.vehicleid == vehicleid); //指定分区条件
q.filter(t => t.createtime >= startday && t.createtime < endday); //指定分区内记录过滤条件
var list = await q.tolistasync(t => new {t.id, t.lat, t.lng}); //选择指定列

小tip:

1. 在实现表扫描及聚合扫描时，作者利用c#的emit直接生成条件过滤代码，类似于pg10 llvm生成代码。
2. 关于join将只支持leftjoin，复杂join只能在服务代码内利用c#的linq处理。
3. 目前事务隔离级别只支持readcommitted及seializable，但纯读支持本地读、线性一致性读、事务读。

  目前作者还在不断踩坑与尝试实现上述目标，当然首先要感谢上述所提的那些技术先驱们，在此希望有志同道合者来共同完成它。已实现的技术原型参考前篇
appboxfuture(一): hello future!，下篇“分而治之”将介绍框架如何在较低的硬件下保障高性能。