CRUD生成器DBuilder设计与实现,crud生成器dbuilder_PHP教程
CRUD生成器DBuilder设计与实现,crud生成器dbuilder
第一章 引言
1.1 研究背景及意义
计算机软件技术发展至今,数据库已成为最广泛使用的存储格式化数据的媒介,数据库程序开发技术也日趋完善,大型的ORM框架使得数据库程序开发变得简单,并已成为操作关系型数据库的主流方式。数据库程序主要代码为CRUD(create, retrieve, update, delete)代码,随着ORM框架功能的完善,编写CRUD代码也衍生其固定的流程,对不同数据库表进行操作的CRUD代码也存在高度可重用性。当前编写重复性的CRUD代码成为开发人员的常态,不仅严重降低其积极性,而且损失其开发效率,所以迫切需要一种能够快速生成CRUD代码的产品,以期减少这方面的工作,提高开发效率。
1.2 研究现状
目前国外已经诞生一些解决上述需求的、具有很高可用性的CRUD生成器产品:CrudKit,CRUD-Admin-Generator,Dadabik,GroceryCrud,SximoBuilder。这些产品各有其特点,但也有一共同点:都是基于PHP进行开发(这在一定程度上决定于PHP语法的灵活性及其解析性)。SximoBuilder是其中的典型代表,尽管SximoBuilder设计独特、可用性高、流行度高,但也存在如下不足之处:
- 不支持自定义表单控件;
- 不支持多数据库;
- 验证规则不完善,不支持异步验证;
- 代码冗余度极大。
然而对于当今日益复杂的web程序,上述几点是开发过程必须考虑的问题,因此,开发一款既具有SximoBuilder现有功能、又完善其不足之处的CRUD生成器产品,势在必行。
1.3 研究内容
基于国内外CRUD生成器研究现状,笔者开发一款名为DBuilder(D为DataAdministrator的简写)的CRUD 生成器。
DBuilder借鉴SximoBuilder的模块为代码单元、由模板生成代码的思想,但拥有与SximoBuilder完全不同的代码生成器逻辑。它在实现SximoBuilder核心的代码生成、通用CRUD两种功能的基础上,通过重写代码逻辑完善其不足之处:代码冗余度大、缺少前端验证。
第二章 DBuilder系统分析
DBuilder面向的主要用户人群为web后台管理员以及开发人员,因此其系统分析过程,将更多的站在web后台管理员及开发人员的角度考虑问题。
2.1 需求分析
项目需要实现如下几点核心功能。
1) 数据源管理
用户可以在界面为项目配置多个数据源。配置的数据源信息包括数据库类型、地址、数据库名、端口、用户名、密码等信息。支持对数据源的增删改查,保证对数据源的增删改查不轻易造成系统问题。
2) 代码生成
此功能是DBuilder的核心要实现的功能,用户在选择数据源和数据表之后,能够对数据库表的字段做简单配置,配置包括Form表单配置、List(Table)列表配置、关系配置、全局属性配置。配置完成后DBuilder要能生成对数据库表的CRUD的MVC代码,即需要实现CRUD可用功能,但不用编写代码。
3) 数据库表CRUD
生成的代码必须支持数据表记录的新建、删除、更新、查询操作。
4) 菜单管理
DBuilder要能将生成的代码跟一个菜单项绑定,让用户点击菜单项之后,就可以使用DBuilder生成的CRUD功能。此菜单必须包括后台菜单,前台菜单不是必须的。
5) 用户管理
用户要实现多种角色。必须能够以邮箱为用户唯一标识,并作为登录参数。未来还要实现支持QQ、微信、新浪微博基于OAuth2.0的互联登录。
6) 权限管理
DBuilder要能实现不同用户角色对不同CRUD代码的执行、访问权限做到三维的可配置。譬如,现有一个文章管理的CRUD功能模块,用户角色分为系统管理员(SuperAdmin),管理员(Admin),访客(Guest),那么DBuilder要能实现如下的三维权限配置,且将之作为所有Module的默认权限。
表2-1 Module权限配置表
用户组与权限 |
查看 |
编辑 |
删除 |
导出 |
SuperAdmin |
√ |
√ |
√ |
√ |
Admin |
√ |
√ |
√ |
|
Guest |
√ |
|
|
|
7) 站点参数配置
DBuilder作为一个网站的web后台程序,对站点的全局参数配置也是必须的,这些参数包括网站名字、关键词、联系地址、友情链接等等。
8) 操作日志
DBuilder要记录用户的操作信息,包括访问的页面、执行的CRUD类型、时间等等信息。日志的记录形式支持数据库和文件两种方式。
9) 多语言支持
DBuilder要支持多国语言的切换。至少应该支持中文和英语两种语言,且以中文为默认。
10) 多数据库类型支持
DBuilder要支持多种类型数据库,暂时主要支持关系型数据库,包括mysql,MS SqlServer,oracle,PostGreSQL等等。
2.2 数据原型分析
按照需求提取可得实体有:用户、用户组、数据源、代码模块、菜单,关系有:权限、日志。实体与关系的含义如下:
- 用户:表示使用DBuilder的用户;
- 用户组:表示用户的类型分组,用户类型应该至少包括访客、管理员、超级管理员三种;
- 数据源:表示DBuilder包含的数据库配置,一个数据源的配置包含连接一个数据库所需的基本参数;
- 代码模块:表示DBuilder生成的代码模块,描述了代码文件和配置;
- 菜单:表示DBuilder的左侧菜单项;
- 权限:表示用户组对每个代码模块的各种操作权限;
- 日志:表示用户对每个代码模块的CRUD访问日志。
实体与关系的ER图如下:
图2-1 ER图
2.3 原则性要求
DBuilder应该要做成一套高性能、高可用的CRUD生成器,为此DBuilder设计中应该符合下面几项原则:
- DBuilder要精确到每个数据库字段可配置;
- 应具备一个WEB后台应用的雏形,使用户可在此基础上快速建立完整的WEB后台应用;
- DBuilder要尽可能减少SQL操作,必要时可借助缓存、异步等技术,减少请求的处理逻辑,提高页面效率,减少用户等待时间;
- DBuilder要有美观、简洁、直观的用户界面;
- DBuilder要留有大量的扩展接口,能够让用户通过二次开发快速实现较为复杂的功能。
第三章 DBuilder系统设计
3.1 系统架构
DBuilder有下面2个核心的构件Core CRUD 模块和GModule,GModule对Core CRUD 模块有继承依赖的关系,GModule由MVC Code和CRUD Config组成;Core CRUD模块是手工编写的代码,而GModule是DBuilder生成的代码;Core CRUD 模块实现CRUD操作,GModule实现扩展功能。下图表示了这两个构件的组成和关系
图3-1概念与构件
下面对图中设计的概念、构件、模块关系以及Build与CRUD流程做详细阐述。
3.1.1 Core CRUD 模块
Core CRUD 模块实现核心CRUD操作,一切对GModule MVC中Controller的CRUD请求,最终转交至Core CRUD 模块进行处理。Core CRUD 模块会开放一些预处理和后处理接口交由GModule实现,这些接口会在Model,Controller,View上都有体现。
Core CRUD 模块主要包括如下文件
- app/controllers/admin/AdminController.php
- app/models/BaseModel.php
- app/config/crud/admin.php
- app/views/admin/core/list.blade.php
- app/views/admin/core/form.blade.php
Core CRUD 模块读取GModule Configuration实现真正的CRUD操作。
3.1.2 GModule
GModule(Generated Module)不但实现了Core CRUD Module接口(MVC代码),而且具有自己配置文件(CRUD Configuration)。每一GModule表示以一张数据库表为主表,具备CRUD功能的代码文件合集(包括对应的MVC + Configuration代码)。譬如,DBuilder生成的一个GModule, 主表为core数据源user表,名字为User,那么User GModule应包含下面代码文件:
- controllers/UserController.php
- models/User.php
- views/user/_list.blade.php
- views/user/_form.blade.php
- views/user/view.blade.php
- config/crud/user.php
代码文件命名取决于GModule的名字,故为保证生成的代码文件不冲突,取GModule的名字(GModule Key,GModule Name)作为GModule的唯一标识。每一个GModule的信息都被保存在数据库中。一次新建 GModule操作将会新建上述所有代码文件,更新相关文件,并插入一条GModule记录到数据库。一次更新 GModule操作将只会更新Configuration文件。
GModule 由MVC代码和CRUD Configuration代码组成,下面分别进行阐述:
- MVC代码:用来实现扩展接口。CRUD请求应最先路由到GModule MVC的中的Controller(控制器)。并且GModule MVC 应与Core CRUD Module的MVC代码有继承关系。
- CRUD Configuration代码:实现对GModule主表增删改查参数的配置。该文件放置在app/config/crud/目录下,以php array的格式定义。它包含对所有字段的表单,列表,视图,关系等参数的配置,以及全局的参数配置。
GModule并不表示具体某一个模块,而是代指一类模块,这种模块可以由DBuilder生成,或者由开发人员手工建立。它主要用来实现Core CRUD Module的接口,主要包括下述几部分
1) Controller接口
假设GModule模块的 Controller为A,Core CRUD Module 的Controller为B,则A应继承自B。CRUD请求会先路由到A,而实际的处理者是B。A会实现B开放的下列接口。
- beforeListExcuteQuery(&querier):该接口在List查询器执行查询之前调用,传递的参数为查询器引用。用来在查询之前,绑定特殊的查询参数。
- beforeList(&data):该接口在List查询器执行之后,渲染List视图之前调用。传递的参数为视图参数引用,其中包括查询出的model集合。用来对查询的model 集合做后处理,或者对list视图绑定一些Module专有的参数。
- beforeEditExcuteQuery(&querier):该接口在Edit请求中Model查询器执行查询之前调用,传递的是查询器引用。用来绑定查询model需要的特殊参数。
- beforeEdit(&data):该接口在Edit中Model查询器执行之后,渲染视图之前调用,传递的是视图参数引用,其中包括查询器查询出的model。用来做渲染前的预处理。
- afterSave(&model):该接口在Edit中,保存编辑的之后调用,传递的是保存在数据库中,最新的数据库记录持久化的model。用来对model做一些复杂的后级联处理。
- beforeView(data): 该接口在View请求中,View 查询器查询之后调用,传递的是视图参数的引用。用来对视图显示做预处理。
2) Model 接口
GModule MVC代码中的Model也继承自BaseModel,实现 BaseModel类开放的一些接口可以完成扩展。
formatXXXAttribute():该接口用来格式化某个字段。本产品基于Laravel,其已经具备类似的接口,就是getXXXXAttribute()。但这样的接口的优先级比字段优先级高,这在特殊的情况下为开发带来了不便,所以再设计一个类似的接口,该接口的优先级低于字段本身。
3) View 接口
视图的扩展接口与前两者不同,主要体现在子视图与视图块上,也就是在Core CURD模块的视图基础上,扩展视图组件。默认Core CRUD MVC视图生成的是一个表格或者一个表单,占满页面。而View接口将提供在该表格上下左右扩展页面组件的能力。
4) Configuration
每一个GModule对应一个Configuration文件,其中包含GModule对主表各个字段的配置参数,以及布局参数。
3.1.3 模块关系
CRUD请求路由到GModule的Controller,GModule代码实现Core CRUD MVC开放的接口,而由Core CRUD Module去真正实现对数据库的CRUD操作。每一个GModule的信息应该被记录在数据库表中,以便给GModule关联菜单,控制权限,记录操作日志等等。一些主要模块之间的关系如下图所示。
图3-2模块关系
从图2-2中可以看到,由GModule管理模块根据用户配置来生成一个GModule A,当用户的CRUD请求到达GModule A时,GModule 会讲请求转交Core CRUD进行处理,Core CRUD 模块再以SQL对数据库进行CRUD操作。
3.1.4 Build 与 CRUD流程
DBuilder项目的方案,将真正的CRUD操作交给了Core CRUD Module去执行,CRUD参数由GET或者POST请求参数与GModule Configuration构成,而GModule的MVC代码只是去实现Core CRUD MVC开放的一些预处理或者后处理接口。
图2-3是DBuilder最核心的流程图,包含Module的生成和处理CRUD请求的过程,图2-4是SximoBuilder 中Module的生成和处理CRUD请求的流程图。
图3-3 DBuilder 代码生成和处理CRUD的流程
图3-4 SximoBuilder 代码生成和处理CRUD的流程
对比两者,可以看到两者的最大区别,是DBuilder复用一份CRUD代码,而不是像Sximo那样为每一个Module生成一套可以当独执行的CRUD代码。这样做的好处是提高了复用性,并通过Module CRUD MVC实现预处理/后处理接口达到扩展性的目的。
3.2 Core数据源
Core数据源是DBuilder的默认数据源,其类型为mysql,数据库名为dbuilder,本节按照《数据原型分析》一节进行详细的数据库设计。为提高程序性能,数据源信息保存在代码文件app/config/datasource.php中,文件内容如下:
'core' => array ( 'driver' => 'mysql', 'host' => 'localhost', 'database' => 'dbuilder', 'username' => 'root', 'password' => 'root', 'charset' => 'utf8', 'collation' => 'utf8_unicode_ci', 'prefix' => '', 'edit' => false, 'port' => 3306, ), // more data source ); |
其中Core数据源有下述数据表:
1) d_menu 表:表示后台左侧树形菜单,每一个可点击跳转的菜单项必须与一个Module进行关联。
表3-1 web后台左侧菜单表
field |
type |
default |
info |
id |
int |
auto_increment |
PRI |
module_id |
int |
|
|
module_name |
varchar(12) |
|
|
parent_id |
|
null |
父菜单项 |
title |
varchar(12) |
module_title |
显示名称 |
_order |
int |
0 |
排序字段 |
2) d_module 表:记录了module信息,每一条d_module表的记录代表了DBuilder生成的一个Module。
表3-2 module信息描述
field |
type |
default |
info |
id |
int |
auto_increment |
PRI |
name |
varchar(32) |
|
UIN |
title |
varchar(32) |
|
module标题 |
note |
varchar(32) |
|
module 说明 |
db_source |
varchar(16) |
core |
数据源名称 |
db_table |
varchar(16) |
|
module主表 |
db_table_key |
varchar(16) |
|
主表PRI |
3) d_user 表:保存着使用后台程序的用户。
表3-3 web后台用户
field |
type |
default |
info |
id |
int |
auto_increment |
PRI |
username |
varhcar(64) |
|
用户名 |
|
varchar(64) |
|
邮箱 |
password |
varchar(64) |
|
HASH |
salt |
varchar(64) |
|
盐 |
last_login |
timestamp |
|
最后登录时间 |
remember_token |
|
|
记住密码口令 |
group_id |
int |
|
组ID |
4) d_group表:表示对后台用户的分组信息。
表3-4 用户分组表
field |
type |
default |
info |
id |
int |
auto_increment |
PRI |
name |
varhcar(64) |
|
组名 |
note |
varchar(128) |
|
组说明 |
level |
int |
|
组级别 |
5) d_group_access表:记录了每个GModule、不同后台用户组与各种操作权限的三维权限信息。
表3-5 用户组对Module权限表
field |
type |
default |
info |
id |
int |
auto_increment |
PRI |
group_id |
int |
|
组id |
module_id |
int |
|
Module模块ID |
edit |
int |
1 |
可编辑 |
view |
int |
1 |
可查看 |
delete |
int |
1 |
可删除 |
export |
int |
1 |
可导出 |
6) d_log表:记录了每个用户的操作日志。
表3-6 用户操作日志
field |
type |
default |
info |
id |
int |
auto_increment |
PRI |
user_id |
int |
|
用户id |
ip_addr |
varchar(15) |
|
客户端IP |
module_id |
int |
|
访问的moduleid |
module_title |
varchar(16) |
|
|
task |
varchar(16) |
|
操作 |
created_at |
timestamp |
|
可导出 |
3.3 数据源管理模块
DBuilder需要支持多数据源,多种类型数据库。数据源信息保存在d_database表中。考虑到数据库操作是频繁操作,如果将数据源信息保存在数据库中,则每次数据库操作将多一次数据源查询操作,这样做浪费性能。那么DBuilder不应该把数据源信息保存在数据库中,而应该保存在代码文件中。数据源管理的信息包括数据源名称(数据源的唯一标识,DBuilder默认的数据源名为core)、数据库类型、地址、端口、数据库名、用户名、密码等等信息。因为数据源管理模块并不对表进行增删改查操作,所以数据源管理模块并不是一个GModule模块。该模块的代码完全手工编写。
3.4 GModule 管理模块
DBuilder将以基于名字为“Module”的GModule作为生成GModule的用户接口,该模块称作GModule管理模块,换言之GModule管理模块本身就是一个GModule,该GModule的主表即是core数据源中保存GModule信息的数据库表,改GModule的名字为“Module”。GModule 管理模块包含创建,更新和删除GModule 的所有代码文件以及数据库记录。GModule的新建和删除需要更新全局的GModule路由。
1) GModule 路由
GModule路由定义在一个独立的代码文件中,为一个以GModule名字进行减号分词并全部小写的字符串为键(譬如:GModule名字为OrderItem,则键值为order-item)、以Module中Controller类的类名为值的map字典,GModule路由是全局的。
2) GModule 新建&更新
新建GModule将在数据库中生成一条记录、生成所有的module文件、并更新路由。更新操作只修改配置文件。新建与更新都使用相同的编辑视图,此编辑视图是对GModule Configuration的图形化配置界面。
3) GModule 删除
GModule删除将删除所有的GModule MVC代码,删除GModule Configuration代码,删除数据库表记录,并更新GModule路由。
3.5 Core CRUD 模块
Core CRUD 模块是DBuilder处理CRUD请求的实际处理者,它由下述几部分组成:
1) 参数解析初始化
初始化Model,实例化一个Module的Model对象作为初始化查询器。加载Module Configuration,对未设置的值进行设置默认值,对参数进行汇聚。
2) 表单Form
主要包括新建和更新功能。根据GModule主表主键primaryKey是否设置判断是新建还是更新操作。下图是Form模块的流程
图3-5 Form执行流程
Form 分两部分,第一部分渲染Form页面给用户填写。第二部分为Form保存。
渲染Form页面需要考虑的有Form控件和有外键关系的字段要怎么处理。Form控件需要支持类型包括text、text_date、text_datetime、textarea、select、radio、checkbox、file、hidden、address以及custom,自定义控件应该继承FormControl类,自定义控件的渲染由控件的render方法完成。Form渲染需要判断有关系的字段做辅助加载。比如对post(文章)表进行编辑,post表有一个字段为category_id,表示文章的栏目ID,对应category(栏目)表的id字段。这时需要对category_id使用select,radio,checkbox控件进行加载,方便用户输入。比如使用select控件,那么应该将category.id作为option的value,将category.name作为option中的text。这样做也是为了方便用户输入。此步骤与List中搜索时有共性,因此代码可复用。
Form 保存需要考虑一些自定义控件的保存,自定义控件的数保存由自定义控件类的onSave方法完成。Form 保存还需要考虑关系的保存,默认应该级联更新附属表。Form 表单在用户输入完成点击保存之后,要分下面几步:
- 根据字段配置的验证规则进行验证;
- 应判断Module Configuration 中的relation进行分析,进行必要的级联操作;
- 并要调用自定义控件的onSave方法;
- 最后才应更新或新建主表数据;
- 跳转:更新或新建成功跳转至List,失败跳转至Form。
Form 还需要开放对应的预处理和后处理接口。
3) 列表List(Table)
List是一个分页Table,按照Module Configuration 中的字段配置显示分页数据。支持列表搜索,排序,勾选删除,导出等功能;
- 分页展现数据以InitQuerier模块得到的Model作为查询器,结合分页,查询出基本的数据列表。分页类型为全页刷新类型(非异步分页);
- List搜索:支持在Module Configuration中定义了search不等于false的字段作为搜索条件。搜索关系为逻辑与的关系。并反映在GET参数上。搜索输入控件根据字段的form type来定。在Form 中定义为select,radio,checkbox控件的字段,在List中都将使用select控件作为输入控件;
- List 排序:以在Module Configuration中定义了form.sort 不等于 false的字段作为可排序字段。排序只支持按单一字段排序,降序方式含升序和降序;
- List 多选操作主要支持多选删除,多选复制操作,任何删除操作都需确认;
- List 数据每行记录的支持的操作按Module Configuration中的配置给出,默认支持编辑,删除,查看三项操作;
- List 也要开放预处理/后处理接口给Module CRUD MVC。
4) 查看View
View 暂时以Form为基础,提供预处理后处理接口,但不允许编辑。
第四章 DBuilder系统实现
4.1 目录结构
代码按照前段资源、MVC、Configuration、Library等概念进行了分目录存放。下面表格中给出了主要目录的说明:
表4-2 代码主要目录
目录 |
作用 |
assets |
此目录存放着各种各样的前端资源。包括bootstrap,以及自定义的css和js文件。 |
plugins |
存放特殊前端插件的目录,比如富文本编辑器,视音频插件等等。 |
app/controllers/admin |
存放着MVC中控制器的目录。其中,DBuilder的核心在admin目录下。 |
app/models |
存放着MVC中模型(Model)的目录。用来做数据库查询用。 |
app/views |
存放着MVC中视图的目录。文件名以*.blade.php的格式命名。 |
app/library |
存放PHP辅助类,PHP库的目录。 |
app/config/crud |
存放Module Configuration的目录。 |
4.2 GModule 配置文件
GModule配置文件定义了GModule的参数,该文件保存在app/config/crud/下,是以GModule Name进行蛇形分词得到的字符串命名的php文件(譬如:一GModule的名字为OrderItem,则GModule配置文件为order_item.php)。配置参数以数组格式返回。
考虑到PHP数组在表格中呈现的美观性,对参数以配置中的Key=>Value形式,以点分形式Key.Value表示。
表4-3 root配置
Configuration Key |
类型 |
默认值 |
含义 |
fields |
array |
array() |
字段列表 |
fields.field_name |
array |
array() |
对field_name字段的配置 |
fields.field_name.label |
string |
UP(field_name) |
显示在列表表格的表头的内容,和form控件旁边的内容 |
fields.field_name.form |
array |
array() |
field_name字段的表单配置,具体参考 fields.field_name.form配置 |
fields.field_name.list |
array |
array() |
field_name 字段的列表配置,具体参考 fields.field_name.list配置
|
fields.field_name. relation |
array |
array() |
field_name 字段的关系 |
表4-3中每个字段的表单配置说明如下表所示:
表4-4 fields.field_name.form配置
Configuration Key |
值类型 |
默认 |
含义 |
type |
string |
text |
Form控件类型 |
show |
bool |
true |
是否出现在表单 |
hidden |
bool |
false |
是否以隐藏的空间在表单中 |
rule |
string |
required |
验证规则 |
ajax_validate |
bool |
false |
是否异步验证 |
placeholder |
string |
|
控件中的提示 |
表4-3中每个字段的列表配置说明如下表所示:
表4-5 fields.field_name.list配置
Configuration Key |
值类型 |
默认 |
含义 |
show |
bool |
true |
是否出现在表单 |
sort |
bool |
true |
字段是否可以排序,默认可排序 |
search |
bool,array |
array() |
是否可搜索以及搜索规则 |
|
string |
|
控件中的提示 |
表4-3中每个字段的关系配置说明如下表所示:
表4-6 fields.field_name.relation配置
Configuration Key |
值类型 |
默认 |
含义 |
table |
string |
|
关联表 |
foreign_key |
string |
id |
对应关联表里的字段 |
show |
string |
|
关联表里的一个字段,当需要转义时,将用该字段代替field_nae字段显示 |
as |
string |
table_show |
转义查询出的值用哪个字段表示,主要为了防止主表和关联表有重复字段 |
下面是一个名为post的GModule的Configuration文件
1 return