欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  数据库

DruidParser

程序员文章站 2022-06-14 19:53:56
...

最近用阿里的Druid的SQL parser来解析SQL语句。在此记录下研究: 调用它来解析出AST语意树一般这么写(针对MySQL): MySqlStatementParser parser = new MySqlStatementParser(sql);ListSQLStatement statementList = parser.parseStatementList(); for (SQ

最近用阿里的Druid的SQL parser来解析SQL语句。在此记录下研究:
调用它来解析出AST语意树一般这么写(针对MySQL):

MySqlStatementParser parser = new MySqlStatementParser(sql);
List statementList = parser.parseStatementList();
for(SQLStatement statement:statementList){
    MySqlSchemaStatVisitor visitor = new MySqlSchemaStatVisitor();
    statemen.accept(visitor);
}        

对于每一个SQL请求(可能包含多语句),需要先新建一个MySqlStatementParser。注意,MySqlStatementParser 不是线程安全的,所以一种做法是针对每个session的请求,需要新建一个MySqlStatementParser。
那么这个初始化过程究竟是怎样的呢?涉及到哪些类?

涉及到的类如下所示:
DruidParser
SQL解析可以分为三层:语句解析->表达式解析->词法解析。对应的主要类分别是MySqlStatementParser,MySqlExprParser,MySqlLexer。可以说,MySqlLexer是解析出每个词的词义,表达式由词组成,MySqlExprParser用来解析出不同表达式的含义。多个表达式和词组成完整的语句,这个由MySqlStatementParser解析。
首先看MySqlStatementParser的结构:
DruidParser

  • SQLParser.java
    • errorEndPos :解析出错记录位置
    • lexer:词法解析
    • dbType:数据库类型
  • SQLStatement.java
    • exprParser:表达式解析类
    • SQLCreateTableParser:建表语句解析类,因为建表语句比较复杂,所以单拿出来。其他DDL语句都在本类SQLStatement中解析
    • parseValuesSize:记录解析结果集大小
    • keepComments:是否保留注释
    • parseCompleteValues:是否全部解析完成
  • MySqlStatementParser.java:
    • 静态关键词:比如auto increment,collate等,对于DDL语句或者DCL语句
    • exprParser:针对MySQL语句的parser

接着是MySqlStatementParser的MySqlExprParser的结构:
DruidParser

  • SQLExprParser:
    • AGGREGATE_FUNCTIONS:一些统计函数的关键词
    • aggregateFunctions:保存统计函数的关键词
  • MySqlSQLExprParser:
    • AGGREGATE_FUNCTIONS:针对MySql统计函数的关键词

最后是MySqlLexer:
DruidParser

  • Lexer:
    • text:保存目前的整个SQL语句
    • pos:当前处理位置
    • mark:当前处理词的开始位置
    • ch:当前处理字符
    • buf:当前缓存的处理词
    • bufPos:用于取出词的标记,当前从text中取出的词应该为从mark位置开始,mark+bufPos结束的词
    • token:当前位于的关键词
    • stringVal:当前处理词
    • comments:注释
    • skipComment:是否跳过注释
    • savePoint:保存点
    • varIndex:针对?表达式
    • lines:总行数
    • digits:数字ASCII码
    • EOF:是否结尾
    • keepComments:是否保留注释
    • endOfComment:是否注释结尾
    • line:当前处理行数
    • commentHandler:注释处理器
    • allowComment:是否允许注释
    • KeyWords:所有关键词集合

新建MySqlStatementParser

初始化MySqlStatementParser:
MySqlStateMentParser.java:

public MySqlStatementParser(String sql){
    super(new MySqlExprParser(sql));
}

会新建MySqlExprParser:
MySqlExprParser.java

public MySqlExprParser(String sql){
    this(new MySqlLexer(sql));
    //读取第一个有效词
    this.lexer.nextToken();
}

会新建MySqlLexer:
MySqlLexer.java

public MySqlLexer(String input){
    super(input);
    //初始化MySQL关键词
    super.keywods = DEFAULT_MYSQL_KEYWORDS;
}

Lexer.java

public Lexer(String input){
 this(input, null);
}

/**
 * @param input 输入SQL语句
 * @param commentHandler 注释处理器
 */
public Lexer(String input, CommentHandler commentHandler){
    this(input, true);
    this.commentHandler = commentHandler;
}
/**
 *
 * @param input
 * @param skipComment 是否跳过注释
 */
public Lexer(String input, boolean skipComment){
    this.skipComment = skipComment;

    this.text = input;
    this.pos = -1;
    //读取第一个字符
    scanChar();
}
protected final void scanChar() {
    ch = charAt(++pos);
}

初始化Lexer之后,回到MySqlExprParser的构造器,初始化KeyWords集合:

public final static Keywords DEFAULT_MYSQL_KEYWORDS;

    static {
    //MySQL关键词
    Map map = new HashMap();

    map.putAll(Keywords.DEFAULT_KEYWORDS.getKeywords());

    map.put("DUAL", Token.DUAL);
    map.put("FALSE", Token.FALSE);
    map.put("IDENTIFIED", Token.IDENTIFIED);
    map.put("IF", Token.IF);
    map.put("KILL", Token.KILL);

    map.put("LIMIT", Token.LIMIT);
    map.put("TRUE", Token.TRUE);
    map.put("BINARY", Token.BINARY);
    map.put("SHOW", Token.SHOW);
    map.put("CACHE", Token.CACHE);
    map.put("ANALYZE", Token.ANALYZE);
    map.put("OPTIMIZE", Token.OPTIMIZE);
    map.put("ROW", Token.ROW);
    map.put("BEGIN", Token.BEGIN);
    map.put("END", Token.END);

    // for oceanbase & mysql 5.7
    map.put("PARTITION", Token.PARTITION);

    map.put("CONTINUE", Token.CONTINUE);
    map.put("UNDO", Token.UNDO);
    map.put("SQLSTATE", Token.SQLSTATE);
    map.put("CONDITION", Token.CONDITION);

    DEFAULT_MYSQL_KEYWORDS = new Keywords(map);
}

Keywords.java:

public final static Keywords     DEFAULT_KEYWORDS;

static {
    Map map = new HashMap();

    map.put("ALL", Token.ALL);
    map.put("ALTER", Token.ALTER);
    map.put("AND", Token.AND);
    map.put("ANY", Token.ANY);
    map.put("AS", Token.AS);

    map.put("ENABLE", Token.ENABLE);
    map.put("DISABLE", Token.DISABLE);

    map.put("ASC", Token.ASC);
    map.put("BETWEEN", Token.BETWEEN);
    map.put("BY", Token.BY);
    map.put("CASE", Token.CASE);
    map.put("CAST", Token.CAST);

    map.put("CHECK", Token.CHECK);
    map.put("CONSTRAINT", Token.CONSTRAINT);
    map.put("CREATE", Token.CREATE);
    map.put("DATABASE", Token.DATABASE);
    map.put("DEFAULT", Token.DEFAULT);
    map.put("COLUMN", Token.COLUMN);
    map.put("TABLESPACE", Token.TABLESPACE);
    map.put("PROCEDURE", Token.PROCEDURE);
    map.put("FUNCTION", Token.FUNCTION);

    map.put("DELETE", Token.DELETE);
    map.put("DESC", Token.DESC);
    map.put("DISTINCT", Token.DISTINCT);
    map.put("DROP", Token.DROP);
    map.put("ELSE", Token.ELSE);
    map.put("EXPLAIN", Token.EXPLAIN);
    map.put("EXCEPT", Token.EXCEPT);

    map.put("END", Token.END);
    map.put("ESCAPE", Token.ESCAPE);
    map.put("EXISTS", Token.EXISTS);
    map.put("FOR", Token.FOR);
    map.put("FOREIGN", Token.FOREIGN);

    map.put("FROM", Token.FROM);
    map.put("FULL", Token.FULL);
    map.put("GROUP", Token.GROUP);
    map.put("HAVING", Token.HAVING);
    map.put("IN", Token.IN);

    map.put("INDEX", Token.INDEX);
    map.put("INNER", Token.INNER);
    map.put("INSERT", Token.INSERT);
    map.put("INTERSECT", Token.INTERSECT);
    map.put("INTERVAL", Token.INTERVAL);

    map.put("INTO", Token.INTO);
    map.put("IS", Token.IS);
    map.put("JOIN", Token.JOIN);
    map.put("KEY", Token.KEY);
    map.put("LEFT", Token.LEFT);

    map.put("LIKE", Token.LIKE);
    map.put("LOCK", Token.LOCK);
    map.put("MINUS", Token.MINUS);
    map.put("NOT", Token.NOT);

    map.put("NULL", Token.NULL);
    map.put("ON", Token.ON);
    map.put("OR", Token.OR);
    map.put("ORDER", Token.ORDER);
    map.put("OUTER", Token.OUTER);

    map.put("PRIMARY", Token.PRIMARY);
    map.put("REFERENCES", Token.REFERENCES);
    map.put("RIGHT", Token.RIGHT);
    map.put("SCHEMA", Token.SCHEMA);
    map.put("SELECT", Token.SELECT);

    map.put("SET", Token.SET);
    map.put("SOME", Token.SOME);
    map.put("TABLE", Token.TABLE);
    map.put("THEN", Token.THEN);
    map.put("TRUNCATE", Token.TRUNCATE);

    map.put("UNION", Token.UNION);
    map.put("UNIQUE", Token.UNIQUE);
    map.put("UPDATE", Token.UPDATE);
    map.put("VALUES", Token.VALUES);
    map.put("VIEW", Token.VIEW);
    map.put("SEQUENCE", Token.SEQUENCE);
    map.put("TRIGGER", Token.TRIGGER);
    map.put("USER", Token.USER);

    map.put("WHEN", Token.WHEN);
    map.put("WHERE", Token.WHERE);
    map.put("XOR", Token.XOR);

    map.put("OVER", Token.OVER);
    map.put("TO", Token.TO);
    map.put("USE", Token.USE);

    map.put("REPLACE", Token.REPLACE);

    map.put("COMMENT", Token.COMMENT);
    map.put("COMPUTE", Token.COMPUTE);
    map.put("WITH", Token.WITH);
    map.put("GRANT", Token.GRANT);
    map.put("REVOKE", Token.REVOKE);

    // MySql procedure: add by zz
    map.put("WHILE", Token.WHILE);
    map.put("DO", Token.DO);
    map.put("DECLARE", Token.DECLARE);
    map.put("LOOP", Token.LOOP);
    map.put("LEAVE", Token.LEAVE);
    map.put("ITERATE", Token.ITERATE);
    map.put("REPEAT", Token.REPEAT);
    map.put("UNTIL", Token.UNTIL);
    map.put("OPEN", Token.OPEN);
    map.put("CLOSE", Token.CLOSE);
    map.put("CURSOR", Token.CURSOR);
    map.put("FETCH", Token.FETCH);
    map.put("OUT", Token.OUT);
    map.put("INOUT", Token.INOUT);

    DEFAULT_KEYWORDS = new Keywords(map);
}

之后,回到构造MySqlStatementParser:
调用父类方法初始化:
SQLStatementParser.java

public SQLStatementParser(SQLExprParser exprParser){
    super(exprParser.getLexer(), exprParser.getDbType());
    this.exprParser = exprParser;
}

SQLParser.java

public SQLParser(Lexer lexer, String dbType){
    this.lexer = lexer;
    this.dbType = dbType;
}

至此,初始化完成