是否可以使用嵌入语法(带有它自己的词法分析器)来制作语法?
如果您的意思是是否可以在单个语法中定义两种语言(使用单独的词法分析器),那么答案是:不,那是不可能的。
然而,如果问题是是否可以将两种语言解析为单个 AST,那么答案是:是的,这是可能的。
您只需要:
- 用自己的语法定义两种语言;
- 在主语法中创建一个词法分析器规则,捕获嵌入语言的整个输入;
- 使用重写规则来调用自定义方法来解析外部 AST 并将其插入到主 AST 中
{
... }
(参见expr
主要语法中的规则(MyLanguage.g
)).
我的语言.g
grammar MyLanguage;
options {
output=AST;
ASTLabelType=CommonTree;
}
tokens {
ROOT;
}
@members {
private CommonTree parseSQL(String sqlSrc) {
try {
MiniSQLLexer lexer = new MiniSQLLexer(new ANTLRStringStream(sqlSrc));
MiniSQLParser parser = new MiniSQLParser(new CommonTokenStream(lexer));
return (CommonTree)parser.parse().getTree();
} catch(Exception e) {
return new CommonTree(new CommonToken(-1, e.getMessage()));
}
}
}
parse
: assignment+ EOF -> ^(ROOT assignment+)
;
assignment
: Var Id '=' expr ';' -> ^('=' Id expr)
;
expr
: Num
| SQL -> {parseSQL($SQL.text)}
;
Var : 'var';
Id : ('a'..'z' | 'A'..'Z')+;
Num : '0'..'9'+;
SQL : '[' ~']'* ']';
Space : ' ' {skip();};
MiniSQL.g
grammar MiniSQL;
options {
output=AST;
ASTLabelType=CommonTree;
}
parse
: '[' statement ']' EOF -> statement
;
statement
: select
;
select
: Select '*' From ID -> ^(Select '*' From ID)
;
Select : 'select';
From : 'from';
ID : ('a'..'z' | 'A'..'Z')+;
Space : ' ' {skip();};
主程序.java
import org.antlr.runtime.*;
import org.antlr.runtime.tree.*;
import org.antlr.stringtemplate.*;
public class Main {
public static void main(String[] args) throws Exception {
String src = "var Query = [select * from table]; var x = 42;";
MyLanguageLexer lexer = new MyLanguageLexer(new ANTLRStringStream(src));
MyLanguageParser parser = new MyLanguageParser(new CommonTokenStream(lexer));
CommonTree tree = (CommonTree)parser.parse().getTree();
DOTTreeGenerator gen = new DOTTreeGenerator();
StringTemplate st = gen.toDOT(tree);
System.out.println(st);
}
}
运行演示
java -cp antlr-3.3.jar org.antlr.Tool MiniSQL.g
java -cp antlr-3.3.jar org.antlr.Tool MyLanguage.g
javac -cp antlr-3.3.jar *.java
java -cp .:antlr-3.3.jar Main
给定输入:
var Query = [select * from table]; var x = 42;
的输出Main
类对应于以下 AST:
如果你想允许在 SQL 中使用字符串文字(其中可能包含]
)和评论(其中可能包含'
and ]
),你可以使用以下SQL
主要语法中的规则:
SQL
: '[' ( ~(']' | '\'' | '-')
| '-' ~'-'
| COMMENT
| STR
)*
']'
;
fragment STR
: '\'' (~('\'' | '\r' | '\n') | '\'\'')+ '\''
| '\'\''
;
fragment COMMENT
: '--' ~('\r' | '\n')*
;
它将正确解析单个令牌中的以下输入:
[
select a,b,c
from table
where a='A''B]C'
and b='' -- some ] comment ] here'
]
请注意,尝试为整个 SQL 方言(甚至是一个大子集)创建语法并不是一件简单的任务!您可能想要搜索现有的 SQL 解析器,或者查看 ANTLR wiki 的示例语法。