使用 Antlr4 解析任意分隔符

我尝试在 Antlr4 中创建一个接受正则表达式的语法由任意字符分隔（与 Perl 中的类似）。我怎样才能实现这个目标？

需要明确的是：我的问题不是正则表达式本身（实际上我不在 Antlr 中处理，而是在访问者中处理），而是分隔符。我可以轻松地为词法分析器定义以下规则：

REGEXP: '/' (ESC_SEQ | ~('\\' | '/'))+ '/' ;
fragment ESC_SEQ: '\\' . ;

这将使用正斜杠作为分隔符（就像 Perl 中常用的那样）。但是，我也希望能够将正则表达式编写为m~regexp~（这在 Perl 中也是可能的）。

如果我必须使用正则表达式本身来解决这个问题，我会使用如下的反向引用：

m(.)(.+?)\1

（这是一个“m”，后跟任意字符，后跟表达式，后跟相同的任意字符）。但反向引用在 Antlr4 中似乎不可用。

如果我可以使用成对的括号，即，那就更好了m(regexp) or m{regexp}。但由于可能的括号类型的数量非常小，因此可以通过简单地枚举所有不同的变体来解决这个问题。

Antlr4可以解决这个问题吗？

你可以这样做：

lexer grammar TLexer;

REGEX
 : REGEX_DELIMITER ( {getText().charAt(0) != _input.LA(1)}? REGEX_ATOM )+ {getText().charAt(0) == _input.LA(1)}? .
 | '{' REGEX_ATOM+ '}'
 | '(' REGEX_ATOM+ ')'
 ;

ANY
 : .
 ;

fragment REGEX_DELIMITER
 : [/~@#]
 ;

fragment REGEX_ATOM
 : '\\' .
 | ~[\\]
 ;

如果您运行以下课程：

public class Main {

  public static void main(String[] args) throws Exception {

    TLexer lexer = new TLexer(new ANTLRInputStream("/foo/ /bar\\ ~\\~~ {mu} (bla("));

    for (Token t : lexer.getAllTokens()) {
      System.out.printf("%-20s %s\n", TLexer.VOCABULARY.getSymbolicName(t.getType()), t.getText().replace("\n", "\\n"));
    }
  }
}

您将看到以下输出：

REGEX                /foo/
ANY                   
ANY                  /
ANY                  b
ANY                  a
ANY                  r
ANY                  \
ANY                   
REGEX                ~\~~
ANY                   
REGEX                {mu}
ANY                   
ANY                  (
ANY                  b
ANY                  l
ANY                  a
ANY                  (

The {...}?称为谓词：

• Antlr4 中语义谓词的语法 https://stackoverflow.com/questions/12749230/syntax-of-semantic-predicates-in-antlr4
• ANTLR4 中的语义谓词？ https://stackoverflow.com/questions/13661754/semantic-predicates-in-antlr4

The ( {getText().charAt(0) != _input.LA(1)}? REGEX_ATOM )+部分告诉词法分析器继续匹配字符，只要字符匹配REGEX_DELIMITER不在字符流前面。和{getText().charAt(0) == _input.LA(1)}? .确保实际上有一个与第一个字符匹配的结束分隔符（这是一个REGEX_DELIMITER， 当然）。

使用 ANTLR 4.5.3 进行测试

EDIT

并获得前面的分隔符m+一些可选的工作空间，你可以尝试这样的事情（未经测试！）：

lexer grammar TLexer;

  @lexer::members {
    boolean delimiterAhead(String start) {
      return start.replaceAll("^m[ \t]*", "").charAt(0) == _input.LA(1);
    }
  }

  REGEX
   : '/' ( '\\' . | ~[/\\] )+ '/'
   | 'm' SPACES? REGEX_DELIMITER ( {!delimiterAhead(getText())}? ( '\\' . | ~[\\] ) )+ {delimiterAhead(getText())}? .
   | 'm' SPACES? '{' ( '\\' . | ~'}' )+ '}'
   | 'm' SPACES? '(' ( '\\' . | ~')' )+ ')'
   ;

  ANY
   : .
   ;

  fragment REGEX_DELIMITER
   : [~@#]
   ;

  fragment SPACES
   : [ \t]+
   ;