您可以通过发出两个令牌(一个Int
and Range
令牌)当你遇到".."
在浮动规则内。您需要重写词法分析器中的两个方法才能完成此任务。
一个包含您的一小部分的演示Dee
语法:
grammar Dee;
@lexer::members {
java.util.Queue<Token> tokens = new java.util.LinkedList<Token>();
public void offer(int ttype, String ttext) {
this.emit(new CommonToken(ttype, ttext));
}
@Override
public void emit(Token t) {
state.token = t;
tokens.offer(t);
}
@Override
public Token nextToken() {
super.nextToken();
return tokens.isEmpty() ? Token.EOF_TOKEN : tokens.poll();
}
}
parse
: (t=. {System.out.printf("\%-15s '\%s'\n", tokenNames[$t.type], $t.text);})* EOF
;
Range
: '..'
;
IntegerLiteral
: Integer IntSuffix?
;
FloatLiteral
: Float ImaginarySuffix?
;
// skipping
Space
: ' ' {skip();}
;
// fragments
fragment Float
: d=DecimalDigits ( options {greedy = true; } : FloatTypeSuffix
| '..' {offer(IntegerLiteral, $d.text); offer(Range, "..");}
| '.' DecimalDigits DecimalExponent?
)
| '.' DecimalDigits DecimalExponent?
;
fragment DecimalExponent : 'e' | 'E' | 'e+' | 'E+' | 'e-' | 'E-' DecimalDigits;
fragment DecimalDigits : ('0'..'9'|'_')+ ;
fragment FloatTypeSuffix : 'f' | 'F' | 'L';
fragment ImaginarySuffix : 'i';
fragment IntSuffix : 'L'|'u'|'U'|'Lu'|'LU'|'uL'|'UL' ;
fragment Integer : Decimal| Binary| Octal| Hexadecimal ;
fragment Decimal : '0' | '1'..'9' (DecimalDigit | '_')* ;
fragment Binary : ('0b' | '0B') ('0' | '1' | '_')+ ;
fragment Octal : '0' (OctalDigit | '_')+ ;
fragment Hexadecimal : ('0x' | '0X') (HexDigit | '_')+;
fragment DecimalDigit : '0'..'9' ;
fragment OctalDigit : '0'..'7' ;
fragment HexDigit : ('0'..'9'|'a'..'f'|'A'..'F') ;
使用类测试语法:
import org.antlr.runtime.*;
public class Main {
public static void main(String[] args) throws Exception {
DeeLexer lexer = new DeeLexer(new ANTLRStringStream("1..2 .. 33.33 ..21.0"));
DeeParser parser = new DeeParser(new CommonTokenStream(lexer));
parser.parse();
}
}
当你跑步时Main
,产生以下输出:
IntegerLiteral '1'
Range '..'
IntegerLiteral '2'
Range '..'
FloatLiteral '33.33'
Range '..'
FloatLiteral '21.0'
EDIT
是的,正如您在评论中指出的那样,词法分析器规则只能发出 1 个单个标记。But,正如您自己已经尝试过的那样,语义谓词确实可以用于强制词法分析器在字符流中向前查看,以确保实际上存在".."
后IntegerLiteral
尝试匹配之前的令牌FloatLiteral
.
以下语法将产生与第一个演示相同的标记。
grammar Dee;
parse
: (t=. {System.out.printf("\%-15s '\%s'\n", tokenNames[$t.type], $t.text);})* EOF
;
Range
: '..'
;
Number
: (IntegerLiteral Range)=> IntegerLiteral {$type=IntegerLiteral;}
| (FloatLiteral)=> FloatLiteral {$type=FloatLiteral;}
| IntegerLiteral {$type=IntegerLiteral;}
;
// skipping
Space
: ' ' {skip();}
;
// fragments
fragment DecimalExponent : 'e' | 'E' | 'e+' | 'E+' | 'e-' | 'E-' DecimalDigits;
fragment DecimalDigits : ('0'..'9'|'_')+ ;
fragment FloatLiteral : Float ImaginarySuffix?;
fragment IntegerLiteral : Integer IntSuffix?;
fragment FloatTypeSuffix : 'f' | 'F' | 'L';
fragment ImaginarySuffix : 'i';
fragment IntSuffix : 'L'|'u'|'U'|'Lu'|'LU'|'uL'|'UL' ;
fragment Integer : Decimal| Binary| Octal| Hexadecimal ;
fragment Decimal : '0' | '1'..'9' (DecimalDigit | '_')* ;
fragment Binary : ('0b' | '0B') ('0' | '1' | '_')+ ;
fragment Octal : '0' (OctalDigit | '_')+ ;
fragment Hexadecimal : ('0x' | '0X') (HexDigit | '_')+;
fragment DecimalDigit : '0'..'9' ;
fragment OctalDigit : '0'..'7' ;
fragment HexDigit : ('0'..'9'|'a'..'f'|'A'..'F') ;
fragment Float
: d=DecimalDigits ( options {greedy = true; } : FloatTypeSuffix
| '.' DecimalDigits DecimalExponent?
)
| '.' DecimalDigits DecimalExponent?
;