我正在解析一种定义两种类型的语句的脚本语言;控制语句和非控制语句。非控制语句总是以';'
,而控制语句可能以以下结尾';'
or EOL
('\n')。语法的一部分如下所示:
script
: statement* EOF
;
statement
: control_statement
| no_control_statement
;
control_statement
: if_then_control_statement
;
if_then_control_statement
: IF expression THEN end_control_statment
( statement ) *
( ELSEIF expression THEN end_control_statment ( statement )* )*
( ELSE end_control_statment ( statement )* )?
END IF end_control_statment
;
no_control_statement
: sleep_statement
;
sleep_statement
: SLEEP expression END_STATEMENT
;
end_control_statment
: END_STATEMENT
| EOL
;
END_STATEMENT
: ';'
;
ANY_SPACE
: ( LINE_SPACE | EOL ) -> channel(HIDDEN)
;
EOL
: [\n\r]+
;
LINE_SPACE
: [ \t]+
;
在脚本语言的所有其他方面,我从不关心EOL
所以我使用普通的词法分析器规则来隐藏空格。
这在所有情况下都可以正常工作,但在我需要使用的情况下EOL
找到控制语句的终止点,但是使用上面的语法,所有EOL
被隐藏并且不在控制语句规则中使用。
有没有办法改变我的语法,以便我可以跳过所有EOL
但是终止部分控制语句所需的那些?
找到了一种方法来处理这个问题。
这个想法是将 EOL 转移到一个隐藏通道中,并将我不想在另一个隐藏通道中看到的其他内容(例如空格和注释)转移到其中。然后,当 EOL 应该出现时,我使用一些代码来回溯令牌并检查之前的令牌通道(因为它们已经被消耗)。如果我在遇到普通渠道的某些内容之前在 EOL 渠道上找到了某些内容,那么就可以了。
它看起来像这样:
更改了词法分析器规则:
@lexer::members {
public static int EOL_CHANNEL = 1;
public static int OTHER_CHANNEL = 2;
}
...
EOL
: '\r'? '\n' -> channel(EOL_CHANNEL)
;
LINE_SPACE
: [ \t]+ -> channel(OTHER_CHANNEL)
;
我还将所有其他隐藏频道(评论)转移到OTHER_CHANNEL
。
然后我改变了规则end_control_statment
:
end_control_statment
: END_STATEMENT
| { isEOLPrevious() }?
;
并添加了
@parser::members {
public static int EOL_CHANNEL = 1;
public static int OTHER_CHANNEL = 2;
boolean isEOLPrevious()
{
int idx = getCurrentToken().getTokenIndex();
int ch;
do
{
ch = getTokenStream().get(--idx).getChannel();
}
while (ch == OTHER_CHANNEL);
// Channel 1 is only carrying EOL, no need to check token itself
return (ch == EOL_CHANNEL);
}
}
人们可以坚持使用普通的隐藏通道,但是在回溯时需要同时跟踪通道和令牌,因此这可能会更容易一些......
希望这可以帮助其他人处理此类问题......
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)