我正在编写一个 Flex 程序来处理字符串常量。
当输入文件在字符串中遇到 EOF 时,我想返回一个 ERROR 标记。
文件遇到 EOF 并打印“ERROR”后出现以下错误:
致命的 Flex 扫描仪内部错误 - 缓冲区末尾丢失
这是我的代码:(可以重现此错误的简化版本)
%option noyywrap
#define ERROR 300
#define STRING 301
char *text;
%x str
%%
\" {BEGIN(str); yymore();}
<str>\" {BEGIN(INITIAL); text=yytext; return STRING;}
<str>. {yymore();}
<str><<EOF>> {BEGIN(INITIAL); return ERROR;}
%%
int main(){
int token;
while((token=yylex())!=0){
if(token==STRING)
printf("string:%s\n",text);
else if(token==ERROR)
printf("ERROR\n");
}
return 0;
}
当我删除yymore()
函数调用后,错误消失,程序在打印“ERROR”后正常退出。
我想知道为什么会发生这种情况,我想在不删除的情况下解决它yymore()
.
在收到 EOF 指示后,您无法继续词法扫描,因此您的<str><<EOF>>
规则不正确,这就是错误消息所指示的内容。
与任何未定义的行为一样,在某些情况下,错误可能会导致任意行为,包括按照您错误地假设的方式工作。 (对于您的 Flex 版本,如果您不使用,就会发生这种情况yymore
, 例如。)
您需要确保收到 EOF 后不会重新进入扫描仪循环。例如,您可以返回一个错误代码,指示无法读取更多令牌(如果需要,与可重新启动的错误指示相反)。或者您可以为词法分析器设置一个标志,使其在不可恢复的错误。
这是第二种策略的示例(只是规则,因为没有其他变化):
%%
/* indented code before the first pattern is inserted
* at the beginning of yylex, allowing declaration of
* variables. The fatal_error flag is declared static,
* since this is not a reentrable lexer. If it were
* reentrable, we'd put the flag in the lexer context
* (as part of the "extra data"), which would be a lot cleaner.
*/
static int fatal_error = 0;
/* If the error we last returned was fatal, we do
* not re-enter the scanner loop; we just return EOF
*/
if (fatal_error) {
fatal_error = 0; /* reset the flag for reuse */
return 0;
}
\" {BEGIN(str); yymore();}
<str>\" {BEGIN(INITIAL); text=yytext; return STRING;}
<str>. {yymore();}
<str><<EOF>> {BEGIN(INITIAL);
fatal_error = 1; /* Set the fatal error flag */
return ERROR;}
%%
另一种可能的解决方案是使用“推送解析器”,其中yylex
使用每个标记调用解析器,而不是相反。bison
支持这种风格,而且往往方便很多;特别是,它允许一个操作向解析器发送多个标记,在这种情况下,这将消除对静态本地标志的需要。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)