Flex 可重入以用户特定状态启动

Flex 设置YY_STATE to INITIAL默认情况下，当yyscan_t叫做。 我正在尝试制作一个可重入扫描仪，可以从特定于用户的状态而不是 INITIAL。

这是案例

/* comment start       //not passed into flex
   in comment          //first line passed into flex
   end of comment*/    //second line passed into flex

由于某些原因这些2线路是分别地馈入可重入扫描仪和该行所属的 YY_STATE 是已知的。我需要的是通过评论状态进入可重入柔性和开关YY_STATE to COMMENT开始词法分析之前 in comment\n。 我的解决方法是在行首添加一个虚拟令牌并将状态传递为yyextra进入柔性。一旦识别出虚拟令牌，就切换到特定状态。因此，flex 开始用特定的 YY_STATE 来词法该行。然而，在每行的开头添加虚拟标记非常耗时。

这是我以前调用可重入 Flex 的方式：

yyscan_t scanner;                                                                                                                                                                                                                
YY_BUFFER_STATE buffer;                                                                                                                                                                                                          
yylex_init(&scanner);                                                                                                                                                                                                            
buffer = yy_scan_string(inputStr, scanner);                                                                                                                                                                                      
yyset_extra(someStructure, scanner);                                                                                                                                                                                                       
yylex(scanner);                                                                                                                                                                                                                  
yy_delete_buffer(buffer, scanner);                                                                                                                                                                                               
yylex_destroy(scanner); 

是否可以先设置YY_STATEyylex(scanner)叫做 ？

如果您只是打电话yylex每个输入行一次，然后您可以添加一个额外的参数yylex它提供了要切换到的启动条件，并将启动条件设置在 yylex 的顶部。

但是没有简单的方法可以从 Flex 文件外部引用开始条件，也没有方便的方法从 Flex 文件中提取当前的开始条件。yystate_t目的。您声称拥有此信息的事实表明您在更改启动状态时将其存储在某个位置，因此您可以在启动时从同一位置恢复启动状态yylex。存储信息的最简单的地方是yyextra对象，所以这是此示例代码的基础：

文件begin.int.h

/* This is the internal header file, which defines the extra data structure
 * and, in this case, the tokens.
 */
#ifndef BEGIN_INT_H
#define BEGIN_INT_H

struct Extra {
  int start;
};

enum Tokens { WORD = 256 };

#endif

文件开始.h

/* This is the external header, which includes the header produced by
 * flex. That header cannot itself be included in the flex-generated code,
 * and it depends on the internal header. So the order of includes here is
 * (sadly) important.
 */
#ifndef BEGIN_H_
#define BEGIN_H_

#include "begin.int.h"
#include "begin.lex.h"

#endif

文件：开始.l

/* Very simple lexer, whose only purpose is to drop comments. */
%option noinput nounput noyywrap nodefault 8bit
%option reentrant
%option extra-type="struct Extra*"
%{
#include "begin.int.h"
/* This macro ensures that start condition changes are saved */
#define MY_BEGIN(s) BEGIN(yyextra->start = s)
%}

%x IN_COMMENT
%%
  /* See note below */
  BEGIN (yyextra->start);
"/*"          MY_BEGIN(IN_COMMENT);
[[:alnum:]]+  return WORD;
[[:space:]]+  ;
.             return yytext[0];

<IN_COMMENT>{
  "*/"        MY_BEGIN(INITIAL);
  .|[^*]+     ;
}

Note:

第一个之后的任何缩进代码%%并且在第一个模式插入之前yylex;在它之前执行的唯一一件事是一次性初始化yystate_t对象，如果有必要的话。

文件begin.main.c

/* Simple driver which creates and destroys a scanner object for every line
 * of input. Note, however, that it reuses the extra data object, which holds
 * persistent information (in this case, the current start condition).
 */
#include <stdio.h>
#include "begin.h"

int main ( int argc, char * argv[] ) {
  char* buffer = NULL;
  size_t buflen = 0;

  struct Extra my_extra = {0};

  for (;;) {
    ssize_t nr = getline(&buffer, &buflen, stdin);
    if (nr < 0) break;
    if (nr == 0) continue; 

    yyscan_t scanner;
    yylex_init_extra(&my_extra, &scanner);

    /* Ensure there are two NUL bytes for yy_scan_buffer */
    if (buflen < nr + 2) {
      buffer = realloc(buffer, nr + 2);
      buflen = nr + 2;
    }
    buffer[nr + 1] = 0;
    YY_BUFFER_STATE b = yy_scan_buffer(buffer, nr + 2, scanner);

    for (;;) {
      int token = yylex(scanner);
      if (token == 0) break;
      printf("%d: '%s'\n", token, yyget_text(scanner));
    }
    yy_delete_buffer(b, scanner);
    yylex_destroy(scanner);
  }
  return 0;
}

Build:

flex -o begin.lex.c --header-file begin.lex.h begin.l
gcc -Wall -ggdb -o begin begin.lex.c begin.main.c