flex / bison:如何在同一输入文件上切换两个词法分析器

2023-12-01

我如何移交打开的文件,例如由另一个扫描仪读取到下一个扫描仪 - 并将其交给解析器?


Flex 缓冲区无法轻松地从一台扫描仪传输到另一台扫描仪。许多细节对于扫描仪来说是私有的,需要进行逆向工程,从而导致可维护性的丧失。

然而,只要语义类型兼容,将两个(或多个)扫描器定义组合成单个扫描器并不困难。只需给它们不同的启动条件即可。由于甚至可以在扫描仪操作之外设置启动条件,因此从一个扫描仪定义切换到另一种扫描仪定义很简单。

由于 Flex 扫描仪是基于桌面的,因此将两台扫描仪结合起来并不存在真正的低效率;事实上,不重复代码可能有一定的价值。组合表可能比各个表的总和稍大,因为可能有更多的字符等价类,但另一方面,较大的表可能允许更好的表压缩。这些影响可能都不明显。


这是一个简单但可能有用的示例。该解析器读取文件并替换${arithmetic expressions}与评估的表达式。 (由于它只是一个示例,因此只允许非常基本的表达式,但它应该很容易扩展。)

由于词法扫描器需要在启动条件下启动SC_ECHO,需要初始化。就我个人而言,我更愿意从INITIAL为了避免在这个简单的情况下进行初始化,但有时扫描仪需要能够处理各种启动条件,所以我保留了代码。错误处理可以改进,但它是功能性的。

解析器使用一个非常简单的error重新同步并跟踪替换错误的规则。非终结符的语义值subst, file and start是文件的错误计数;的语义值expr是表达式的值。在这个简单的例子中,它们都是整数,所以默认类型yylval works.

未终止的替换处理不优雅;特别是,如果在词法扫描期间读取 EOF 进行替换,则不会将任何指示插入到输出中。我把解决这个问题作为练习。 :)

这是词法分析器:

%{
#include "xsub.tab.h"
%}
%option noinput nounput noyywrap nodefault
%option yylineno
%x SC_ECHO
%%
   /* In a reentrant lexer, this would go into the state object */
   static int braces;

   /* This start condition just echos until it finds ${... */
<SC_ECHO>{
  "${"        braces = 0; BEGIN(INITIAL);
  [^$\n]+     ECHO;
  "$"         ECHO;
  \n          ECHO;
}
 /* We need to figure out where the substitution ends, which is why we can't
  * just use a standard calculator. Here we deal with terminations.
  */
"{"           ++braces; return '{';
"}"           { if (braces) { --braces; return '}'; }
                else        { BEGIN(SC_ECHO); return FIN; }
              }

 /* The rest is just a normal calculator */
[0-9]+        yylval = strtol(yytext, NULL, 10); return NUMBER;
[[:blank:]]+  /* Ignore white space */
\n            /* Ignore newlines, too (but could also be an error) */
.             return yytext[0];

%%
void initialize_scanner(void) {
  BEGIN(SC_ECHO);
}

解析器导出一个接口:

int parseFile(FILE *in, *out);

如果一切顺利,则返回 0,否则返回错误替换的数量(以上述未终止替换的问题为模)。这是文件:

%{
#include <stdio.h>
int yylex(void);
void yyerror(const char* msg);
void initialize_scanner(void);

extern int yylineno;
extern FILE *yyin, *yyout;
%}
%token NUMBER FIN UNOP
%left '+' '-'
%left '*' '/' '%'
%nonassoc UNOP

%define parse.lac full
%define parse.error verbose
%%
start: file          { if ($1) YYABORT; else YYACCEPT; }
file :               { $$ = 0; }
     | file subst    { $$ = $1 + $2; }
subst: expr FIN      { fprintf(yyout, "%d", $1); $$ = 0; }
     | error FIN     { fputs("${ BAD SUBSTITUTION }", yyout); $$ = 1; }
expr : NUMBER
     | '-' expr %prec UNOP { $$ = -$2; }
     | '(' expr ')'  { $$ = $2; }
     | expr '+' expr { $$ = $1 + $3; }
     | expr '-' expr { $$ = $1 - $3; }
     | expr '*' expr { $$ = $1 * $3; }
     | expr '/' expr { $$ = $1 / $3; }
     | expr '%' expr { $$ = $1 % $3; }
%%
void yyerror(const char* msg) {
  fprintf(stderr, "%d: %s\n", yylineno, msg);
}

int parseFile(FILE* in, FILE* out) {
  initialize_scanner();
  yyin = in;
  yyout = out;
  return yyparse();
}

还有一个简单的驱动程序:

#include <stdio.h>
int parseFile(FILE* in, FILE* out);
int main() {
  return parseFile(stdin, stdout);
}
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

flex / bison:如何在同一输入文件上切换两个词法分析器 的相关文章

随机推荐

  • 为什么多个 on_message 事件不起作用?

    为什么我不能有多个on message events import discord client discord Client client event async def on ready print in on ready client
  • Power BI 上个月 DAX 滚动总计

    我正在 POWER BI 中工作 并尝试计算上个月滚动总计的 DAX 表达式 我有一个过滤器 我选择某个月份 我想计算上个月的滚动总数 下面的计算非常适合计算所选日期范围的滚动总计 如何计算前几个月的滚动总额 Rolling Total C
  • 在 Android 中使用 Html.fromHtml() 突出显示文本颜色?

    我正在开发一个应用程序 其中会有一个搜索屏幕 用户可以在其中搜索特定关键字 并且该关键字应该是 突出显示 我找到了 Html fromHtml 方法 但我想知道这是否是正确的做法或 不是 请让我知道您对此的看法 或者比处理简单得多Spann
  • 仅从特定文件夹进行 Git 合并

    我已经为客户 X 创建了一个 Rails 网站 我现在有一个客户 Y 他想要一个与客户 X 执行完全相同的操作但具有不同外观的网站 我从 clientXcode 创建了一个 git 分支 并将其命名为 clientYcode 然后我对视图进
  • 有没有办法根据 R 中另一个数据框中的共享值构建成对数据框?

    例如 DF1 是 Id1 Id2 1 10 2 10 3 7 4 7 5 10 并想要 DF2 Id1 Id2 1 2 1 5 2 5 3 4 数据框 DF2 是 DF1 中 Id1 列中的一组值 它们共享 DF1 中 Id2 中的公共值
  • 将多维数组元素转换为不同类型

    假设我有这个多维数组 float vertices new float 0f 1 28f 1 28f 2 56f 3 84f 2 56f 5 12f 1 28f 3 84f 0f 1 28f 0f 0f 1 28f new float 0f
  • 使用数组方法的素数列表

    我有一个获取素数列表的代码 def primes numbers num primes 2 3 step Math sqrt num 1 2 do i is prime true primes each do p here if p gt
  • 单元测试 ASP.Net MVC 授权属性以验证重定向到登录页面

    这可能只是需要另一双眼睛的情况 我一定错过了一些东西 但我不明白为什么这种东西不能被测试 我基本上试图通过使用 Authorize 属性标记控制器来确保未经身份验证的用户无法访问视图 并且我尝试使用以下代码对此进行测试 Fact publi
  • 重新打开窗口抛出 Gtk-CRITICAL **:gtk_widget_get_window:断言“GTK_IS_WIDGET(小部件)”失败

    我有简单的 python3 gtk3 代码 它连接到 dbus 并监听所有事件 当用户单击托盘中的图标时 他必须看到包含所有显示的早期事件的窗口 代码 我不知道问题出在哪里并且代码大小 gt 100行 https github com ra
  • string.h 中的 strupr() 和 strlwr() 是 ANSI 标准的一部分吗?

    我在互联网上寻找这个 并且在每个具有 string h 功能的地方都没有提到这两个 是因为什么 它们并不存在于每个编译器中 它们是来自 Microsoft C 库的非标准函数 此后 MS 已弃用它们 转而采用重命名的函数 strlwr an
  • C++ 中的 OpenID 库?

    我需要在 C 网站中使用 openid 但找不到可以使用的工作库 我正在尝试使用这个 http kin klever net libopkele requirements 但它会停止配置并显示以下消息 检查 OPENSSL 配置 错误 未找
  • Django 在调试模式下损坏管道

    我在 Nginx 后面的远程服务器上有 django 1 3 如果我使用 apache mod wsgi 运行 django 我可以查看 apache 日志文件中的错误 没关系 但我想在控制台中使用 如果我运行 django 自己的开发服务
  • TFS 构建代理用户功能的值可以在构建步骤中获得吗?

    我正在尝试在 TFS 中编写一个构建步骤 该步骤依赖于了解构建代理存储 nuget exe 的位置 标准 nuget install 步骤以破坏构建执行的方式破坏了参数的顺序 所以我想使用batch shell ps 步骤之一自己运行exe
  • 检查连续元素之间的差异是否相同

    我是在 Prolog 中使用算术的新手 我做过一些小程序 但主要涉及逻辑 我正在尝试实现一个将返回的函数true or false每个连续元素对之间的差异是否相同 我的输入如下所示 sameSeqDiffs 3 5 7 9 2 我觉得我需要
  • Gradle 替代 mvn install

    我在 mvn 上构建了 2 个不同的项目 我正在尝试更换为 Gradle 项目 1 是一个 SDK 项目 2 使用该 sdk 示例 在 maven 的时候 它使用 mvn install 创建工件 将整个项目添加到本地存储库中 我喜欢这样在
  • 如何将 linq 结果转换为 HashSet 或 HashedSet

    我有一个 ISet 类的属性 我正在尝试将 linq 查询的结果获取到该属性中 但不知道如何执行此操作 基本上 寻找最后一部分 ISet
  • 执行程序时,代码块打开 2 个控制台窗口

    我最近安装了 Code Blocks 并使用它进行 C 编程 我编写了一个基本的 Hello World 程序 当我运行该程序时 会打开 2 个控制台窗口而不是 1 个 如果只有输出 则第一个控制台在显示输出后关闭 然后第二个窗口保持打开状
  • 如果数据库发生变化,自动刷新内容

    当 mysql 数据库表更改时 如何自动将数据库行 PHP 的值添加到页面 而不刷新页面本身 所以 它有点像这样 自动刷新浏览器以响应文件系统更改 but当数据库发生变化时 不要刷新浏览器来更改文件系统 而是更新内容 而不刷新任何内容 谢谢
  • 使用Session存储Datatable

    目前 我们使用会话在页面中存储数据表 这样我们就不必一次又一次地访问数据库来获取相同的数据表 但我担心它会占用服务器内存 如果有一天大量用户登录 服务器的响应会变慢 我们的应用程序也可能崩溃 请告诉我将数据表存储到会话中是个好主意还是我们应
  • flex / bison:如何在同一输入文件上切换两个词法分析器

    我如何移交打开的文件 例如由另一个扫描仪读取到下一个扫描仪 并将其交给解析器 Flex 缓冲区无法轻松地从一台扫描仪传输到另一台扫描仪 许多细节对于扫描仪来说是私有的 需要进行逆向工程 从而导致可维护性的丧失 然而 只要语义类型兼容 将两个