Perl 6 语法与我认为的不匹配

我正在做代码出现第 9 天 http://adventofcode.com/2017/day/9:

您坐了一会儿并记录了流的一部分（您的谜题输入）。这些字符代表组 - 开头的序列{并结束于}。在一个组内，有零个或多个其他东西，用逗号分隔：要么是另一个组，要么是垃圾。由于组可以包含其他组，因此}只关闭最近打开的未关闭组 - 也就是说，它们是可嵌套的。您的谜题输入代表一个单一的大组，该组本身包含许多较小的组。

有时，你会发现垃圾而不是一群人。垃圾开始于<并以>。在这些尖括号之间，几乎可以出现任何字符，包括{ and }。垃圾内，<没有特殊意义。

在徒劳地尝试清理垃圾时，某些程序使用以下命令取消了其中的一些字符!: 在垃圾内，后面的任何字符!应该被忽略，包括<, >，甚至还有另一个!.

当然，这对于 Perl 6 语法来说是令人尖叫的......

grammar Stream
{
    rule TOP { ^ <group> $ }

    rule group { '{' [ <group> || <garbage> ]* % ',' '}' }
    rule garbage { '<' [ <garbchar> | <garbignore> ]* '>' }

    token garbignore { '!' . }
    token garbchar { <-[ !> ]> }
}

这在简单的例子上似乎工作得很好，但在两个例子上就会出错garbchar连续：

say Stream.parse('{<aa>}');

gives Nil.

Grammar::Tracer没有帮助：

TOP
|  group
|  |  group
|  |  * FAIL
|  |  garbage
|  |  |  garbchar
|  |  |  * MATCH "a"
|  |  * FAIL
|  * FAIL
* FAIL
Nil

多种的garbignore没问题：

say Stream.parse('{<!!a!a>}');

gives:

｢{<!!a!a>}｣
 group => ｢{<!!a!a>}｣
  garbage => ｢<!!a!a>｣
   garbignore => ｢!!｣
   garbchar => ｢a｣
   garbignore => ｢!a｣

有任何想法吗？

UPD鉴于代码问题的出现没有提到空格，您不应该使用rule完全构建。只需切换所有rules to tokens，你应该已经设置好了。一般来说，遵循布拉德的建议——使用token除非你know你需要一个rule（下面讨论）或regex（如果您需要回溯）。

我最初的回答如下探讨了为什么rule没用。我暂时把它留在里面。

TL;DR <garbchar> |包含一个空格。直接跟在任何后面的空格atom https://en.wikipedia.org/wiki/Regular_expression#Syntax in a rule表示标记化中断。您可以简单地删除这个不适当的空间，即写<garbchar>|相反（或者更好的是，<.garbchar>|如果你不需要捕获垃圾）来得到你想要的结果。

正如您最初的问题所允许的那样，这不是一个错误，只是您的思维模型关闭了。

您的回答正确地指出了问题：代币化 https://en.wikipedia.org/wiki/Lexical_analysis#Tokenization.

所以我们剩下的是你的后续问题，这是关于你的标记化的心理模型，或者至少是 Perl 6 默认情况下如何标记化：

为什么...我的第二个例子...连续两个 garbchars 出错：

'{<aa>}'

简单来说，问题是如何对其进行标记：

aa

简单的高级答案是，在解析白话时，aa通常将被视为一个标记，而不是两个，并且默认情况下，Perl 6 采用这一普通定义。这就是您遇到的问题。

您可以推翻这个普通定义以获得您想要实现的任何标记化结果。但很少有必要这样做，而且在像这样的简单情况下当然也不需要这样做。

我将提供两条冗余路径，希望它们能引导人们找到正确的心智模型：

• 对于那些喜欢直接深入细节的人来说，有我最近写的关于 Perl 6 中标记化的 Reddit 评论 https://www.reddit.com/r/perl6/comments/7fa0wg/the_publisher_of_a_guide_to_parsing_is/dqaety3/.

• 这个答案的其余部分提供了高级讨论，补充了我的 reddit 评论中的低级解释。

摘自维基百科页面关于标记化的“障碍”部分 https://en.wikipedia.org/wiki/Lexical_analysis#Obstacles，并将摘录与 P6 的具体讨论交织在一起：

通常，标记化发生在单词级别。然而，有时很难定义“词”的含义。分词器通常依赖于简单的启发式方法，例如：

• 标点符号和空格可能包含也可能不包含在生成的标记列表中。

在 Perl 6 中，您可以使用与标记化正交的捕获功能来控制解析树中包含或不包含的内容。

• 所有连续的字母字符串都是一个标记的一部分；数字也是如此。

• 标记由空白字符（例如空格或换行符）或标点符号分隔。

默认情况下，Perl 6 设计体现了这两种启发式的等效方法。

得到的关键是它是rule处理一串标记（复数）的构造。这token构造用于定义每次调用一个令牌.

我想我的回答就到这里结束了，因为它已经很长了。请使用评论来帮助我们改进这个答案。我希望到目前为止我所写的内容有所帮助。