增强字符串匹配 DFA

给定一个字符串，我必须测试它是否以一组已知的后缀结尾。现在，由于后缀不是很小，文档中的每个单词都必须根据已知后缀列表进行检查。单词中的每个字符和后缀都是char32_t。由于天真的迭代匹配将是昂贵的。尽管大多数后缀不是子后缀或另一个后缀的前缀，但它们大多数都是由一小组字符构成的。大多数检查都会失败而不是成功。

所以我想建立一个DFA的后缀，以尽量减少错过的成本。我可以手动解析 unicode 代码点并使用以下命令创建 DFAboost-graph。但是有没有现有的图书馆可以为我构建它？

包含所有后缀的巨大正则表达式是否会比 DFA 便宜，因为正则表达式搜索也以类似的方式构建 DFA 进行匹配？但我想知道当有命中时匹配的是哪个后缀。在正则表达式的情况下，我需要执行另一个线性搜索才能得到它（我无法标记正则表达式的内部 DFA 的顶点）。我还需要unicode正则表达式。只需将所有后缀加上|我猜会和线性搜索一样昂贵。我想我需要检查常见字符并使用lookahed和lookbacks相应地创建正则表达式。我手动构建DFA不也需要面对同样的困难吗？

我在用utf-32用于随机访问。不过，如果我可以轻松解决的话，切换到 utf-8 不是问题。我将从右到左反转字符串和模式。

你考虑过灵性吗？当然，您没有指定如何在上下文中检测后缀（您是否需要在末尾添加它们，您是否需要在其前面添加一些语法等），但是您可以执行以下操作：

    x3::symbols<Char> sym;
    sym += "foo", "bar", "qux";

它构建了一个 Trie，非常有效。它可以解析任何类型的输入迭代器（如果您愿意的话，包括流）。只需添加一些针对上下文要求的魔法约束，例如输入结束:

bool has_suffix(string_view sv) {
    return parse(sv.cbegin(), sv.cend(), x3::seek[suffix >> x3::eoi]);
}

如果您甚至希望返回字符串的文本值，只需执行以下操作：

string_view get_suffix(string_view sv) {
    boost::iterator_range<string_view::const_iterator> output;
    parse(sv.cbegin(), sv.cend(), x3::seek[x3::raw[suffix >> x3::eoi]], output);
    return {output.begin(), output.size()};
}

Spirit 为您提供了很大的自由来围绕智能，动态添加/删除符号，例如使用no_case与 Trie 等

完整演示

使用 X3 (c++14)

Live On Coliru

#include <boost/spirit/home/x3.hpp>
#include <string_view>
#include <cstdint>

namespace Demo {
    using Char = char32_t;
    using string_view = std::basic_string_view<Char>;

    namespace x3 = boost::spirit::x3;

    static auto const suffix = [] {
        x3::symbols<Char> sym;
        sym += "foo", "bar", "qux";

        return sym; // x3::no_case[sym];
    }();

    bool has_suffix(string_view sv) {
        return parse(sv.cbegin(), sv.cend(), x3::seek[suffix >> x3::eoi]);
    }

    string_view get_suffix(string_view sv) {
        boost::iterator_range<string_view::const_iterator> output;
        parse(sv.cbegin(), sv.cend(), x3::seek[x3::raw[suffix >> x3::eoi]], output);
        return {output.begin(), output.size()};
    }
}

#include <iostream>
#include <iomanip>

int main() {
    using namespace Demo;

    auto widen = [](string_view sv) { return std::wstring(sv.begin(), sv.end()); };
    std::wcout << std::boolalpha;

    for (string_view testcase : { U"nope", U"lolbar you betqux" }) {
        std::wcout 
            << widen(testcase) 
            << L" -> " << has_suffix(testcase)
            << L" (" << widen(get_suffix(testcase))
            << L")\n";
    }
}

Prints

nope -> false ()
lolbar you betqux -> true (qux)

灵气版

A literal port: Live On Coliru

A C++11 only version: Live On Coliru

And a C++03 version for the really retro programming experience: Live On Coliru