BERT 中 NER 的正确格式化数据应该是什么样子？

我正在使用 Huggingface 的transformers库并希望使用 BERT 执行 NER。我试图找到一个明确的示例，说明如何使用 BERT 正确格式化 NER 的数据。从我发现的论文和评论中，我并不完全清楚。

假设我们有以下句子和标签：

sent = "John Johanson lives in Ramat Gan."
labels = ['B-PER', 'I-PER', 'O', 'O', 'B-LOC', 'I-LOC']

我们输入到模型的数据会是这样的吗：

sent = ['[CLS]', 'john', 'johan',  '##son', 'lives',  'in', 'ramat', 'gan', '.', '[SEP]']
labels = ['O', 'B-PER', 'I-PER', 'I-PER', 'O', 'O', 'B-LOC', 'I-LOC', 'O', 'O']
attention_mask = [0, 1, 1, 1, 1, 1, 1, 1, 1, 0]
sentence_id = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

?

谢谢你！

2021-08-27 更新：教程链接指向旧版教程，我不再完全推荐该教程，因为它不使用 Huggingface 的便利库datasets.

实际上有很棒的教程 https://github.com/huggingface/transformers/tree/master/examples/legacy/token-classification有关huggingface 文档页面上的 NER 示例。具体来说，它还详细介绍了如何提供的脚本 https://github.com/huggingface/transformers/blob/master/examples/pytorch/token-classification/run_ner.py进行预处理。具体来说，有一个外部贡献者的链接preprocess.py脚本，基本上将 CoNLL 2003 格式的数据转换为 Huggingface 库所需的任何格式。我发现这是断言我具有正确格式的最简单方法，除非您有一些可能想要合并的特定更改，否则这可以让您快速入门，而无需担心实现细节。

链接的示例脚本还提供了有关如何将相应输入输入到模型本身的足够详细信息，但一般来说，您的上述输入模式是正确的。