训练新的 AutoTokenizer 拥抱脸部

收到此错误：AttributeError：“GPT2Tokenizer”对象没有 属性“train_new_from_iterator”

与拥抱面部文档非常相似。我更改了输入，就是这样（不应该影响它）。有一次就成功了。 2小时后回来查看，发现并没有……什么都没有改变。文档指出 train_new_from_iterator 仅适用于“快速”分词器，并且 AutoTokenizer 默认情况下应该选择“快速”分词器。我最好的猜测是，它在这方面遇到了一些麻烦。我还尝试降级变压器并重新安装，但没有成功。 df 只是一列文本。

from transformers import AutoTokenizer
import tokenizers

def batch_iterator(batch_size=10, size=5000):
    for i in range(100): #2264
        query = f"select note_text from cmx_uat.note where id > {i * size} limit 50;"
        df = pd.read_sql(sql=query, con=cmx_uat)

        for x in range(0, size, batch_size):
            yield list(df['note_text'].loc[0:5000])[x:x + batch_size]

old_tokenizer = AutoTokenizer.from_pretrained('roberta')
training_corpus = batch_iterator()
new_tokenizer = old_tokenizer.train_new_from_iterator(training_corpus, 32000)

有两件事需要记住：

First: The train_new_from_iterator仅适用于快速分词器。 (在这里您可以阅读更多内容 https://github.com/huggingface/transformers/issues/15077)

Second：训练语料库。应该 批量文本的生成器，例如，列表的列表 如果您已经记住了所有内容，请发短信。 (官方文件 https://huggingface.co/docs/transformers/main_classes/tokenizer)

def batch_iterator(batch_size=3, size=8):
        df = pd.DataFrame({"note_text": ['fghijk', 'wxyz']})
        for x in range(0, size, batch_size):
            yield df['note_text'].to_list()

old_tokenizer = AutoTokenizer.from_pretrained('roberta-base')
training_corpus = batch_iterator()
new_tokenizer = old_tokenizer.train_new_from_iterator(training_corpus, 32000)
print(old_tokenizer( ['fghijk', 'wxyz']))
print(new_tokenizer( ['fghijk', 'wxyz']))

output:

{'input_ids': [[0, 506, 4147, 18474, 2], [0, 605, 32027, 329, 2]], 'attention_mask': [[1, 1, 1, 1, 1], [1, 1, 1, 1, 1]]}
{'input_ids': [[0, 22, 2], [0, 21, 2]], 'attention_mask': [[1, 1, 1], [1, 1, 1]]}