我遇到了一个大问题。对于我的学士论文，我必须使用 BERT 制作一个机器翻译模型。
但我现在一事无成。
您知道可以在这里帮助我的文档或其他东西吗？
我已经阅读了一些这方面的论文，但也许有文档或教程可以帮助我。
对于我的学士论文，我必须将文本摘要翻译成标题。
我希望有一个人可以帮助我。
BERT 不是机器翻译模型，BERT 旨在提供对各种 NLP 任务有用的上下文句子表示。尽管存在将 BERT 纳入机器翻译的方法（https://openreview.net/forum?id=Hyl7ygStwB https://openreview.net/forum?id=Hyl7ygStwB），这不是一个简单的问题，人们怀疑它是否真的能带来回报。
从你的问题来看，看来你并不是真正的机器翻译，而是自动摘要。与机器翻译类似，可以使用序列到序列模型来实现，但我们在 NLP 中不称其为翻译。
对于序列到序列建模，有不同的预训练模型，例如BART https://arxiv.org/abs/1910.13461 or MASS https://arxiv.org/abs/1905.02450。这些应该比 BERT 有用得多。
2022年9月更新：有多语言的类似BERT的模型，最著名的是多语言 BERT https://huggingface.co/bert-base-multilingual-cased and XLM-罗伯塔 https://huggingface.co/xlm-roberta-base。经过仔细微调后，它们可以用作机器翻译的通用编码器，并实现所谓的零样本机器翻译。该模型经过训练可以从多种源语言翻译成英语，但最终它可以翻译多语言 BERT 类模型涵盖的所有语言。该方法称为SixT https://arxiv.org/abs/2104.08757v1.
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
