主要分为三大块:
1.数据筛选:去除那些训练集中不对齐、质量差的句对。相关的技巧有很多:
- 去重:重复的数据会使训练过程有偏。可以简单地去除完全相同的句对,也可以计算每两个句子之间的局部哈希值,把相似度小于某个阈值的句对都去除;
- 去空行:空行不能提供任何信息,而且可能会引起BUG;
- 特殊符号处理:这个就需要通过肉眼来观察,然后确定一个特殊符号列表了。常见的,包含控制字符、转义字符、URL符号等的都需要处理,至于处理方式是删除符号、还是删除句对,就得人为确定了;
上面几步不需要tokenize就可以做,下面几步要在tokenize之后再进行。
- 长度筛选:长度太短的句对,对训练没有帮助;长度太长的句对,在送入模型后也会进行截断,所以也没有必要保留;
- 长度比筛选:长度比偏离3倍标准差的句对,基本上都是有问题的句对,可以删去;
- 对齐筛选:计算对齐得分,前向和后向相加,得分太低的句对都可以删除;
- 语言模型筛选:计算语言模型得分,源端和目标端相加,得分太低的句对都可以删除;
2.tokenization:对输入的文本进行分词、大小写转换等操作。注意,因为翻译是生成式任务,所以很多操作需要保证是可恢复的,也就是说,切分完了之后,还得有能力还原,最后送给用户的是未经过切分的语句。
- 全半角转换:有些时候输入文本中存在全角的符号、数字等,这个都需要