关于 seq2seq 模型的最新 Tensorflow api 已包含计划采样:
https://www.tensorflow.org/api_docs/python/tf/contrib/seq2seq/ScheduledEmbeddingTrainingHelper
https://www.tensorflow.org/api_docs/python/tf/contrib/seq2seq/ScheduledOutputTrainingHelper
计划抽样的原始论文可以在这里找到:https://arxiv.org/abs/1506.03099
我读了这篇论文,但我无法理解两者之间的区别ScheduledEmbeddingTrainingHelper
and ScheduledOutputTrainingHelper
。文档只说ScheduledEmbeddingTrainingHelper
是一个训练助手,它添加了计划采样,同时ScheduledOutputTrainingHelper
是一个训练助手,可将计划采样直接添加到输出中。
我想知道这两个助手有什么区别?
我联系了这背后的工程师,他回复说:
输出采样器在该时间步发出原始 rnn 输出或原始地面实况。嵌入采样器将 rnn 输出视为分布的 logits,并从该分类分布或该时间步的原始基本事实中发出采样 id 的嵌入查找。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)