最近需要处理一些多模态任务（图文匹配，caption等），需要用到多模态模型/算法。调研之后发现，目前处理此类问题的主流方法都是基于bert的多模态模型，因此总结一下学习过程中遇到的问题，以及自己对这些模型的理解。
本文主要学习和记录一下video bert《VideoBERT: A Joint Model for Video and Language Representation Learning》这篇文章。读完这篇论文，给我的最大感受就是：为了让多模态数据（video和文本）能够同时输入到bert模型中进行训练和学习，作者对多模态数据进行了一些预处理操作。主要是针对视频数据的预处理操作，文本数据按照Bert论文中介绍的方法即可。具体来说，作者使用S3D模型来提取每一个视频clip的特征，然后再将这些实数值空间中的视觉特征进行离散化并为其分配一个新的符号如v0，这样就获得了表示整个视频的token sequence (如v01, v02, v03 .....)。接下来就交由Bert来处理这些token sequence。 作者使用层次聚类的方式，对经过S3D提取后的每个clip特征进行聚类，共获得20736聚类中心。然后为这些聚类中心分配新的token(v01, v02....）并添加到字典中，这样就得到了视频对应的token sequence和文本的token sequence，如下图所示，左边为文本token sequence，右边为视频token sequence。
[CLS]表示一个句子/句子对，[SEP]代表句子对之间的间隔。[>]代表文本序列和视频序列的间隔
本文通过三个具体任务来训练模型，获取预训练参数：1）完形填空任务MLM（Bert中提出的），2）下一个句子预测（Bert中的），3）当前文本序列和视频序列是否匹配（从整个语义角度来判断是否匹配，而不是一个单词对应一个视频clip)。接下来，详细介绍一下上述三个任务。
MLM任务，即随机mask text token，使用剩余的token来进行预测。
最近需要处理一些多模态任务（图文匹配，caption等），需要用到多模态模型/算法。调研之后发现，目前处理此类问题的主流方法都是基于bert的多模态模型，因此总结一下学习过程中遇到的问题，以及自己对这些模型的理解。
本文主要学习和记录一下video bert《VideoBERT: A Joint Model for Video and Language Representation Learning》这篇文章。读完这篇论文，给我的最大感受就是：为了让多模态数据（video和文本）能够同时输入到bert模型中进行训练和学习，作者对多模态数据进行了一些预处理操作。主要是针对视频数据的预处理操作，文本数据按照Bert论文中介绍的方法即可。具体来说，作者使用S3D模型来提取每一个视频clip的特征，然后再将这些实数值空间中的视觉特征进行离散化并为其分配一个新的符号如v0，这样就获得了表示整个视频的token sequence (如v01, v02, v03 .....)。接下来就交由Bert来处理这些token sequence。 作者使用层次聚类的方式，对经过S3D提取后的每个clip特征进行聚类，共获得20736聚类中心。然后为这些聚类中心分配新的token(v01, v02....）并添加到字典中，这样就得到了视频对应的token sequence和文本的token sequence，如下图所示，左边为文本token sequence，右边为视频token sequence。
[CLS]表示一个句子/句子对，[SEP]代表句子对之间的间隔。[>]代表文本序列和视频序列的间隔
本文通过三个具体任务来训练模型，获取预训练参数：1）完形填空任务MLM（Bert中提出的），2）下一个句子预测（Bert中的），3）当前文本序列和视频序列是否匹配（从整个语义角度来判断是否匹配，而不是一个单词对应一个视频clip)。接下来，详细介绍一下上述三个任务。
MLM任务，即随机mask text token，使用剩余的token来进行预测。
其中 x_{l} 为mask的token， x_{\l} 为剩余的token sequence。这个损失函数做的就是利用剩余未被掩码的token sequence来最大化预测mask token的概率。其中，
x_{l} is a one-hot vector for the l'th token，f_{\theta} 就是Bert模型。此处使用内积的形式（而非softmax, 接下来第二篇文章用softmax)来计算最终的损失。
MLM任务使得模型可以从前到后的编码句子序列，也可以同后往前，这样就学到了每个文本具有上下文的word embedding。
Predict next sentence task（预测下一个句子）. 上述MLM任务只能学到每个单词的上下文表示，无法学到整个句子级别的语义表示。通过predict next sentence tas可以学习到句子级别的表示。
Linguistic-visual alignment task. 是video bert提出的为了对齐视频序列和文本序列的任务。本质上是一个二分类任务，即判断文本序列和视频序列是不是有对应关系，这里的对应是整个语义级别的而不是每个token的对应。
总结：这篇论文算是Bert应用在多模态领域最经典的文章了。为了使Bert模型也能够训练视频数据，作者对视频帧特征进行了离散化处理，使其可以表示为token sequence。但是，这种将多个视频用其聚类中心表示的方式，会损失原始视频数据的许多细节信息。这个现象也引出了第二篇文章《learning video representation using contrastive bidirectional transformer》，这篇文章不需要对视频进行离散化处理，也可以使用Bert模型来获得更好的预训练参数。
对video数据进行离散化处理的本质：通过这种方式，video bert模型能够使用MLM任务对视频数据进行训练。如果视频clip不是token，而是 R^{1024} 空间中的连续实数值，我们还能用one-hot的形式表示公式2中的 x_{l} 吗？ 显然是不可能的！但是，直观上，对视频特征进行离散化处理肯定会损失很多细节信息。那怎么解决这个矛盾呢？熟悉word2vec的读者一定了解负采样技巧把，自然语言任务中的字典通常来说是非常大的，直接使用softmax预测具体的单词的类别，是非常耗时的一个过程。word2vec论文中提出了一个负采样技巧来缓解上述过程，即首先给定要预测的单词（正类别），然后随机采样一些噪声词（负类别），然后让模型从这些词中找到正确的单词，这样既能训练模型，也降低了训练难度。
其实《learning video representation using contrastive bidirectional transformer》这篇文章就是采用了负采样技巧，使模型能够以MLM任务来训练处于连续实数空间中的视频特征。
MLM任务的损失函数如下：
与公式1一模一样，这里是极小化，公式1是极大化。
此处使用了softmax函数衡量相似程度，video bert是使用了内积的形式。
接下来是本文的重点，通过负采样NCE loss来实现训练实数空间中的视频数据：
其中, \bar{e} = g_{contex}(e_{-t}) 是被mask的visual sequence的visual bert输出。因为视觉特征是连续不可数的，因此无法穷举所有的负例，只能通过负采样的方式来进行训练。这样就解决了MLM不可以训练连续空间下的现象了。
