文本处理（六）——Text-CNN、Word2Vec、RNN、NLP、Keras、fast.ai

• 这个博客也是很多综述、NLP前沿、全面的涉猎
  Deep Learning for NLP Best Practices

(Stanford CS224d) Deep Learning and NLP课程笔记（二）：word2vec

• wordNet的缺点
• one-hot encoding所有词相似度都是0，且存在数据稀疏性和维度灾难的问题；
• Distributional Representation。从大量语料中构建一个co-occurrence矩阵来定义word representation。矩阵的构造通常有两种方式：基于document和基于windows。通过统计word与document共现的次数得到的矩阵被称为word-document矩阵。这个矩阵一般被用于主题模型。相同主题的word之间往往有着较高的相似度。但该矩阵很难描述word的语法信息（例如POS tag）。我们在课堂上主要讲授的是第二类矩阵：word-context矩阵。通过统计一个事先指定大小的窗口内的word共现次数，不仅可以刻画word的语义信息，还在一定程度上反应了word的语法结构信息。co-occurrence矩阵定义的词向量在一定程度上缓解了one-hot向量相似度为0的问题，但没有解决数据稀疏性和维度灾难的问题。
• SVD分解：低维词向量的间接学习。基于co-occurrence矩阵得到的离散词向量存在着高维和稀疏性的问题，一个自然而然的解决思路是对原始词向量进行降维，从而得到一个稠密的连续词向量。然而，高昂的计算复杂度（O(mn**2)）是SVD算法的性能瓶颈。每一个新词的加入都需要在一个新的矩阵上重新运行一遍SVD分解。
• word2vec：低维词向量的直接学习。word2vec模型背后的基本思想是对出现在上下文环境里的词进行预测（事实上，后面会看到，这种对上下文环境的预测本质上也是一种对co-occurrence统计特征的学习）。梯度计算需要对每个上下文窗口都计算出训练集中所有单词的条件概率。这对于动辄上百万的词典而言，几乎是一件不可能完成的任务。因此，Mikolov在他2013年发表的论文里提出了一些性能优化的Hacks，包括近似归一化的层次Softmax，和避免归一化的负采样技术。
• 下一节课，学习结合二者优势的新的词向量模型——Glove模型。

(Stanford CS224d) Deep Learning and NLP课程笔记（三）：GloVe与模型的评估

• 本节课继续讲授word2vec模型的算法细节，并介绍一种新的基于共现矩阵的词向量模型——GloVe模型。最后，重点介绍word2vec模型评估的两种方式。
• 负采样（Negative Sampling）的似然函数，避免了归一化概率的计算。
• GloVe模型
  上节课比较了基于统计的词向量模型和基于预测的词向量模型。前者以基于SVD分解技术的LSA模型为代表，通过构建一个共现矩阵得到隐层的语义向量，充分利用了全局的统计信息。然而这类模型得到的语义向量往往很难把握词与词之间的线性关系（例如著名的King、Queen、Man、Woman等式）。后者则以基于神经网络的Skip-gram模型为代表，通过预测一个词出现在上下文里的概率得到embedding词向量。这类模型的缺陷在于其对统计信息的利用不充分，训练时间与语料大小息息相关。不过，其得到的词向量能够较好地把握词与词之间的线性关系，因此在很多任务上的表现都要略优于SVD模型。既然两种模型各有优劣，那么能不能二者各取其长，构造一个更强大的词向量模型呢？这就是接下来要介绍的GloVe模型。在GloVe的原始论文里，作者首先分析了Skip-gram模型能够挖掘出词与词之间线性关系的背后成因，然后通过在共现矩阵上构造相似的条件，得到一个基于全局信息的词向量模型——GloVe模型。
• 模型的评估：在NLP的研究领域里，一个模型的评估通常有两种方式：Intrinsic 和 Extrinsic。

Kaggle

数据挖掘进阶：kaggle竞赛top代码分享