Glove和fastText

这是我参与8月更文挑战的第23天，活动详情查看： 8月更文挑战

本文介绍两种更新一点的词向量，它们分别是2014年由Stanford团队发表的Glove和2017年由Facebook团队发表的fastText

Glove

Glove使用了词与词之间的共现（co-occurrence）信息。我们定义$X$为共现词频矩阵，其中元素$x_{ij}$表示词$j$出现在词$i$的环境（context）的次数。这里的”环境”有多种定义。举个例子，在一段文本序列中，如果词$j$出现在词$i$左边或者右边不超过10个词的距离，我们可以认为词$j$出现在词$i$的环境一次。令$x_i=\sum_kx_{ik}$为任意词出现在词$i$的环境的次数。那么