14.5 Вложения слов на основе глобальных векторов (GloVe)

Совместная встречаемость слов (co-occurrence) в пределах контекстного окна может нести богатую семантическую информацию. Например, в большом корпусе слово «твёрдый» (solid) более вероятно встретится вместе со словом «лёд» (ice), чем слово «газ» (gas), но слово «газ» может встречаться вместе со словом «пар» (steam) чаще, чем со словом «лёд». Кроме того, такую глобальную статистику корпуса можно вычислить заранее, что повышает эффективность обучения. Чтобы использовать статистическую информацию всего корпуса для вложений слов, сначала вернёмся к модели skip-gram из раздела 14.1.3, но истолкуем её через глобальную статистику корпуса, такую как счётчики совместной встречаемости.

14.5.1 Модель skip-gram с глобальной статистикой корпуса

Обозначим через $q_{ij}$ условную вероятность $P (w_{j} ∣ w_{i})$ слова $w_{j}$ при заданном слове $w_{i}$ в модели skip-gram:

$q_{ij} = \frac{exp ( u _{j}^{⊤} v _{i} )}{\sum _{k \in V} exp ( u _{k}^{⊤} v _{i} )},$

где для любого индекса $i$ векторы $v_{i}$ и $u_{i}$ представляют слово $w_{i}$ как центральное и как контекстное соответственно, а $V = {0, 1, \dots, ∣ V ∣ - 1}$ — множество индексов словаря.

Слово $w_{i}$ может встречаться в корпусе много раз. Во всём корпусе все контекстные слова, для которых $w_{i}$ — центральное слово, образуют мультимножество $C_{i}$ индексов слов, допускающее несколько экземпляров одного элемента. Число экземпляров элемента называется его кратностью. Для примера предположим, что слово $w_{i}$ встречается в корпусе дважды, а индексы контекстных слов с центральным словом $w_{i}$ в двух контекстных окнах равны $k, j, m, k$ и $k, l, k, j$ . Тогда мультимножество $C_{i} = {j, j, k, k, k, k, l, m}$ , где кратности элементов $j, k, l, m$ равны 2, 4, 1, 1 соответственно.

Теперь обозначим кратность элемента $j$ в мультимножестве $C_{i}$ через $x_{ij}$ . Это глобальный счётчик совместной встречаемости слова $w_{j}$ (как контекстного) и слова $w_{i}$ (как центрального) в одном контекстном окне во всём корпусе. С такой глобальной статистикой корпуса функция потерь модели skip-gram эквивалентна

$- i \in V \sum j \in V \sum x_{ij} lo g q_{ij} . (14.5.1)$

Обозначим через $x_{i}$ число всех контекстных слов в контекстных окнах, где $w_{i}$ встречается как центральное слово; это равно $∣ C_{i} ∣$ . Пусть $p_{ij}$ — условная вероятность $x_{ij} / x_{i}$ порождения контекстного слова $w_{j}$ . При заданном центральном слове $w_{i}$ выражение (14.5.1) можно переписать как

$- i \in V \sum x_{i} j \in V \sum p_{ij} lo g q_{ij} . (14.5.2)$

В (14.5.2) выражение $- \sum_{j \in V} p_{ij} lo g q_{ij}$ вычисляет кросс-энтропию условного распределения $p_{ij}$ глобальной статистики корпуса и условного распределения $q_{ij}$ , предсказанного моделью. Как сказано выше, эти потери тоже взвешены по $x_{i}$ . Минимизация функции потерь в (14.5.2) заставит предсказанное условное распределение приблизиться к условному распределению глобальной статистики корпуса.

Хотя кросс-энтропия обычно служит для измерения расстояния между распределениями вероятностей, здесь она, возможно, не лучший выбор. С одной стороны, как мы отмечали в разделе 14.2, нормировка $q_{ij}$ требует суммирования по всему словарю, что может быть очень дорого вычислительно. С другой стороны, большое число редких событий из большого корпуса часто моделируется кросс-энтропией, которая придаёт им слишком большой вес.

14.5.2 Модель GloVe

Поэтому модель GloVe вносит в модель skip-gram три изменения на основе квадратичных потерь (Pennington et al., 2014):

Использовать переменные $p_{ij}^{'} = x_{ij}$ и $q_{ij}^{'} = exp (u_{j}^{⊤} v_{i})$ вместо распределений вероятностей и взять логарифм обеих. Поэтому квадратичное слагаемое потерь равно $(lo g p_{ij}^{'} - lo g q_{ij}^{'})^{2} = (u_{j}^{⊤} v_{i} - lo g x_{ij})^{2}$ .
Добавить для каждого слова $w_{i}$ два скалярных параметра модели: смещение центрального слова $b_{i}$ и смещение контекстного слова $c_{i}$ .
Заменить вес каждого слагаемого потерь весовой функцией $h (x_{ij})$ , где $h (x)$ возрастает на отрезке $[0, 1]$ .

Собрав всё вместе, обучение GloVe — это минимизация следующей функции потерь:

$i \in V \sum j \in V \sum h (x_{ij}) (u_{j}^{⊤} v_{i} + b_{i} + c_{j} - lo g x_{ij})^{2} . (14.5.3)$

Для весовой функции рекомендуется такой выбор: $h (x) = (x / c)^{α}$ (например, $α = 0.75$ ) при $x < c$ (например, $c = 100$ ); иначе $h (x) = 1$ . Поскольку $h (0) = 0$ , для повышения эффективности вычислений можно опустить квадратичное слагаемое потерь для любого $x_{ij} = 0$ . Например, при обучении стохастическим градиентным спуском на минибатчах на каждой итерации мы случайно выбираем минибатч ненулевых $x_{ij}$ , чтобы вычислить градиенты и обновить параметры модели. Обратите внимание: эти ненулевые $x_{ij}$ — заранее вычисленная глобальная статистика корпуса; поэтому модель называется GloVe (Global Vectors, «глобальные векторы»).

Следует подчеркнуть, что если слово $w_{i}$ встречается в контекстном окне слова $w_{j}$ , то и слово $w_{j}$ встречается в контекстном окне слова $w_{i}$ . Поэтому $x_{ij} = x_{ji}$ . В отличие от word2vec, который аппроксимирует асимметричную условную вероятность $p_{ij}$ , GloVe аппроксимирует симметричную величину $lo g x_{ij}$ . Поэтому в модели GloVe вектор центрального слова и вектор контекстного слова любого слова математически эквивалентны. Но на практике из-за различных начальных значений одно и то же слово после обучения может получить разные значения в этих двух векторах: GloVe суммирует их и берёт сумму как выходной вектор.

14.5.3 Интерпретация GloVe через отношение условных вероятностей

Модель GloVe можно понять и с другой стороны. Используя те же обозначения, что в разделе 14.5.1, пусть $p_{ij} = def P (w_{j} ∣ w_{i})$ — условная вероятность порождения контекстного слова $w_{j}$ при заданном слове $w_{i}$ как центральном слове корпуса. В табл. 14.5.1 перечислены вероятности совместной встречаемости для слов «ice» и «steam» и их отношения по статистике большого корпуса.

Таблица 14.5.1. Вероятности совместной встречаемости слов в большом корпусе и их отношения (адаптировано из табл. 1 статьи (Pennington et al., 2014))

$w_{k}$ =	solid	gas	water	fashion
$p_{1} = P (w_{k} ∣ ice)$	0.00019	0.000066	0.003	0.000017
$p_{2} = P (w_{k} ∣ steam)$	0.000022	0.00078	0.0022	0.000018
$p_{1} / p_{2}$	8.9	0.085	1.36	0.96

Из табл. 14.5.1 можно сделать следующие наблюдения:

Для слова $w_{k}$ , связанного с «ice», но не связанного с «steam», например $w_{k} = solid$ , мы ожидаем большее отношение вероятностей совместной встречаемости, например 8.9.
Для слова $w_{k}$ , связанного с «steam», но не связанного с «ice», например $w_{k} = gas$ , мы ожидаем меньшее отношение вероятностей совместной встречаемости, например 0.085.
Для слова $w_{k}$ , связанного и с «ice», и со «steam», например $w_{k} = water$ , мы ожидаем отношение вероятностей совместной встречаемости, близкое к 1, например 1.36.
Для слова $w_{k}$ , не связанного ни с «ice», ни со «steam», например $w_{k} = fashion$ , мы ожидаем отношение вероятностей совместной встречаемости, близкое к 1, например 0.96.

Видно, что отношение вероятностей совместной встречаемости интуитивно выражает связь между словами. Поэтому можно построить функцию от трёх векторов слов, аппроксимирующую это отношение. Для отношения вероятностей совместной встречаемости $p_{ij} / p_{ik}$ , где $w_{i}$ — центральное слово, а $w_{j}$ и $w_{k}$ — контекстные слова, мы хотим аппроксимировать его некоторой функцией $f$ :

$f (u_{j}, u_{k}, v_{i}) \approx \frac{p _{ij}}{p _{ik}} . (14.5.4)$

Среди многих возможных вариантов $f$ мы выбираем лишь один разумный, исходя из следующих соображений. Поскольку отношение вероятностей совместной встречаемости — скаляр, потребуем, чтобы $f$ была скалярной функцией, например $f (u_{j}, u_{k}, v_{i}) = f ((u_{j} - u_{k})^{⊤} v_{i})$ . Поменяв местами индексы слов $j$ и $k$ в (14.5.4), получаем, что должно выполняться $f (x) f (- x) = 1$ , поэтому одна из возможностей — $f (x) = exp (x)$ , то есть

$f (u_{j}, u_{k}, v_{i}) = \frac{exp ( u _{j}^{⊤} v _{i} )}{exp ( u _{k}^{⊤} v _{i} )} \approx \frac{p _{ij}}{p _{ik}} .$

Теперь выберем $exp (u_{j}^{⊤} v_{i}) \approx α p_{ij}$ , где $α$ — константа. Поскольку $p_{ij} = x_{ij} / x_{i}$ , логарифмируя обе части, получаем $u_{j}^{⊤} v_{i} \approx lo g α + lo g x_{ij} - lo g x_{i}$ . Для аппроксимации $- lo g α + lo g x_{i}$ можно использовать дополнительные члены смещения, например смещение центрального слова $b_{i}$ и смещение контекстного слова $c_{j}$ :

$u_{j}^{⊤} v_{i} + b_{i} + c_{j} \approx lo g x_{ij} . (14.5.5)$

Измеряя взвешенную квадратичную ошибку в (14.5.5), получаем функцию потерь GloVe из (14.5.3).

Резюме

Модель skip-gram можно истолковать через глобальную статистику корпуса, такую как счётчики совместной встречаемости слов.
Кросс-энтропия, возможно, не лучший способ измерить различие двух распределений вероятностей, особенно для большого корпуса. GloVe использует квадратичные потери, чтобы аппроксимировать заранее вычисленную глобальную статистику корпуса.
Вектор центрального слова и вектор контекстного слова любого слова в GloVe математически эквивалентны.
GloVe можно истолковать через отношение вероятностей совместной встречаемости слов.

Упражнения

Если слова $w_{i}$ и $w_{j}$ встречаются в одном контекстном окне, как использовать расстояние между ними в текстовой последовательности, чтобы переосмыслить способ вычисления условной вероятности $p_{ij}$ ? Подсказка: см. раздел 4.2 статьи о GloVe (Pennington et al., 2014).
Математически эквивалентны ли для любого слова его смещение как центрального слова и смещение как контекстного? Почему?

Обсуждение

Литература

Pennington, J., Socher, R., & Manning, C. (2014). Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), 1532–1543.

Keyboard shortcuts