10. Механизмы внимания

Зрительная система приматов получает огромный объём сенсорных данных, который намного превышает то, что мозг способен полностью обработать. Однако не все стимулы одинаково важны. Сосредоточенность сознания позволяет приматам направлять внимание на интересующие объекты в сложной визуальной среде, например на добычу или хищника. Способность сосредотачиваться на небольшой части информации важна для эволюции: она помогает людям выживать и добиваться успеха.

С XIX века учёные изучают внимание в области когнитивной нейронауки. Многие разделы этой главы опираются на такие исследования.

Сначала мы рассмотрим классическую схему внимания, которая объясняет, как внимание распределяется в визуальной сцене. Вдохновляясь подсказками внимания (attention cues) из этой схемы, мы спроектируем модели, которые умеют их использовать. Ядерная регрессия Надарая — Ватсона (Nadaraya-Watson kernel regression) 1964 года — простая демонстрация машинного обучения с механизмом внимания (attention mechanism).

Далее мы рассмотрим функции внимания, которые широко применяются при проектировании моделей внимания в глубоком обучении. В частности, мы покажем, как с их помощью построить внимание Баданау (Bahdanau attention). Оно стало прорывом в глубоком обучении: выравнивает входы и выходы двунаправленно и допускает дифференцирование.

Наконец, мы опишем архитектуру Transformer, построенную только на механизмах внимания, в которой используются многоголовое внимание (multi-head attention) и самовнимание (self-attention). Со времени появления в 2017 году Transformer широко применяется в современных приложениях глубокого обучения: в обработке языка, компьютерном зрении, распознавании речи и обучении с подкреплением.