Self-attention (Самовнимание) — это центральный процессор современного ИИ, на котором работают современные LLM и мультимодальные системы генерации контента.

Суть метода

Представьте читателя, который держит перед собой текст. При встрече со сложным словом он не пытается вспомнить только предыдущее предложение, а мгновенно сканирует взглядом весь абзац, чтобы найти все связанные понятия. Именно так работает self-attention. Он позволяет каждому элементу данных (токену) напрямую взаимодействовать с любым другим элементом той же последовательности.

Математически этот процесс реализуется через три проекции входных данных:

Query (Запрос) — это вопрос конкретного слова к окружающему миру: «Кто я в этом предложении? Какую роль играю?»
Key (Ключ) — это паспорт или метка каждого другого слова, описывающая его потенциальную полезность.
Value (Значение) — фактическая информация, которую несет слово.

Алгоритм вычисляет матрицу скалярных произведений между всеми запросами и всеми ключами. Результат показывает степень релевантности каждой пары слов. Чтобы превратить эти сырые числа в понятные веса, применяется функция Softmax. Она распределяет 100% внимания текущего токена между всеми остальными.

На финальном этапе вектор слова обновляется: берется взвешенная сумма значений всех остальных слов. В результате эмбеддинг (числовой портрет) слова перестает быть статичным. Слово «замок» в контексте «древний замок у реки» получит одни координаты в пространстве смыслов, а в контексте «железный замок заржавел» — совершенно другие. Модель больше не хранит словарь определений; она конструирует значение слова динамически для каждого нового случая.

Многоголовое внимание

Одно самовнимание подобно человеку с одним глазом — оно видит связи, но ограничено одной перспективой. Для создания объемной картины мира используется Multi-head Attention (многоголовое внимание).

Вместо одного набора матриц Query-Key-Value создается несколько независимых параллельных ветвей (голов). Каждая голова обучается фокусироваться на своем типе закономерностей. Пока одна отслеживает строгий синтаксис (связь подлежащего и сказуемого), другая ищет семантическую близость (синонимы), третья анализирует логические зависимости на большом расстоянии. Результаты этих микронаблюдений объединяются в единый поток, давая нейросети глубокое и многомерное понимание структуры данных.

Технические нюансы, удерживающие систему вместе

Механизм attention требует двух критических надстроек, без которых архитектура Transformer была бы нежизнеспособна:

Позиционное кодирование. Самовнимание принципиально невосприимчиво к порядку. Если подать на вход список чисел, представляющих слова, модель не поймет разницы между «Казнить нельзя помиловать» и «Помиловать нельзя казнить». Чтобы решить эту задачу, к векторам слов добавляются специальные позиционные маркеры — математические сигналы, указывающие точное место токена в очереди.
Каузальное маскирование. При обучении языковых моделей важно соблюдать причинно-следственную связь. Предсказывая следующее слово, сеть не имеет права подсматривать в ответ. Специальная маска накладывается на матрицу внимания сверху, физически блокируя доступ к будущим токенам. Каждый элемент может опираться только на себя и то, что было сказано до него.

Почему квадратичная сложность стала платой за свободу

Главная цена перехода к параллельному вниманию — вычислительная стоимость O(n2), где n — длина контекста. Каждое новое слово должно сравнить себя со всеми предыдущими. Если последовательность удваивается, количество связей увеличивается в четыре раза. Однако эта дорогая операция окупилась абсолютной свободой моделирования зависимостей. Слова на разных концах книги теперь могут влиять друг на друга так же легко, как соседние слова.

Эволюция этого механизма продолжается. Пространственное самовнимание сегодня управляет робототехникой и беспилотным транспортом, позволяя машинам выделять важные объекты в хаосе видеопотока. Алгоритмы оптимизации пытаются снизить ту самую квадратичную сложность, используя разреженные паттерны внимания, чтобы обрабатывать контексты длиной в миллионы токенов.

Self-attention навсегда изменил парадигму машинного обучения. Нейросети перестали быть просто статистическими машинами, предсказывающими следующий байт.

Благодаря способности устанавливать глобальные связи между данными, они превратились в инструменты, способные выстраивать сложные логические цепочки и оперировать абстрактными концепциями.