Vision Transformer, VIT — модель, для понимания алгоритму картинки без свертки.

Проблема классических сверточных сетей (CNN)

Сверточные сети были невероятно успешны. Их главные строительные блоки — локальные фильтры (ядра) и индуктивные смещения (предположение о том, что соседние пиксели связаны, а важные объекты инвариантны к сдвигу).

Однако у CNN есть фундаментальные ограничения:

Локальный контекст. Свертка видит только небольшую область изображения за один шаг. Чтобы понять глобальную картину (например, что человек на фото держит именно теннисную ракетку, а не просто весло на фоне сетки), сигнал должен пройти через десятки слоев, постепенно расширяя рецептивное поле.
Жесткость архитектуры. Индуктивные смещения делают CNN эффективными на малых датасетах, но мешают им масштабироваться. На огромных массивах данных (сотни миллионов изображений) они начинают проигрывать более гибким архитектурам.
Неэффективная вычислительная структура. Пространственная природа сверток плохо распараллеливается на современных ускорителях (GPU/TPU) по сравнению с матричными операциями.

Анатомия Vision Transformer

Главная идея ViT заключается в том, чтобы перестать смотреть на изображение как на сетку пикселей и начать смотреть на него как на последовательность слов в предложении. Процесс обработки выглядит следующим образом:

1. Patch Embedding (Разбиение на патчи и эмбеддинг) Изображение (например, размером $224 \times 224$ пикселя) делится на сетку квадратных блоков фиксированного размера — обычно $16 \times 16$ пикселей. Каждый такой блок называется патчем. Затем происходит линейная проекция: каждый патч (который технически является вектором из $16 \times 16 \times 3 = 768$ значений для RGB-изображения) умножается на обучаемую матрицу весов. В результате каждый патч превращается в плотный числовой вектор — эмбеддинг. Изображение превратилось в последовательность токенов, точно так же, как предложение превращается в последовательность слов для языковой модели.

2. Positional Encoding (Позиционное кодирование) Трансформеру абсолютно все равно, в каком порядке стоят слова или патчи. Ему важна только их суть, а не место в последовательности. Но в изображении порядок критичен: глаз находится над носом, а не сбоку от него. Чтобы вернуть модели информацию о геометрии, к каждому вектору патча добавляется специальный позиционный эмбеддинг — уникальный числовой вектор, который жестко привязан к координатам этого патча на исходной сетке. Теперь модель знает: «я смотрю на патч №5, который находится во втором ряду, третьей колонке«.

3. Классификация ([CLS] token) В языковых моделях для классификации предложения часто используется специальный служебный токен [CLS]. ViT заимствует этот прием. В начало последовательности патчей добавляется еще один обучаемый вектор. Он не несет визуальной информации, его задача — накапливать обобщенное представление обо всем изображении после прохождения через слои внимания.

4. Multi-Head Self-Attention (Многоголовое самовнимание) Это сердце архитектуры. Вместо того чтобы ограничивать восприятие локальным окном $3 \times 3$ , как это делает CNN, механизм внимания позволяет каждому патчу напрямую взаимодействовать с любым другим патчем на изображении. Головы внимания специализируются: одна может искать связи между головой человека и мячом вдалеке (понимание действия), другая — отслеживать границы объектов, третья — текстуры одежды. Информация свободно течет по всему холсту уже в первом слое сети.

5. Feed Forward Layers и MLP Head После блока внимания данные проходят через полносвязные слои (MLP), которые добавляют нелинейность. Наконец, выходной вектор того самого служебного токена [CLS] подается в маленький классификатор, который выдает финальный ответ: кошка или собака.

Главный парадокс ViT

Самым удивительным открытием исследователей стало то, что чистая архитектура ViT работает хуже, чем классические ResNet, если ее обучить на небольшом стандартном датасете вроде ImageNet (около 1 миллиона изображений). У нее нет встроенного знания о том, что мир состоит из непрерывных форм.

Но ситуация кардинально меняется при переходе к предобучению на гигантских объемах данных (десятки миллионов изображений, например, набор JFT-300M внутри Google). На больших данных ViT демонстрирует феноменальную эффективность:

Масштабируемость: При увеличении объема данных и параметров модели точность ViT растет гораздо быстрее и стабильнее, чем у CNN.
Превосходство в трансфере: Модель, обученная на миллиардах картинок, при дообучении на маленькой специфической задаче (например, медицинская диагностика по рентгеновским снимкам) показывает результаты значительно лучше, чем любая сверточная сеть.

Это объясняется тем, что ViT обладает меньшим количеством «индуктивных смещений» (жестких правил). Он вынужден учиться понимать структуру мира с нуля, глядя на реальные данные. Если CNN заранее знают, что нужно искать края и формы, ViT сам решает, какие признаки важны — будь то тени, отражения в глазах или общая композиция кадра.

Гибридные подходы и развитие идеи

Понимая мощь механизма внимания, сообщество создало множество производных архитектур:

Гибридные модели: Используют несколько начальных слоев CNN для извлечения низкоуровневых признаков (края, градиенты), а уже эти высокоразмерные супер-патчи подают на вход трансформеру.
Swin Transformer: Решает проблему квадратичной сложности ( $O(n^2)$ ) стандартного внимания. Окно внимания ограничивается локальными группами патчей, но на разных слоях окна объединяются, создавая иерархию, похожую на CNN. Сегодня Swin-T стал стандартным бэкендом для многих задач детекции и сегментации (например, в библиотеке MMDetection).
ConvNeXt: Обратное движение — разработчики взяли современный трансформер, выкинули из него внимание, оставили только MLP слои и аккуратно настроили гиперпараметры обычной сверточной сети, добившись производительности уровня ViT без использования механизмов внимания.

Преимущества Vision Transformer

Эффективность вычислений: Матричные умножения в трансформерах идеально оптимизированы для современного железа. При обработке высоких разрешений ViT часто оказывается быстрее сопоставимых по качеству CNN.
Глобальное понимание сцены: Способность связывать удаленные части объекта мгновенно, а не через стек из 50 — 100 слоев.
Универсальность: Одна и та же базовая архитектура трансформера сегодня одинаково успешно применяется для текста, звука, изображений, видео и даже анализа генома.
Интерпретируемость: Карты внимания позволяют буквально увидеть, на какие области изображения смотрит модель при принятии решения, что критически важно для медицины и беспилотного транспорта.

Заключение

Vision Transformer знаменует собой важный философский сдвиг в искусственном интеллекте. Эпоха узкоспециализированных архитектур уходит.

Мы движемся к эре универсальных базовых моделей (Foundation Models), где единая математическая логика самовнимания способна описывать любые типы данных. ViT показал, что для зрения важнее не жесткая геометрия фильтров, заложенная человеком, а способность системы самостоятельно выстраивать сложные зависимости на основе колоссального опыта. Это сделало архитектуру фундаментом практически всех современных мультимодальных систем, способных одновременно видеть картинку, читать текст о ней и рассуждать об увиденном.