Late Fusion (позднее или высокоуровневое слияние) — каждая модальность обрабатывается независимо почти до самого конца конвейера.

Модели-специалисты работают со своими данными параллельно, формируют собственные выводы (высокоуровневые представления), и только на финальном этапе эти выводы объединяются для принятия общего решения.

Если представить процесс как путь от сырых данных к ответу:

Модуль 1 (например, зрение): Сырые пиксели $\rightarrow$ Свёрточная нейросеть (CNN) / Vision Transformer $\rightarrow$ Вектор признаков $F_{vision}$ .
Модуль 2 (например, звук): Волновая форма $\rightarrow$ Рекуррентная сеть (RNN) / Аудио-трансформер $\rightarrow$ Вектор признаков $F_{audio}$ .
Модуль 3 (например, текст): Токены $\rightarrow$ Языковая модель (BERT) $\rightarrow$ Вектор признаков $F_{text}$ .
Слой интеграции: Конкатенация $[F_{vision}, F_{audio}, F_{text}] \rightarrow$ Полносвязный слой (MLP) $\rightarrow$ Финальное решение (классификация, регрессия).

В отличие от раннего слияния (Early Fusion), где потоки смешиваются еще на уровне сырых данных или низкоуровневых признаков, Late Fusion сохраняет автономность восприятия каждой системы вплоть до этапа логического вывода.

Математическая логика процесса

Пусть у нас есть $N$ модальностей $\{M_1, M_2, …, M_N\}$ . Каждая модальность проходит через свой собственный энкодер $E_i$ , который извлекает скрытое представление $h_i = E_i(M_i)$ .

Затем происходит этап проекции и нормализации. Поскольку размерности векторов $h_i$ hi могут различаться, их часто пропускают через отдельные полносвязные слои, чтобы привести к единому латентному пространству $z_i$ zi.

Финальный вектор-представление $Z_{fused}$ формируется путем агрегации: $Z_{fused} = \text{Aggr}(z_1, z_2, …, z_N)$

где функция агрегации может быть:

Конкатенацией: $Z_{fused} = [z_1; z_2; …; z_N]$ (самый частый вариант);
Суммированием или усреднением: $Z_{fused} = \sum w_i z_i$ (часто используется при наличии механизмов внимания между модальностями);
Кросс-модальным вниманием: одна модальность выступает запросом к ключам и значениям других модальностей.

Полученный $Z_{fused}$ подается в декодер или классификатор $D$ , который выдает итоговый результат $Y = D(Z_{fused})$ .

Преимущества позднего слияния

Модульность и гибкость. Модальности можно обучать по отдельности. Если у вас есть отличная предобученная модель для анализа текста и не менее мощная модель для распознавания изображений, вам не нужно переобучать их веса с нуля. Вы просто отрезаете их последние слои классификации и соединяете через новый общий многослойный перцептрон (MLP).
Устойчивость к отсутствию данных (Robustness). Это главное практическое преимущество. Late Fusion чрезвычайно живуча. Если в системе беспилотного автомобиля внезапно отказывает камера (засветка, загрязнение линз) и перестает поступать видеосигнал, модель зрения выдаст шум или нулевой вектор. Однако модели радара и лидара продолжат работать штатно. Агрегирующий слой сможет принять верное решение о торможении, опираясь на оставшиеся каналы. При раннем слиянии потеря одного канала часто приводит к фатальному сбою всей сети.
Специфичность архитектур. Для звука лучше всего подходят архитектуры, работающие с временными рядами, а для изображений — свертки. Late Fusion позволяет использовать лучший инструмент для каждой задачи без компромиссов, неизбежных при попытке загнать разные типы данных в единый низкочастотный тензор.
Параллелизация вычислений. Обработка потоков независима, что позволяет распределять нагрузку на разные вычислительные узлы или ускорители (GPU/TPU) без необходимости синхронизации на каждом слое.
Защита приватности (Privacy preserving). В сценариях федеративного обучения (Federated Learning) локальные устройства могут извлекать признаки из своих сенсоров и отправлять на сервер только компактные эмбеддинги $z_i$ , не передавая сами персональные сырые данные (например, записи голоса или медицинские снимки).

Недостатки и ограничения

Игнорирование ранних кросс-модальных связей. Главный минус метода. Если положение губ человека (видео) критически важно для правильного распознавания фонем (звук) — так называемый эффект Мак-Гурка — Late Fusion узнает об этом слишком поздно. Модель сначала полностью поймет картинку и отдельно поймет звук, и лишь затем попытается сопоставить результаты, вместо того чтобы использовать видео для уточнения аудио на микроуровне.
Потеря тонкой корреляции. Низкоуровневые паттерны (например, совпадение ритма движения объектов в кадре с ритмом звуков) теряются, так как они фильтруются узкими специализированными энкодерами.
Проблема выравнивания (Misalignment). Если один из энкодеров ошибается и выдает крайне уверенное, но неверное предсказание (high confidence error), он может «переспорить» остальные модальности в финальном слое, если не используются механизмы взвешивания уверенности.
Увеличение размерности. Простая конкатенация векторов быстро раздувает размерность входных данных для финального слоя, требуя большего количества параметров в классификаторе и увеличивая риск переобучения.

Где применяется Late Fusion

Мультимедийная аналитика и мониторинг. Определение событий в системах городского видеонаблюдения. Одна нейросеть ищет подозрительное движение, вторая анализирует звуки криков или звука бьющегося стекла, третья считывает номера автомобилей. Решение принимается только при совпадении сигналов от всех систем.
Медицинская диагностика (MedAI). Постановка диагноза на основе комбинации рентгеновского снимка (зрение), истории болезни (текст) и биохимии крови (табличные данные). Ошибка в одном канале не должна приводить к ложному диагнозу.
Беспилотный транспорт. Классический пример — архитектура Multi-View Fusion. Камеры видят цвет светофора и разметку, радары измеряют точную дистанцию до грузовика впереди, а лидар строит трехмерную карту препятствий. Их данные сливаются непосредственно перед подачей в планировщик траектории.
Эмоциональный ИИ (Emotion AI). Анализ эмоционального состояния человека. Текст сообщения говорит одно, интонация голоса — другое, а выражение лица на видеозвонке — третье. Поздняя интеграция позволяет построить матрицу весов доверия к каждому каналу.
Рекомендательные системы. Объединение эмбеддингов пользователя (история кликов), товара (визуальный вид карточки) и контекста (время суток, геолокация).

Вариации и современные модификации

Чистый Late Fusion сегодня редко встречается в академических SOTA бенчмарках в своем базовом виде. Чаще используют его гибридные формы:

Метод	Описание
Hybrid Fusion	Часть признаков сливается рано (для захвата низкоуровневых зависимостей), а часть — поздно (для сохранения робастности).
Gated Fusion Networks	Между модальностями ставится обучаемый вентиль (gate), который динамически решает, какому каналу доверять больше в зависимости от текущего входа. Например, ночью система автоматически повышает вес лидара и понижает вес камеры.
Ensemble of Experts (MoE)	Каждая модальность рассматривается как отдельный эксперт. На финальном этапе стоит роутер (часто на базе механизма внимания), который взвешивает мнения экспертов перед выдачей ответа.
Score level Fusion	Вместо объединения векторных представлений (feature level) объединяются уже готовые вероятности (scores) классов от независимых моделей. Это самый простой, но наименее информативный метод.

Late Fusion — это прагматичный и инженерно надежный подход к построению мультимодальных систем. Он жертвует возможностью уловить тонкие, подсознательные взаимосвязи между данными ради стабильности, интерпретируемости и удобства разработки. В реальных промышленных продуктах, работающих на краю (edge devices) или отвечающих за безопасность людей, этот подход зачастую оказывается предпочтительнее более сложных архитектур раннего и глубокого слияния именно благодаря своей отказоустойчивости. Современные исследования стремятся сгладить его недостатки, добавляя адаптивные механизмы взвешивания, превращая жесткое разделение каналов в гибкий диалог независимых экспертов.