Out of Distribution

Out of Distribution, OOD (Вне распределений) — это состояние входных данных, которое существенно отличается от того, что модель видела во время своего обучения.

Если Accuracy и другие метрики показывают эффективность ИИ в лабораторных условиях, то устойчивость к OOD определяет его выживаемость и безопасность в непредсказуемом реальном мире.

Суть проблемы Out of Distribution

Чтобы понять OOD, нужно ввести понятие распределения данных (data distribution) и домена (domain). Домен — это совокупность всех статистических свойств данных: освещенность на фотографиях, стиль почерка, акцент диктора, разрешение сенсора, сезонность спроса. Обучающая выборка — это лишь небольшое окно в этот мир.

Модель глубокого обучения работает не как человек, обладающий здравым смыслом. Она действует как чрезвычайно сложный механизм интерполяции. Нейросеть строит границы принятия решений внутри «облака» тренировочных данных. Когда на вход подается объект из этого облака (In-Distribution), модель уверенно относит его к одному из известных классов. Но как только появляется объект за пределами этого облака, модель начинает галлюцинировать.

Наглядный пример

Представьте систему распознавания пород собак, обученную на студийных фотографиях лабрадоров, овчарок и мопсов на зеленом фоне при идеальном свете.

• In-Distribution: Фотография таксы, сделанная на улице в пасмурную погоду. Модель справится, так как контекст (собака на траве/земле) остался схожим.
• OOD детекция (сдвиг ковариат): Та же такса, но сфотографированная рентгеном. Для модели это набор серых пятен на черном фоне. Она никогда не видела такого распределения пикселей и может с уверенностью 99% заявить, что перед ней — изображение космоса или текстура камня.
• OOD семплирование (новый класс): Фотография кошки. С точки зрения математики кошка находится вне распределения породы собак. Однако самая опасная ситуация возникает тогда, когда модель ошибочно классифицирует кошку как «мопса» с высокой степенью уверенности, просто потому что ее силуэт отдаленно напоминает знакомые паттерны.

Типы сдвигов данных, приводящих к OOD

Проблема выхода за пределы распределения многогранна и делится на несколько категорий:

1. Сдвиг ковариат (Covariate Shift): Сами классы объектов те же, но изменились их свойства. Классический пример — беспилотный автомобиль. Модель обучали ездить по солнечному Сан-Диего. Первый же снегопад в Москве создает радикальный сдвиг ковариат: меняется цветовая гамма, геометрия дороги скрывается под сугробами, поведение других водителей становится иным. Данные остаются данными дорог, но их статистическое распределение изменилось.
2. Концептуальный дрейф (Concept Drift): Само определение класса изменилось со временем. Например, спам-фильтр обучался на письмах 2015 года. В 2026 году мошенники используют совершенно другие лингвистические конструкции и приемы социальной инженерии. Слово акция раньше могло быть признаком рекламы, а теперь — финансового отчета. Граница между спамом и не спамом сместилась, хотя сами слова остались прежними.
3. Естественное новизна (Natural Novelty): Появление принципиально новых объектов. Медицинский ИИ, обученный на вирусах гриппа A и B, сталкивается с новой пандемией ранее неизвестного штамма. Система мониторинга промышленного оборудования встречается с поломкой, которая не была описана в исторических логах завода.
4. Adversarial Examples (Атаки): Злонамеренное создание OOD данных. К изображению собаки добавляются невидимые человеческому глазу математические возмущения пикселей. Для человека картинка остается собакой, но для нейросети эти изменения выталкивают вектор признаков далеко за пределы обученного распределения, заставляя модель «видеть» страуса или холодильник.

Почему стандартные нейросети плохо справляются с OOD?

Корень проблемы кроется в архитектуре функции потерь (например, кросс-энтропии), используемой при обучении. Стандартные глубокие нейронные сети проходят процесс калибровки таким образом, что сумма вероятностей по всем известным классам всегда равна единице ($1.0$).

Когда сеть видит абсолютно незнакомый объект, у нее нет легитимного механизма сказать Я не знаю. Чтобы сохранить сумму вероятностей равной $1.0$, модель вынуждена искусственно завысить уверенность в одном из неверных, но известных ей классов. Именно поэтому системы ИИ иногда совершают абсурдные ошибки с пугающей самоуверенностью. Более того, максимизация уверенности на обучающих данных часто приводит к тому, что функция плотности вероятности модели становится некорректной в областях пространства признаков, где данных не было.

Как решается проблема OOD в индустрии

Борьба с выходом за пределы распределения ведется на нескольких фронтах:

1. Методы неопределенности (Uncertainty Estimation)

Разработчики пытаются научить модель оценивать собственную уверенность. Один из самых популярных подходов — Deep Ensembles. Тренируется не одна нейросеть, а комитет из 5 — 10 моделей с разными случайными инициализациями. Если все 10 сетей согласны, что на фото кошка — это кошка, уверенность высокая. Если 3 говорят кошка, 3 — собака, 2 — диван и 2 — шум, значит, модель столкнулась с OOD объектом, несмотря на высокую среднюю вероятность какого-то одного класса.

2. Явное выделение области известного (OOD Detection)

Существуют алгоритмы, которые учатся строить геометрическую границу вокруг обучающего распределения. Популярный метод эпохи глубоких вычислений — OpenMax. Он модифицирует последний слой нейросети, используя теорию экстремальных значений (EVT), чтобы вычислять вероятность того, что входной вектор признаков принадлежит бесконечному классу — всему, что находится за пределами известных категорий. Также применяются методы на основе автоэнкодеров: если ошибка реконструкции изображения слишком высока, значит, оно не похоже ни на одно из обучающих.

3. Контрастивное обучение и регуляризация

Методы вроде Contrastive Learning заставляют модель сближать векторы похожих объектов и отталкивать непохожие прямо в пространстве признаков. Это делает пространство более плотным внутри классов и разреженным между ними, создавая естественные «пустоты» для будущих OOD данных. Использование регуляризации (например, dropout даже на этапе инференса — MC Dropout) также помогает получить оценку неопределенности.

4. Тестирование на стрессоустойчивость (Stress Testing)

Перед выпуском модели в продакшн инженеры создают специальные OOD бенчмарки. Например, наборы данных ImageNet-O (подмножество ImageNet с объектами, не пересекающимися с оригинальными категориями) или коррумпированные датасеты (ImageNet-C), где к картинкам добавляют туман, дождь, сжатие или шум. Если точность модели падает на тумане сильнее, чем у конкурентов, система считается небезопасной для автопилота.

5. Генеративные подходы

Использование диффузионных моделей или VAE для оценки правдоподобия (likelihood) входных данных. Если генеративная модель считает, что вероятность появления данного набора пикселей крайне низка исходя из изученного мира, система помечает запрос как OOD.

OOD в контексте современных LLM

Для больших языковых моделей (LLM) проблема стоит еще острее. Текстовое пространство бесконечно. Любой вопрос пользователя, выходящий за рамки обучающей выборки, технически является OOD. Здесь феномен проявляется иначе:

• Галлюцинации: Модель экстраполирует знания в область, где у нее нет фактов, и генерирует убедительный, но ложный текст.
• Prompt Injection: Злоумышленник вводит инструкции, которые синтаксически и семантически выводят модель из распределения послушного ассистента в распределение следующего инструкциям злоумышленника. Для борьбы с этим используются техники Fine-tuning (дообучение на специфичных данных), RLHF (обучение через обратную связь от людей) и жесткие системные промпты, пытающиеся удержать модель в рамках заданного этического и фактологического коридора.

Практическая значимость для российского рынка

В российских реалиях проблема OOD стоит особенно остро из-за огромного географического и климатического разнообразия страны:

• Транспорт: Беспилотные автомобили Яндекса тестируются в Иннополисе и Москве, но должны безопасно функционировать в условиях полярной ночи Мурманска, гололедицы Новосибирска и тумана Владивостока. Каждое из этих условий — серьезный OOD вызов для систем компьютерного зрения.
• Промышленность: Модели предиктивного обслуживания оборудования на металлургических комбинатах должны учитывать износ датчиков в агрессивных средах. Сигнал от старого вибродатчика может стать OOD данными, которые приведут к ложной остановке всей линии, если модель не умеет отличать аппаратный сбой от реальной поломки.
• Финтех: Банковские антифрод системы обязаны мгновенно адаптироваться к новым схемам мошенничества, которые постоянно эволюционируют, создавая непрерывный концептуальный дрейф.

Out of Distribution — это не академическая абстракция, а главный барьер на пути внедрения искусственного интеллекта в критическую инфраструктуру.

Любая модель имеет границы своей компетентности. Задача современного инженера ИИ — не просто натренировать алгоритм до высокого значения Accuracy, но и построить надежную систему сигнализации, которая вовремя сообщит человеку оператору: Я вижу нечто совершенно новое, я не уверен в своих действиях, передай управление мне обратно. Без решения задачи надежного детектирования OOD искусственный интеллект останется хрупким инструментом, пригодным только для тепличных условий лаборатории.