Oversampling

Oversampling (Передискретизация) — это семейство методов предобработки, задача которых заставить модель увидеть и изучить редкие события путем искусственного выравнивания весов классов.

Суть метода

Вместо того чтобы удалять полезные данные из доминирующего класса (undersampling), мы расширяем пространство признаков редкого класса, предоставляя алгоритму больше материала для изучения его структуры.

1. Random Oversampling

Самый примитивный способ балансировки заключается в случайном дублировании существующих записей меньшинства. Если у нас есть 10 примеров редкого класса и 1000 обычного, мы просто копируем эти 10 примеров столько раз, пока их количество не сравняется с большинством.

• Проблема: Модель подвергается жесткому переобучению (overfitting). Она видит одни и те же координаты вектора снова и снова и воспринимает их как абсолютную истину, теряя способность к обобщению. Это метод крайнего случая, когда данных критически мало.

2. SMOTE: Искусство создания синтетической реальности

Настоящим прорывом стал алгоритм SMOTE (Synthetic Minority Over-sampling Technique). Его философия проста: вместо тупого копирования нужно создавать новые точки данных, которые логически вписываются в существующее распределение.

Как работает фабрика данных SMOTE:

1. Алгоритм берет точку A из редкого класса.
2. Находит среди своих соседей по классу другую точку B.
3. Проводит между ними вектор и ставит новую точку $C$C где-то на этой линии.
4. Координаты вычисляются через интерполяцию:Xnew​=XA​+rand(0,1)⋅(XB​−XA​), где rand(0,1) — случайное число от нуля до единицы.

Это создает эффект размытия границ малого класса. Модель больше не учится проходить игольное ушко вокруг конкретных точек; она вынуждена строить плавную границу вокруг целого облака синтезированных данных, что радикально повышает робастность классификатора.

3. ADASYN: Фокус на зонах конфликта

Если SMOTE распределяет усилия равномерно, то ADASYN (Adaptive Synthetic Sampling) действует интеллектуально. Он анализирует сложность классификации каждой области.

• Если точка меньшинства находится глубоко внутри территории своего класса (вокруг только свои), там генерируется мало новых данных.
• Если точка окружена представителями враждебного мажоритарного класса («зона боевых действий»), ADASYN фокусируется именно здесь, создавая плотные массивы синтетических образцов для помощи модели в разведении конфликтующих групп.

Гибридные стратегии очистки

Чистая передискретизация часто приводит к тому, что классы начинают слишком сильно перемешиваться, превращаясь в кашу. Поэтому эксперты используют комбинаторные подходы:

• SMOTE + Tomek Links: Сначала мы создаем синтетические образцы методом SMOTE, а затем запускаем фильтр Tomek Links. Этот фильтр находит пары соседей разных классов, стоящие вплотную друг к другу, и удаляет представителя большинства. Это очищает зону границы решений от шума.
• Borderline-SMOTE: Метод точечного удара. Синтезируются примеры только для тех редких объектов, которые находятся на самой границе с врагом. Это экономит вычислительные ресурсы и делает обучение максимально адресным.

Железное правило пайплайна

Критическая ошибка новичка — применить fit_resample ко всему датасету до разделения на обучающую и тестовую выборки. Это называется Data Leakage. Если вы создадите синтетическую точку на основе информации из теста, ваша оценка точности станет ложной.

Корректная последовательность операций:

1. Разделить исходник на Train и Test. Тест отложить в сторону и никогда не трогать методами генерации.
2. Применить fit_resample только к тренировочному набору (X_train).
3. Обучить модель на сбалансированном обучении.
4. Проверить качество на оригинальном, несбалансированном тесте, так как реальность в продакшене тоже будет несбалансированной.

Методы типа SMOTE и ADASYN не создают информацию из пустоты — они лишь меняют геометрию пространства признаков. Однако этого достаточно, чтобы переключить внимание оптимизатора со статистического комфорта мажоритарного класса на поиск тонких сигналов меньшинства. Без применения этих техник построение жизнеспособных систем ИИ в задачах фрод-детекции, промышленного дефектоскописа или медицинской диагностики остается невыполнимой задачей, утопающей в ложноотрицательных срабатываниях.