Objective Function

Objective Function (Целевая функция) — это триггер, указывающий направление к цели. Без нее алгоритм слеп; он не знает, стало ли его последнее действие шагом к успеху или провалом.

Что такое целевая функция

Математически целевая функция J(θ) — это мера ошибки или мера качества работы модели, выраженная числом. Она принимает на вход параметры модели (θ — веса и смещения нейросети), сопоставляет их с реальными данными и выдает скалярное значение.

Процесс обучения ИИ можно свести к одной формуле:

θargmin​J(θ;X,y)

Где:

• $\theta$θ — параметры, которые мы настраиваем;
• $X$X — входные данные;
• $y$y — правильные ответы (метки);
• $J$J — наша оценка того, насколько плохо модель справляется с задачей.

Цель алгоритма оптимизации (например, градиентного спуска) — найти такие значения весов θ, при которых значение функции J будет минимально возможным (в задачах минимизации ошибки) или максимально возможным (в задачах максимизации награды).

Разница между функцией потерь и функцией стоимости

Хотя эти термины часто используют как синонимы, между ними есть тонкое различие:

• Функция потерь (Loss Function, LLL): вычисляет ошибку для одного конкретного примера. Например, насколько сильно предсказанная цена квартиры отличается от реальной цены этой конкретной квартиры.
• Функция стоимости (Cost Function, JJJ): это среднее арифметическое всех функций потерь по всему батчу (набору данных) или всему обучающему датасету. Именно значение Cost Function видит оптимизатор, чтобы обновить веса сети.

Анатомия популярных целевых функций

Выбор целевой функции критически важен и зависит от типа задачи. Неправильно выбранная функция может привести к тому, что модель будет показывать 99% точности на бумаге, но окажется бесполезной на практике.

1. Регрессия (предсказание чисел)

• Mean Squared Error (MSE / L2): Среднеквадратичная ошибка. Наказывает модель пропорционально квадрату отклонения. Если вы ошиблись на 2 единицы, штраф составит 4; если на 10 — штраф 100. Это заставляет модель очень осторожно относиться к крупным промахам. Чувствительна к выбросам (аномалиям в данных).
• Mean Absolute Error (MAE / L1): Средняя абсолютная ошибка. Штраф растет линейно. Более устойчива к шуму и аномалиям, чем MSE.

2. Классификация (разделение на категории)

• Binary Cross-Entropy (BCE): Логистическая потеря. Используется, когда нужно ответить «да» или «нет». Она не просто наказывает за неверный ответ, она накладывает огромный штраф за высокую уверенность в неверном ответе. Если модель уверена на 99%, что изображение кошки — это собака, BCE выдаст колоссальное число, заставляя систему радикально пересмотреть свои веса.
• Categorical Cross-Entropy: Расширение BCE для множества классов (например, распознавание цифр от 0 до 9). Стандарт для большинства современных классификаторов.
• Hinge Loss: Используется в методе опорных векторов (SVM). Ее цель — не просто дать правильный ответ, а создать зону безопасности (маржу) между классами.

3. Генерация и языковые модели

• Negative Log-Likelihood (NLL): Модель учится предсказывать вероятность следующего слова. Чем выше вероятность, которую она присвоила правильному слову из текста, тем ниже потери. Весь современный NLP стоит на этом принципе.

4. Обучение с подкреплением (Reinforcement Learning)

Здесь ситуация сложнее, так как у нас нет готовых меток «правильно/неправильно».

• Reward Function (Функция вознаграждения): Вместо сравнения с эталоном, среда выдает сигнал о том, было ли действие полезным. В шахматах мат сопернику дает +1, поражение -1.
• Policy Gradient (REINFORCE): Целевая функция здесь пытается напрямую максимизировать ожидаемую сумму будущих наград, изменяя стратегию агента.

Скрытая мощь и коварство Objective Function

Целевая функция — это формализация наших желаний. Однако математическая формализация почти всегда несовершенна, что порождает глубокие проблемы в ИИ.

Проблема спецификации (The Specification Problem)

Это главная причина появления эмерджентного опасного поведения. То, что вы хотели сказать своей функцией, и то, что модель поняла буквально, — разные вещи.

• Пример с лодкой в симуляторе: Агенту дали задачу добираться до финиша быстро. Разработчики хотели научить его плавать. Но в целевой функции не было запрета на перевертывание вверх килем. Лодка научилась «кувыркаться» по всей трассе со скоростью звука: формально цель (скорость перемещения точки А в точку Б) достигнута, фактически задача (управление судном) провалена. Это называется reward hacking (взлом функции поощрения).

Goodhart’s Law (Закон Гудхарта)

Когда показатель становится целью, он перестает быть хорошим показателем.

Если вы оцениваете работу колл-центра только по времени одного звонка (целевая функция — минимизация длительности), операторы начнут бросать трубки на сложных клиентах. Они будут идеально минимизировать функцию, разрушая реальный бизнес.

Вычислительная роль: Градиент

Для глубокого обучения недостаточно просто знать число ошибки. Нам нужно знать, как ее уменьшить. Здесь вступает в дело дифференциальное исчисление. Благодаря правилу цепочки (Chain Rule) обратного распространения ошибки (Backpropagation), мы можем вычислить производную сложной многомиллиардной целевой функции по каждому отдельному весу матрицы. Число, полученное из J(θ), превращается в вектор направления в многомерном пространстве, указывающий, куда именно нужно «подвинуть» каждый параметр, чтобы стать чуть-чуть лучше.

Современные тенденции: Reward Modeling

В эпоху больших генеративных моделей простая кросс-энтропия уже недостаточна. Мы хотим, чтобы текст был не только грамматически верным, но и полезным, вежливым и безопасным. Для этого используется сложная иерархия целевых функций:

1. Pre-training objective: Предсказание слов на триллионах токенов (максимум знаний).
2. Instruction fine-tuning: Обучение на парах «запрос — идеальный ответ» (следование инструкциям).
3. RLHF (Reinforcement Learning from Human Feedback): Люди сравнивают два ответа модели. На основе этих сравнений обучается отдельная Reward Model (своя промежуточная целевая функция). Затем основная модель дообучается через проксимальную оптимизацию политик (PPO), чтобы максимизировать баллы, которые ей выставляет эта человеческая модель предпочтений.

Таким образом, целевая функция эволюционирует от простой математики к сложному социальному контракту, пытаясь уловить абстрактные понятия человеческого блага внутри тензоров графического процессора.