Parameter-Efficient Fine-Tuning

Parameter-Efficient Fine-Tuning, PEFT — это семейство методов машинного обучения, которые позволяют адаптировать огромную предобученную модель под конкретную задачу, обучая лишь ничтожно малую часть её параметров или добавляя легкие внешние модули.

Основная идея заключается в том, что миллиарды параметров большой модели уже содержат колоссальный объем общих знаний о мире. Для новой специфической задачи (например, классификации юридических документов или общения на диалекте) модели не нужно менять свою «личность» целиком — ей достаточно научиться небольшой корректировке поведения. В рамках PEFT подавляющее большинство весов исходной модели «замораживается» (становится недоступным для изменений), а обучение фокусируется либо на крошечном подмножестве существующих связей, либо на новых легковесных компонентах.

Почему традиционный файнтюнинг перестал работать?

Переход к PEFT был продиктован суровой математикой и экономикой:

1. Аппаратные требования: Полное обновление весов модели уровня GPT-4 или LLaMA 3 требует сотен гигабайт видеопамяти (VRAM). Это доступно только крупнейшим технологическим корпорациям с кластерами из тысяч графических процессоров.
2. Катастрофическое забывание (Catastrophic Forgetting): При полном переобучении модель склонна забывать те знания, которые она получила на этапе предварительного тренинга, если новые данные недостаточно велики или разнообразны.
3. Хранение данных: Если вы хотите иметь одну базовую модель и десять специализированных версий для разных задач, традиционный подход потребует хранить десять полных копий модели весом по несколько сотен гигабайт каждая. PEFT позволяет хранить базу один раз, а для каждой задачи сохранять лишь маленький файл с дельтой (изменениями).

Основные методы PEFT

За последние годы научное сообщество разработало множество подходов к эффективной настройке. Их можно разделить на две большие группы: аддитивные методы (добавление новых параметров) и селективные (выбор части старых).

1. Low-Rank Adaptation (LoRA)

На сегодняшний день это самый популярный промышленный стандарт. Математики заметили, что когда большая модель адаптируется к новой задаче, изменения в её огромных матрицах весов имеют «низкий ранг». Это означает, что сложную матрицу изменений можно представить как произведение двух гораздо более маленьких матриц.

• Как это работает: Исходные веса замораживаются. К ним добавляются две маленькие матрицы ($A$ и $B$). Во время обучения меняются только они. В момент инференса (работы) эти матрицы умножаются и прибавляются к основным весам.
• Преимущество: Позволяет сократить количество обучаемых параметров на 99% и более практически без потери качества. Адаптеры LoRA настолько малы, что их можно легко переключать прямо в оперативной памяти во время работы приложения.

2. Adapters (Адаптеры)

Метод, предшествовавший эре LLM, но получивший второе дыхание. Внутри слоев трансформера добавляются дополнительные миниатюрные полносвязные слои.

• Механика: Сигнал проходит через замороженный слой основной модели, затем через маленький «адаптер», сжимающий размерность, применяющий нелинейность и восстанавливающий размерность обратно, после чего суммируется с оригинальным сигналом (skip connection).
• Результат: Обучается менее 5% параметров, при этом производительность падает всего на доли процента по сравнению с полным дообучением.

3. Prompt Tuning и Prefix Tuning

Эти методы вообще не трогают архитектуру самой модели, работая исключительно с входными данными.

• Soft Prompts: Вместо того чтобы писать текстовый промпт словами (Переведи этот текст), инженеры оптимизируют непрерывный вектор (наборы чисел), который приклеивается к началу входной последовательности. Модель учится интерпретировать этот скрытый вектор как инструкцию к действию.
• Prefix Tuning: Похожий принцип, но обучаемые векторы вставляются не только в начало, но и перед каждым слоем внимания внутри трансформера, направляя работу внутренних механизмов модели.

4. IA3 (Infused Adapter by Inhibiting and Amplifying Inner Activations)

Один из самых радикально легких методов. Он не добавляет новых матриц весов, а лишь вводит три вектора-множителя, которые масштабируют (усиливают или ослабляют) значения ключей, значений и активаций внутри уже существующих слоев.

Преимущества подхода

Практическое применение и будущее

Сегодня PEFT является основой демократизации искусственного интеллекта. Благодаря таким техникам небольшие стартапы и независимые исследователи могут брать открытые базовые модели (например, семейств Mistral, Qwen или Stable Diffusion) и доводить их до совершенства в узких нишах: медицине, локальных языках программирования или анализе корпоративной документации.

Более того, развитие PEFT напрямую связано с концепцией композируемого ИИ. Поскольку адаптеры LoRA представляют собой просто файлы с числами, их можно математически складывать и вычитать. Это открывает путь к созданию «миксованных» моделей, которые объединяют навыки написания кода, рисования и перевода, загружая соответствующие наборы параметров поверх одной универсальной базы.

Parameter-Efficient Fine-Tuning превратила монументальные нейросети из монолитных статуй в модульные конструкторы, где замена одного маленького элемента полностью меняет поведение системы, делая разработку ИИ быстрой, дешевой и доступной.