INT4 — технология радикального сжатия нейронных сетей для их эффективного развертывания (инференса) на конечном оборудовании.

Суть технологии INT4

Стандартный жизненный цикл нейросети предполагает обучение в форматах высокой точности (FP32 или BF16). Однако для практического использования (инференса) такая детализация избыточна. INT4-квантование трансформирует вещественные параметры модели в дискретную сетку из 16 возможных значений (от 0 до 15).

Поскольку 4 бита не могут охватить широкий диапазон чисел без потерь, алгоритм использует вспомогательные данные:

Масштабные коэффициенты (Scales): позволяют растянуть или сжать 4-битную сетку, чтобы она соответствовала реальному распределению весов в слое.
Нулевые точки (Zero-points): обеспечивают смещение, если распределение весов не симметрично относительно нуля.

В результате вместо стандартных 2 или 4 байт на параметр, система оперирует величинами размером всего 0,5 байта.

Экономический и аппаратный эффект INT4

Главная задача INT4 — преодоление «бутылочного горлышка» видеопамяти (VRAM) и пропускной способности шины памяти.

Расчет плотности для трансформера масштаба 70 миллиардов параметров (70B):

В исходном формате FP16 архитектура требует порядка 140 ГБ памяти.
При переходе на INT8 потребность снижается до 70 ГБ.
INT4 сжимает веса до 35 ГБ.

Это сжатие в 4 раза относительно 16-битных стандартов позволяет запускать гигантские модели на единичных профессиональных ускорителях или эффективно распределять нагрузку между потребительскими видеокартами. Кроме того, уменьшение объема передаваемых данных снижает энергопотребление чипа, так как чтение из памяти — одна из самых энергозатратных операций.

INT4 против INT8

Выбор между 4-битной и 8-битной точностью представляет собой классический инженерный компромисс:

INT8 (8 бит) выступает в роли безопасного стандарта. Он сохраняет 98 — 99% исходной точности модели, обеспечивая стабильный прирост скорости на большинстве современных GPU.
INT4 (4 бита) — это инструмент экстремальной плотности. Он дает двукратную экономию памяти по сравнению с INT8, но делает модель крайне чувствительной к калибровочным данным. Округление до грубой 4-битной сетки неизбежно вносит шум, который может привести к деградации ответов на 3 — 5% и выше.

Технологические предохранители

Чтобы 4-битная модель не превратилась в генератор случайных чисел, применяются методы интеллектуального квантования:

GPTQ: работает на уровне слоев, подбирая такие целые числа, которые минимизируют математическую ошибку восстановления выходов конкретного слоя.
AWQ (Activation-aware Weight Quantization): идет дальше и анализирует динамику активаций. Метод выявляет чувствительные нейронные каналы, через которые проходит основной поток информации, и защищает их от грубого округления, масштабируя сетку именно для этих участков.

Скрытые угрозы и эксплуатационные риски

Внедрение INT4 сопряжено с рядом неочевидных сложностей:

Проблема длинного контекста: На коротких тестах модель может показывать отличные результаты. Однако при обработке длинных документов или многоходовых диалогов микроскопические ошибки квантования накапливаются. В некоторых сценариях это приводит к катастрофическому падению связности речи (до 50 — 60% потери качества) к концу контекста.
Ловушка KV-кэша: Важно понимать, что INT4 обычно квантует только веса. Промежуточные вычисления и кэш внимания (история диалога) часто остаются в FP16. При генерации длинных текстов именно раздутый KV-кэш, а не сжатые веса, может переполнить память видеокарты.
Зависимость от программных ядер: Аппаратная поддержка INT4 в GPU бесполезна без оптимизированных библиотек (kernels) в движках вроде TensorRT, vLLM или llama. Если софт вынужден конвертировать INT4 обратно в FP16 для каждой операции, вычислительный выигрыш исчезает, оставляя только головную боль с совместимостью.

Стратегия применения

Переход на 4-битную архитектуру оправдан только при соблюдении жестких условий:

Дефицит памяти: когда модель физически не влезает в чип даже после 8-битного сжатия.
Масштабирование инфраструктуры: когда необходимо удвоить плотность размещения моделей на одном сервере для снижения операционных расходов.
Нечувствительность к нюансам: для задач вроде генерации кода, суммаризации новостей или простого чат-бота потеря 3% качества допустима, тогда как в медицинской диагностике она критична.

INT4 — это технология-вызов. Она требует от инженеров отказа от универсальных решений в пользу тонкой настройки под конкретное железо и калибровочные данные.

Однако именно этот формат делает возможным существование локального, приватного и экономически эффективного искусственного интеллекта, снимая монополию облачных провайдеров на самые мощные нейросети.