FP4

FP4 (4-битное число с плавающей запятой) — занимает позицию абсолютного переднего края.

Это технология, позволяющая упаковать параметр нейронной сети всего в 4 бита — половину стандартного байта. Если переход от FP32 к BF16 или FP8 был эволюцией ради экономии, то внедрение FP4 является радикальным инженерным компромиссом, направленным на преодоление физических барьеров памяти.

Математическая структура FP4

Представить вещественное число, способное описывать как ничтожно малые градиенты, так и огромные активации, используя всего четыре двоичных разряда — задача со сверхвысокими потерями. Полноценный стандарт IEEE 754 для такой разрядности не предусмотрен, поэтому разработчики (например, NVIDIA в формате NVFP4) используют адаптивные схемы распределения:

• Символ: 1 бит;
• Экспонента: 2 бита;
• Мантисса: 1 бит.

Очевидно, что столь скудного набора недостаточно для работы глубоких сетей. Для компенсации этого недостатка применяется блочное масштабирование. В реализации NVFP4 алгоритм работает следующим образом:

1. Микро-кванты: Матрица весов разбивается на кластеры по 16 элементов. Каждому такому микро-блоку присваивается собственный коэффициент масштаба высокой точности (E4M3, 8 бит). Это позволяет локально адаптировать узкий диапазон под конкретные значения.
2. Макро-масштаб: Для защиты всей матрицы от глобальных аномалий используется общий множитель тензора разрядностью 32 бита.

Такая двухуровневая архитектура метаданных позволяет сохранять математическую стабильность даже при экстремальном сжатии данных.

Индустриальный императив

Движение в сторону 4-битных вычислений продиктовано тем, что классические методы увеличения производительности чипов практически исчерпали себя.

1. Прорыв через «стену пропускной способности» Главное достоинство формата — плотность упаковки. Языковая модель уровня LLaMA 70B требует порядка 140 ГБ видеопамяти в FP16. При переходе на FP4 этот объем сжимается до 35 ГБ (без учета служебных таблиц поиска). На уровне кремния это трансформируется в колоссальную мощность. Ускорители архитектуры Blackwell (линейка B200/B300) достигают пиковой отметки в 20 петафлопс именно при работе с FP4, обеспечивая трехкратный прирост скорости относительно предыдущего поколения H100.

2. Экономика экзаваттных вычислений Строительство суперкомпьютеров будущего упирается в лимиты электросетей. Согласно прогнозам развития высокопроизводительных систем, достижение планки в 1 йоттафлопс для задач машинного обучения станет возможным только благодаря тотальному переходу на FP4-вычисления, что позволит удержать энергопотребление мегакластеров в пределах 250 — 300 мегаватт.

3. Развертывание триллионных архитектур Для инференса моделей, насчитывающих десятки триллионов параметров, физически невозможно собрать сервер с достаточным объемом классической памяти. FP4 делает такие системы реализуемыми, позволяя размещать гигантские базы знаний на компактных платах ускорителей (как в платформе GB300 DGX Station).

От вывода к обучению

Традиционно считалось, что точность ниже 8 бит применима исключительно для инференса (работы готовой модели). Исследования 2025 года разрушили этот стереотип.

• Инференс: Формат уже стал рабочим инструментом. Генерация изображений диффузионными моделями на базе GPU RTX 50-й серии демонстрирует значительный рост частоты кадров за счет нативного конвейера FP4.
• Обучение (Training): Долгое время обучение в FP4 считалось невозможным из-за катастрофического шума округления. Однако недавние эксперименты NVIDIA опровергли это. При обучении 12-миллиардной трансформерной архитектуры Mamba на десяти триллионах токенов, реализация NVFP4 показала результаты на бенчмарках MMLU Pro и кодинга MBPP+, неотличимые от результатов модели в эталонном FP8.

Это открывает путь к двукратному снижению стоимости тренировочных циклов и сокращению времени выхода новых фундаментальных моделей на рынок.

Сравнительный ландшафт низкоразрядных форматов

Стоит различать вариации стандарта: фирменный NVFP4 использует более мелкие блоки квантизации и точные коэффициенты масштаба по сравнению с открытым стандартом MXFP4, что дает преимущество в сохранении нюансов весов ценой небольшого увеличения объема метаданных.

Технологические барьеры и риски

Несмотря на впечатляющие цифры терафлопс, работа с FP4 сопряжена с серьезными вызовами:

1. Уязвимость к выбросам: Однобитная мантисса не прощает статистических аномалий. Любое резкое отклонение в активациях способно обнулить информацию целого блока, что требует внедрения продвинутых методов нормализации внутри архитектуры сети.
2. Сложность программной экосистемы: Чтобы достичь заявленных скоростей, требуется глубокая интеграция в CUDA и TensorRT. Эмуляция FP4 на обычных ядрах CUDA лишает технологию всякого смысла.
3. Аппаратный ценз: На сегодняшний день полноценные вычислительные модули для FP4 интегрированы только в новейшие решения семейства Blackwell. Архитектуры Hopper или Ada поддерживают предел эффективности на уровне FP8.

Формат FP4 знаменует собой конец эпохи «расточительных» вычислений и начало эры вычислительного минимализма. Он перестал быть лабораторным курьезом и превратился в критический инструмент для масштабирования индустрии.

Обеспечивая пятикратную экономию трафика памяти по сравнению с классическими половинными точностями, FP4 прокладывает дорогу к созданию автономных агентов и мультимодальных гигантов, чьи аппаратные требования еще несколько лет назад казались фантастикой.