FP

FP (Floating Point, число с плавающей запятой) — это способ кодирования вещественных чисел в двоичной системе, который позволяет компьютерам оперировать как бесконечно малыми дробями, так и колоссальными величинами.

Для ИИ выбор правильного формата «плавающей точки» определяет всё: от стоимости обучения модели стоимостью в сто миллионов долларов до того, поместится ли нейросеть на видеокарту энтузиаста.

Что такое числа с плавающей запятой (Floating Point)

Чтобы понять специфику ИИ ускорителей, нужно разобрать структуру стандартного числа с плавающей запятой по стандарту IEEE 754. Любое такое число состоит из трех частей:

1. Знак (Sign): 1 бит (плюс или минус).
2. Экспонента (Exponent): Определяет масштаб (насколько велико или мало число).
3. Мантисса / Дробная часть (Mantissa/Sigificand): Определяет точность (количество знаков после запятой).

Искусственный интеллект оперирует матрицами весов. В процессе обучения веса постоянно умножаются и суммируются. Если использовать стандартные форматы вроде Double Precision (FP64), необходимые для науки, обучение GPT подобной модели заняло бы годы и потребовало бы электростанцию среднего города.

Эволюция точности: почему размер имеет значение

В ИИ сложилась уникальная ситуация: чем меньше бит мы используем для хранения одного числа, тем быстрее работает модель (при условии наличия специализированного железа).

Эпоха FP32 (Одинарная точность)

Долгое время это был стандарт. Вес каждого нейрона занимал 32 бита. Обеспечивает высокую точность, но крайне неэффективен для матриц размером 4096 \times 4096.

FP16 (Half Precision) и BF16 (Bfloat16)

Прорыв произошел, когда индустрия осознала, что нейросети не требуют 32-битной точности для понимания смысла слова «кошка».

• FP16: Использует 16 бит (1 знак, 5 экспонента, 10 мантисса). Очень быстрый, но имеет узкий диапазон. Если число слишком маленькое, оно превращается в ноль (исчезновение градиента).
• BF16: Формат Google. Оставил 8 бит под экспоненту (как у FP32), но сократил мантиссу до 7 бит. Это сохранило динамический диапазон FP32 при вдвое меньшем объеме данных. Стал стандартом де-факто для обучения трансформеров.

Переход к микропрецизии: FP8 и FP4

Современные модели настолько велики, что даже 16 бит стали роскошью.

• FP8 (8-bit): Используется в архитектуре NVIDIA Hopper и новее. Позволяет упаковать в два раза больше параметров, чем BF16. Требует сложной системы компенсации ошибок (микро-скейлинга).
• FP4 (4-bit): Фронтир 2024–2025 годов. Используется в новейших кластерах Blackwell. Хранение весов занимает минимум места, позволяя запускать гигантские модели на потребительских картах, однако требует сложнейших алгоритмов восстановления точности во время вычислений].

Роль числовых форматов в аппаратном обеспечении

Производители GPU ведут войну за каждый байт пропускной способности памяти (Memory Bandwidth). Рассмотрим простую операцию: передача тензора весом 1 ГБ.

• В формате FP32 он передается целиком.
• В формате FP16/BF16 он занимает 500 МБ.
• В формате FP4 он занимает всего 125 МБ.

Это означает, что шина данных освобождается, а тензорные ядра могут получать данные в три-четыре раза чаще. Именно поэтому современные архитектуры делают ставку на снижение разрядности: вычислительная мощность растет быстрее, чем скорость передачи данных по проводам внутри чипа.

Специфика работы в современных фреймворках

Современное ПО (PyTorch, JAX) автоматизирует работу с разными типами данных через механизмы автоматической смешанной точности (Automatic Mixed Precision — AMP):

1. Мастер-веса: Копия весов всегда хранится в FP32 для стабильности накопления.
2. Прямой проход: Вычисления идут в FP16/BF16 для скорости.
3. Масштабирование потерь (Loss Scaling): Чтобы маленькие значения градиентов не превратились в нули из-за низкой точности FP16, система временно увеличивает их масштаб перед обратным проходом, а затем возвращает обратно.

Этот танец между точностью и скоростью стал возможен только благодаря тому, что производители железа встроили блоки обработки разных форматов прямо в кремний.

Экономическое влияние форматов

Стоимость обучения фундаментальной модели напрямую зависит от эффективности использования FP16/BF16.

• Если модель использует эффективные форматы, она может быть длиннее (больше слоев) или иметь более широкий контекст при том же бюджете на оборудование.
• Появление поддержки FP4 в семействе Blackwell обещает снизить стоимость владения ИИ кластерами, делая технологию доступной не только корпорациям уровня Microsoft, но и среднему бизнесу.

Форматы Floating Point — это невидимая валюта мира ИИ. Мы прошли путь от стремления к абсолютной математической точности (FP64) к прагматичному принятию шума и неточности ради масштаба. Современные стандарты вроде BF16 и FP4 доказывают, что для разумного поведения машине не обязательно считать каждое число до двадцать пятого знака после запятой. Победителем в гонке ИИ станет тот, кто сможет наиболее эффективно перемещать эти короткие биты данных между памятью и вычислительными ядрами, минимизируя потери энергии и времени.