FLOPS

FLOPS (Floating Point Operations Per Second) — это универсальный эквивалент вычислительной валюты, определяющий не только скорость работы алгоритмов, но и границы экономической целесообразности обучения фундаментальных моделей. Термин обозначает количество операций с плавающей запятой (базовых математических действий над вещественными числами), которые процессор способен выполнить за одну секунду.

Масштабирование мощностей

Развитие аппаратной базы для нейросетей привело к тому, что классические единицы измерения перестали отражать реальность индустрии. Современная иерархия производительности выглядит следующим образом:

• Терафлопс ($10^{12}$): Уровень высокопроизводительных потребительских видеокарт.
• Петафлопс ($10^{15}$): Стандарт для корпоративных серверных решений предыдущего поколения.
• Экзафлопс ($10^{18}$): Квазиквинтиллион операций. Эра экзафлопсных суперкомпьютеров наступила в 2022 — 2023 годах (Frontier, Aurora).
• Зеттафлопс ($10^{21}$): Новая цель для специализированных ИИ кластеров 2025 года.

Однако важно разделять теоретический «потолок» архитектуры и реальную отдачу. Пиковая производительность часто достигается лишь на синтетических тестах вроде LINPACK. В реальных задачах глубокого обучения ускорители редко выдают более половины заявленной мощности из-за задержек при обмене данными с памятью — феномена, известного как Memory Wall.

Парадокс точности

Традиционно мерилом силы суперкомпьютера считалась двойная точность (FP64), необходимая для физики или астрофизики. Искусственный интеллект изменил эту парадигму. Нейронные сети устойчивы к погрешностям округления, поэтому индустрия перешла на форматы пониженной разрядности, позволяющие выполнять больше полезной работы за такт:

1. FP32: Классическая одинарная точность.
2. BF16 / FP16: Основные стандарты современного этапа обучения LLM.
3. FP8 / FP4: Агрессивные форматы инференса, ставшие нормой в архитектуре Blackwell.

Производители графических процессоров указывают колоссальные цифры именно для этих режимов. Например, облачный кластер Oracle на базе 131 072 чипов NVIDIA B200 декларирует мощность 2,4 зеттафлопса, однако эта цифра справедлива исключительно для вычислений в формате FP8. При пересчете в строгий академический стандарт $FP64$ реальная производительность системы окажется на несколько порядков ниже.

Тензорные ядра против Wafer-Scale Engine

Доминирование GPU в рейтингах TOP500 постепенно размывается появлением узкоспециализированных архитектур.

Традиционный подход (GPU-фермы)

Системы уровня Microsoft Eagle строятся по принципу агрегации сотен тысяч дискретных кристаллов (NVIDIA H100/B200). Их преимущество заключается в масштабируемости и развитой программной экосистеме CUDA.

Монолитный подход (Cerebras WSE)

Компания Cerebras предложила радикальное решение — процессор размером с целую кремниевую пластину (Wafer-Scale Engine). Модель WSE-3 интегрирует 900 тысяч ядер на одном физическом куске кремния площадью около 46 000 мм².

• Отсутствие необходимости соединять тысячи отдельных плат устраняет задержки межчипового обмена.
• Один такой модуль выдает 125 петафлопс в FP16, а объединение их в сеть Condor Galaxy позволяет преодолевать порог в 1 зеттафлопс эффективной мощности.

Экономика вычислений и Закон Хуанга

В сфере ИИ наблюдается аномально высокая динамика роста, которую аналитики называют «Законом Хуанга». Если закон Мура предсказывал удвоение транзисторов раз в два года, то производительность специализированного ИИ железа растет экспоненциально быстрее благодаря оптимизации под матричное умножение. Переход от архитектуры Hopper (H100) к Blackwell (B200) обеспечил кратный скачок плотности флопсов за счет внедрения новых инструкций и поддержки экстремально низких точностей.

Ограничения метрической системы FLOPS

Несмотря на повсеместное использование, слепое доверие к количеству флопсов может ввести в заблуждение:

• Игнорирование пропускной способности (Bandwidth): Процессор может обладать огромной скоростью счета, но простаивать, ожидая подгрузки весов модели из памяти HBM в регистры. Для современных языковых моделей инференс чаще ограничен скоростью шины, чем мощностью ALU.
• Качество без контекста: Число операций ничего не говорит о стабильности градиентов. Тысяча терафлопс в INT4 бесполезны там, где требуется прецизионная математика FP32.
• Связанность узлов (Interconnect): При обучении распределенного кластера лимитирующим фактором становится латентность сети NVLink или InfiniBand, объединяющей серверы, а не локальная скорость одного ускорителя.

Сегодня FLOPS трансформировался из абстрактной характеристики лабораторных машин в главный инвестиционный критерий венчурного капитала. Проекты стоимостью в сотни миллиардов долларов оцениваются прежде всего по объему доступных им экза- и зеттафлопсов.

Ориентировочно к 2035 году индустрия планирует преодолеть барьер иоттафлопса (10^{24}). По прогнозам инженеров, такие мегасистемы будут потреблять энергию небольшой электростанции и использовать оптические интерконнекты внутри кристалла, чтобы обеспечить жизнедеятельность будущих поколений искусственного общего интеллекта (AGI).