NVSwitch

NVSwitch — специализированный кремниевый коммутатор NVIDIA, который трансформирует кластер из множества ускорителей в единый суперчип с общим полем зрения.

Проблема «стены памяти» и роль интерконнекта NVSwitch

Стандартная шина PCI Express (PCIe) создавалась для универсальности подключения дисков и сетевых карт. В задачах обучения больших языковых моделей (LLM) она превращается в непреодолимое препятствие:

1. Критическая нехватка полосы пропускания: Современный GPU Blackwell B200 обрабатывает данные со скоростью до 8 ТБ/с через память HBM3e. Шина PCIe Gen 5 выдает лишь около 128 ГБ/с. Без прямого соединения ядра простаивают, ожидая подвоза данных.
2. Архитектурная изоляция: Традиционно видеокарты общаются через центральный процессор. Это создает лишние задержки и узкие места при передаче градиентов между ускорителями.
3. Фрагментация ресурсов: Каждый адаптер заперт внутри своего объема VRAM. Чтобы запустить модель объемом более 80 ГБ, инженерам приходится разрезать её на части, постоянно перемещая слои модели по медленным каналам.

NVSwitch решает эти задачи, реализуя топологию типа «каждый с каждым» (All-to-All fabric), где создается неблокируемая матрица соединений без участия CPU.

Симбиоз NVLink и Switch

Технология базируется на двух неразрывных компонентах: физическом протоколе передачи и коммутационной логике.

Физический слой (NVLink)

Это высокоскоростная последовательная шина, использующая кодирование PAM-4 (упаковка двух бит в один электрический символ). Если четвертое поколение (Hopper/H100) обеспечивало 900 ГБ/с на чип, то пятая итерация в архитектуре Blackwell подняла планку до 1,8 ТБ/с (1800\,\text{ГБ/с}). Это позволяет полностью насытить аппетиты ядер CUDA и Tensor Core.

Коммутационная фабрика (NVSwitch)

Поскольку физически соединить восемь или семьдесят два GPU кабелями напрямую невозможно из-за сложности разводки платы, используется централизованный узел.

• Ускорители подключаются к портам чипов NVSwitch, интегрированных в системную плату.
• Коммутатор работает на уровне семантики памяти, обеспечивая маршрутизацию пакетов за наносекунды.
• Создается полносвязная структура: любая точка памяти любого GPU доступна любому другому вычислителю на полной скорости линка.

Современные серверы уровня HGX используют массив из четырех чипов NVSwitch, создавая внутреннюю сеть с агрегированной полосой пропускания в десятки терабайт в секунду.

Эволюция платформы

Развитие технологии отражает экспоненциальный рост размеров нейросетей:

Монументальные системы масштаба Rack-Scale

Концепция NVSwitch вышла за пределы одной материнской платы, позволив создавать целые здания-вычислители:

1. Платформа GB200 NVL72 Это инженерный шедевр, объединяющий 72 ускорителя Blackwell и 36 процессоров Grace в рамках одного шкафа. Благодаря бэкплейну на базе NVLink 5.0, вся стойка функционирует как единый монолитный процессор. Система предоставляет почти 20 ТБ когерентной памяти HBM3E и обеспечивает производительность 1,4 экзафлопс для AI задач. Для программиста это выглядит как один компьютер сверхразмеров.

2. Интерконнект Chip-to-Chip (C2C) Специализированная версия шины для связи кристаллов CPU и GPU внутри одного корпуса (Superchip). Применяется в модулях Grace Hopper и Grace Blackwell. Скорость обмена достигает 900 ГБ/с, что позволяет центральному процессору работать с видеопамятью ускорителя так же быстро, как со своей собственной LPDDR5X. Это расширяет доступный объем RAM для инференса триллионных моделей до 500+ ГБ на сокет.

Интеллектуальная коммутация: SHARP и когерентность

NVSwitch — это не пассивный кроссбар, а активный вычислительный элемент. Он поддерживает протокол SHARP (Scalable Hierarchical Aggregation and Reduction Protocol). При обучении сети выполняется операция AllReduce (суммирование весов). Вместо того чтобы пересылать гигабайты чисел обратно в GPU для сложения, сами чипы-коммутаторы выполняют математику прямо внутри себя. Это радикально снижает нагрузку на тензорные ядра и сокращает время простоя кластера.

Кроме того, архитектура реализует аппаратную когерентность кэша. Если одно ядро изменяет переменную в памяти, изменения мгновенно распространяются по всей системе благодаря встроенным контроллерам отслеживания транзакций.

Конкурентная среда и открытые стандарты

Монополия NVIDIA стимулирует рынок искать альтернативы:

• UALink (Open Accelerator Module): Альянс гигантов (AMD, Intel, Google) разрабатывает открытый стандарт-конкурент. Его цель — создать аналогичную ткань интерконнекта без лицензионных выплат NVIDIA, но коммерческие устройства пока отсутствуют.
• Infinity Fabric (AMD): Собственная технология AMD для связки CPU/GPU в Instinct MI300X. Она эффективна, но страдает от нехватки глубокой программной оптимизации на уровне драйверов CUDA.
• Сетевой уровень: Важно разделять InfiniBand/Ethernet (связь между серверами) и NVSwitch (объединение внутри сервера). Они работают в тандеме, решая разные физические задачи.

NVSwitch эволюционировал из простого средства объединения пары видеокарт для игр в кровеносную систему современного цифрового разума. Технология стирает границы между физическими устройствами, позволяя масштабировать алгоритмы, которые ранее упирались в ограничения локальной памяти.

Понимание принципов работы этого интерконнекта сегодня является обязательным условием для проектирования инфраструктуры, способной выдержать требования следующего поколения мультимодальных агентов и рассуждающих моделей ИИ.