Shared throughput (Совместно используемая пропускная способность) — описывает модель распределения вычислительных ресурсов, при которой несколько потребителей, пользователей, приложений или микросервисов конкурируют за общие мощности GPU/TPU.

Архитектурные принципы и метрики Shared throughput

С технической стороны разделение мощностей опирается на две фундаментальные парадигмы:

Shared-nothing: изоляция ресурсов, где каждый узел обладает собственной памятью. Для задач инференса LLM такой подход без сложной оркестрации ведет к неоправданному простою дорогостоящих ускорителей.
Shared-resource: архитектура единого пула, лежащая в основе shared throughput. Диспетчер задач распределяет свободные циклы графических процессоров между входящими API запросами по мере их поступления.

Емкость системы измеряется не только классическими запросами в секунду (RPS), но и специфичными для генеративного ИИ метриками: количеством токенов в минуту (TPM) или обработанных изображений. В модели общего доступа эти параметры эластичны. При пиковой нагрузке со стороны одного из арендаторов остальные участники сталкиваются с деградацией сервиса — так называемым эффектом «шумного соседа».

Механизм Provisioned Throughput Units (PTU)

Главный изъян чистой разделяемой пропускной способности — волатильность задержек (latency). В часы максимальной загрузки время генерации ответа может увеличиваться кратно, что делает технологию непригодной для пользовательских интерфейсов реального времени.

Для стабилизации производительности был разработан механизм выделенных мощностей, который в облачной среде Microsoft Azure AI Foundry реализован через единицы Provisioned Throughput Units (PTU):

Фиксированная тарификация: вместо оплаты за каждый токен (входящий и исходящий) компания резервирует определенный объем физических мощностей почасово. Это переводит расходы из категории переменных в прогнозируемые.
Детерминированный SLA: выкуп PTU означает бронирование доли аппаратных ускорителей. Это гарантирует стабильное время отклика, поскольку ядра уже изолированы под конкретную задачу.
Зависимость от веса модели: производительность одной PTU варьируется. Легковесные архитектуры выдают большее количество токенов на единицу мощности по сравнению с тяжелыми мультимодальными системами.

Сравнительный анализ стратегий развертывания

Выбор между динамическим разделением ресурсов и их предварительным бронированием диктуется характером нагрузки:

Характеристика	Shared Throughput (Общий доступ)	Provisioned Throughput (Выделенная мощность)
Профиль трафика	Непредсказуемый, этап разработки, внутренние утилиты.	Стабильный промышленный поток, массовые B2C-сервисы.
Экономическая модель	Оплата по факту потребления (Pay-as-you-go). Эффективно при низкой утилизации.	Абонентская плата ($/PTU/час). Окупается при загрузке свыше 30–40% от номинала.
Скорость обработки	Нестабильная, зависит от длины общей очереди.	Минимальная и постоянная, ограничена лишь физикой оборудования.
Уязвимости	Получение кода ошибки 429 (превышение лимита) при глобальном дефиците железа у провайдера.	Финансовые потери при завышенных прогнозах трафика и простое зарезервированных чипов.

Методы оптимизации в условиях разделения ресурсов

Инженерные команды применяют ряд алгоритмических решений для повышения КПД систем с общим доступом:

Микробатчинг (Micro-batching): агрегация разрозненных запросов в единый вычислительный пакет. Обработка вектора из тысячи токенов происходит значительно быстрее, чем последовательная итерация одиночных обращений. Современные серверы инференса выполняют этот процесс прозрачно для пользователя.
Управление контекстным кэшем: повторное использование семантически идентичных фрагментов промптов. Если системные инструкции или справочные данные дублируются, они считываются из памяти, минуя ресурсоемкие слои внимания трансформера. Это напрямую снижает расход TPM.
Архитектура Spillover (перелив): гибридный контур безопасности. Базовая нагрузка обслуживается забронированными PTU, а трафик, превышающий лимит емкости, автоматически сбрасывается в стандартный общий пул. Такой подход жертвует скоростью ответов лишь для малой доли аномальных запросов, сохраняя общую доступность сервиса.

Релевантность для отечественной инфраструктуры

Понимание механики распределения пропускной способности становится критическим фактором для российских технологических компаний. На фоне экспоненциального роста энергопотребления дата-центров, специализирующихся на обучении и запуске нейросетей, эффективное совместное использование кремния превращается из вопроса экономии в вопрос физической доступности вычислений. Грамотная приоритизация очередей внутри общих пулов позволяет российскому финтеху, электронной коммерции и госсектору внедрять генеративные технологии без капитальных затрат на закупку дефицитных ускорителей, полагаясь на механизмы виртуализации и гибкого квотирования.

Следовательно, концепция shared throughput трансформировалась из узкоспециализированного технического параметра в базовый инструмент операционного менеджмента, определяющий пределы масштабируемости и финансовой жизнеспособности продуктов на базе искусственного интеллекта.