KV-cache

KV-cache (Key-Value Cache) — специализированный буфер в видеопамяти, хранящий промежуточные состояния механизма внимания.

Если представить нейросеть как ученого, читающего сложный манускрипт, то KV-cache — это его система закладок и кратких выписок, позволяющая мгновенно вспомнить контекст любой предыдущей страницы, не перечитывая весь фолиант заново.

Физика процесса KV-cache

Работа архитектуры Transformer строится на механизме самовнимания. Для каждого нового слова модель должна вычислить его взаимосвязь со всеми словами, сказанными ранее. В процессе формируются три вектора:

• Query (Q): Суть текущего запроса (О чем я думаю сейчас?).
• Key (K): Индекс или тег предыдущих слов (Что важного было сказано раньше?).
• Value (V): Содержательная часть этих слов.

Без системы кэширования генерация текста превращается в математический кошмар. Чтобы выдать 10-е слово, модели пришлось бы заново пересчитывать матрицы Q, K, V для всех первых девяти слов. При контексте в 32 тысячи токенов количество операций растет квадратично (O(n^2)), делая диалог невыносимо медленным.

KV-cache меняет правила игры: после обработки N-го токена результаты вычислений Key и Value копируются в выделенную область памяти GPU. На шаге N+1 модель загружает эти готовые блоки из кеша и выполняет тяжелые умножения только для одного свежего токена. Сложность падает до линейной O(n), а скорость генерации возрастает многократно.

Экономическая ловушка

Парадокс современного ИИ заключается в том, что видеокарты простаивают не из-за нехватки вычислительной мощности, а из-за невозможности быстро доставить данные.

Геометрия затрат

Веса самой модели статичны. Но размер KV-кеша прямо пропорционален длине диалога.

• Для модели уровня DeepSeek или Llama 70B при обработке юридического документа на 128К токенов под хранение ключей и значений требуется около 40 — 50 ГБ. Это сопоставимо с объемом всей квантизированной модели.
• В серверных системах вроде NVIDIA DGX GB200, где суммарно доступно более терабайта HBM3e, львиную долю этого пространства при реальной нагрузке съедает именно кеш контекста, а не параметры сети.

Это привело к тому, что стадия декодирования (Decode) стала полностью memory-bound. Графические ядра ждут данных, создавая эффект «очереди у кассы» в архитектуре чипа.

Архитектура движков инференса

Поскольку проблема аппаратная, программные решения строятся вокруг виртуализации памяти.

PagedAttention (vLLM)

Традиционные системы резервировали непрерывный массив памяти по максимальной длине (например, сразу на 4096 токенов). Если пользователь прислал короткий запрос, гигабайты дорогущей памяти просто пустовали (фрагментация). Движок vLLM внедрил логику операционных систем: память делится на мелкие блоки (страницы по 16 токенов). Кеш выделяется динамически. Это позволяет запускать десятки запросов параллельно, плотно упаковывая их в доступную VRAM без поиска огромных свободных участков.

Radix Tree (SGLang) и переиспользование префиксов

Если тысяча пользователей спрашивают одну и ту же модель о политике компании, используя идентичный вводный текст, нет смысла хранить этот ввод тысячу раз. SGLang использует структуру радиусного дерева (Radix Tree). Общие части промптов физически хранятся в единственном экземпляре, а новые запросы ссылаются на них через указатели, экономя колоссальные объемы RAM.

TurboQuant и RaBitQ

Осенью 2025 года лаборатория Google Research представила алгоритм TurboQuant, ставший ответом на дефицит VRAM. Он применяет методы сжатия непосредственно к живому KV-кэшу во время работы модели.

• Суть: Использование полярных координат вместо декартовых (PolarQuant) для выравнивания распределения данных и последующая коррекция ошибок (QJL).
• Эффект: Уменьшение объема кеша с 16 бит до 3 — 3.5 бит на значение (экономия почти в 5 — 6 раз) при сохранении качества ответов на уровне эталона.
• Практика: Это позволило энтузиастам запускать контексты длиной в полмиллиона токенов на обычном MacBook Air M4, так как оперативная память перестала быть жестким ограничителем].

Ответом академического сообщества стал метод RaBitQ, использующий радикальную бинаризацию (до 1 бита), что спровоцировало настоящую «гонку вооружений» среди алгоритмов оптимизации внимания].

Эволюция самого Attention

Разработчики архитектур также ищут способы уменьшить «выхлоп» механизма внимания:

1. MHA (Multi-Head Attention): Каждая голова внимания имеет свой личный кеш. Максимально точно, но крайне дорого.
2. GQA (Grouped Query Attention): Несколько голов вынуждены делить одни и те же ключи и значения. Дешевле, чуть шумнее.
3. MLA (Multi-Latent Attention — DeepSeek): Ключи и значения перед записью сжимаются в узкое латентное пространство. Это снизило требования к памяти на один токен почти на порядок, позволив моделям DeepSeek видеть огромные контексты там, где другие упираются в лимиты железа].

Инженерные выводы для дата-центров

Управление этим временным хранилищем диктует топологию современных кластеров:

• Разделение Prefill и Decode: Самый высокий показатель RPS (запросов в секунду) достигается, когда заполнение кеша длинными промптами и выдача готовых токенов разведены по разным физическим серверам. Устраняется конфликт расписаний внутри одной карты.
• Стратегии параллелизма: Тензорный параллелизм (TP) минимизирует задержку ответа, но требует постоянного обмена сегментами кеша между картами через NVLink. Дата-параллелизм (DP) плодит копии модели, каждая со своим независимым кэшем, что идеально для массового обслуживания простых запросов.

KV-cache эволюционировал из вспомогательного инструмента ускорения в главный фактор стоимости эксплуатации искусственного интеллекта. Сегодняшняя гонка производителей железа (как NVIDIA Blackwell) и создателей алгоритмов направлена прежде всего на оптимизацию хранения и передачи этих эфемерных состояний внимания. Тот, кто найдет способ эффективнее управлять этой оперативной памятью нейросети, получит решающее преимущество в строительстве следующего поколения интеллектуальных систем.