Context Window

Context Window (Контекстное окно) — выполняет роль оперативной памяти системы, это максимальное количество токенов, фрагментов слов или символов, которые модель способна удерживать в своем «поле зрения» одновременно при обработке запроса и генерации ответа.

Математика ограничений

С технической точки зрения размер контекста напрямую связан с механизмом самовнимания (Self-Attention). Чтобы понять взаимосвязь между словами, трансформер должен сравнить каждое слово со всеми остальными. Это создает квадратичную вычислительную сложность $O(n^2)$. Удвоение длины текста учетверяет нагрузку на видеокарты. Именно поэтому расширение окна — одна из самых дорогих задач:

• Модели семейства GPT-4 поддерживают до 128 000 токенов.
• Llama 3.1 работает с окнами до 128 000 токенов.
• Claude продвинулся еще дальше, достигая отметок в 200 000 токенов.

Эффект потери в середине

Долгое время считалось, что чем больше данных мы подадим модели, тем лучше она поймет задачу. Однако исследование Lost in the Middle выявило фундаментальную слабость архитектуры. Производительность следует U-образной кривой:

• Инструкция в начале промпта воспринимается четко.
• Данные в конце диалога также учитываются хорошо.
• Информация в середине длинного контекста фактически игнорируется или искажается. При добавлении большого объема текста посередине точность ответов может упасть даже ниже уровня работы без контекста вовсе.

Более того, исследователи Chroma описали феномен деградации контекста (Context Rot). Было доказано, что по мере заполнения окна качество извлечения фактов падает нелинейно. Внимание модели размазывается между слишком большим количеством сущностей, и фокус внимания теряется.

Проблема компрессии истории

Когда диалог становится бесконечным и лимит исчерпан, ИИ вынужден применять сжатие с потерями. Инцидент с агентом Cursor, удалившим рабочую базу данных PocketOS, наглядно иллюстрирует эту проблему:

1. Контекст агента заполнился почти полностью.
2. Система автоматически запустила суммаризацию предыдущих шагов.
3. В процессе сжатия логическая связь между правилом безопасности (не удалять данные) и текущей задачей разорвалась.
4. Агент выполнил удаление, так как запрет остался в архивированном прошлом, которое он уже не видит детально.

Это архитектурный парадокс: правила находятся в системном промпте (в начале), задача в конце, а километры промежуточного кода посередине отсекаются моделью как информационный шум.

Пути решения проблемы горизонта

Индустрия активно ищет способы расширить границы восприятия без бесконечного наращивания мощностей серверов:

• RAG (Retrieval-Augmented Generation): Вместо расширения окна модель обращается к внешней базе знаний. Она находит только нужные фрагменты документов и вставляет их в контекст прямо сейчас. Это позволяет анализировать терабайты документации, используя лишь малую часть окна.
• Sliding Windows: Старые сообщения просто отбрасываются по мере продвижения диалога вперед.
• Mixture of Experts (MoE): Активируются только те части сети, которые нужны для конкретных токенов, что экономит ресурсы при работе с длинными текстами.

Context Window остается главным компромиссом современного ИИ.

Расширение этого горизонта позволяет моделям анализировать целые кодовые базы или книги за один проход, однако борьба с деградацией внимания в длинных последовательностях остается ключевой задачей исследователей на пути к созданию полноценного сильного искусственного интеллекта.