Context

Context (Промежуточный слой) — это кратковременная память и текущее состояние сознания.

Без этого слоя нейросеть была бы «человеком без памяти», который каждое утро просыпается новым человеком, не помня ничего о вчерашнем дне.

Техническая суть Context

С точки зрения механики трансформера (архитектуры, на которой строятся современные LLM), диалог — это непрерывный поток токенов. Когда вы отправляете сообщение, модель не просто читает его. Она получает на вход весь массив данных, накопленный в рамках текущей сессии: [System Prompt] + [User Message 1] + [Assistant Answer 1] + [User Message 2] + … + [Current User Message]

Этот массив данных и есть промежуточный слой. Для модели он представляет собой единую матрицу эмбеддингов (числовых представлений слов). Анализируя эту матрицу, механизм самовнимания (self-attention) вычисляет веса связей между всеми словами во всей истории переписки. Именно так модель понимает, к чему относится местоимение «оно» в вашем пятом сообщении — она находит объект, упомянутый вами во втором.

Ключевые функции промежуточного слоя

Промежуточный слой выполняет задачи, которые невозможно решить только за счет базовой инструкции или параметров самой модели.

Поддержание связности диалога (Statefulness)

Это главная функция контекста. Модель использует историю, чтобы соблюдать логическую нить разговора. Вы можете сказать: «Назови этот проект «Альфа»», а через десять реплик спросить: «Какие риски у проекта?«. Модель поймет, что речь идет об «Альфе», потому что эта информация хранится в промежуточном слое как активный факт.

Учет предыдущих ответов (Self-Correction)

Контекст позволяет пользователю ссылаться на ошибки модели. Фраза «В предыдущем ответе ты ошибся в расчетах, пересчитай…» работает только потому, что предыдущий ответ ассистента является частью текущего контекста. Модель буквально видит свои прошлые слова перед глазами и может проанализировать их на предмет неточностей.

Динамическая адаптация стиля

Хотя базовый тон задается системным слоем, контекст позволяет его корректировать «на лету». Если пользователь начинает общаться техническим жаргоном, переходить на другой язык или просит писать в стихах, модель подхватывает этот паттерн из недавней истории сообщений и зеркалит его, обеспечивая комфортное общение.

Передача сущностей и переменных

В сложных задачах (например, при работе с кодом или финансовыми данными) контекст служит временным хранилищем для объектов. Вы можете определить функцию в первом сообщении, объявить переменную во втором, и модель будет помнить их значения и синтаксис на протяжении всей сессии.

Ограничение окна контекста (Context Window)

Память искусственного интеллекта не бесконечна. Объем текста, который модель может удерживать в своем «фокусе внимания» одновременно, называется размером контекстного окна. Он измеряется в токенах (частях слов).

• Как это работает: Представьте доску для записей. Системный промпт написан на ней маркером, который нельзя стереть. Каждое ваше сообщение и каждый ответ ИИ записываются мелом. Как только доска заканчивается (достигается лимит токенов), старые записи начинают стираться.
• Последствия потери контекста: Когда окно заполняется, происходит эффект «отсечения хвоста» (context overflow). Модель забывает начало разговора. Если в первых сообщениях вы представились экспертом в ядерной физике, спустя час активной беседы модель начнет объяснять вам основы физики с нуля, так как информация о вашей квалификации выпала из окна.
• Техническое решение (KV-кэширование): Чтобы не пересчитывать внимание для всех старых токенов заново при каждом новом запросе (что требовало бы огромных вычислительных мощностей), архитектуры используют кэш ключ-значение (KV-cache). Однако даже он имеет предел по объему оперативной памяти GPU.

Эволюция управления контекстом

Инженеры постоянно ищут способы расширить возможности промежуточного слоя:

1. RAG (Retrieval-Augmented Generation): Вместо того чтобы хранить всю информацию в контексте, модель подключается к внешней базе знаний. В промежуточный слой подгружаются только релевантные фрагменты документов. Это экономит «место на доске».
2. Суммаризация контекста: Когда диалог становится слишком длинным, другая модель (или та же самая) сжимает старую часть переписки в краткую выжимку (тезисы). Вместо 50 страниц текста в окне остаются 5 абзацев сути.
3. Длинноконтекстные модели: Появление архитектур вроде Gemini 1.5 или специализированных модификаций Transformer позволило увеличить окно до миллионов токенов (целые книги или часы видео), но это требует колоссальных затрат энергии и дорогостоящего оборудования.

Риски и побочные эффекты промежуточного слоя

• Смещение в сторону последних данных (Recency Bias): Модели склонны придавать больше веса информации, которая находится ближе к концу контекстного окна. Последние сообщения пользователя влияют на ответ сильнее, чем те, что были написаны в начале.
• Засорение контекста (Context Poisoning): Если в ходе диалога модель один раз сгенерировала ложный факт и он попал в историю, она будет опираться на него как на истину в последующих ответах, защищая свою ошибку. Это одна из причин накопления галлюцинаций.
• Утечка конфиденциальных данных: Поскольку все данные в контексте обрабатываются моделью, передача паролей или персональных данных в чат означает, что они становятся частью математических вычислений внутри сервера.

Context — это живая ткань диалога. Именно он обеспечивает ту иллюзию понимания и памяти, которую мы испытываем при общении с ИИ.

Управление этим слоем — балансировка между сохранением полезных фактов и очисткой шума — является одной из самых сложных и важных задач при разработке прикладных нейросетевых решений. Контекст превращает языковую модель из справочника в настоящего партнера по решению задач.