Query Set (Множество запросов) — с одной стороны, это ключевой механизм активного обучения, позволяющий нейросети самостоятельно определять, какие данные ей необходимо изучить. С другой — это фундаментальный программный объект для управления базами данных, на которых строится вся инфраструктура современных ИИ решений.

Query Set в парадигме активного обучения (Active Learning)

Традиционный подход к машинному обучению требует наличия заранее подготовленного массива размеченных данных. Однако в реальных задачах разметка обходится крайне дорого: она требует времени профильных специалистов, таких как рентгенологи, или проведения сложных лабораторных тестов. Активное обучение решает эту проблему через итеративный процесс, где алгоритм сам диктует, что именно ему нужно показать.

В этой системе данные делятся на три категории:

Labeled Set (L): верифицированные примеры, на которых модель уже тренировалась.
Unlabeled Set (U): массив «сырых», не размеченных данных.
Query Set (Q): тщательно отобранная порция данных из U, которую алгоритм запрашивает у эксперта (оракула) на текущем шаге.

Задача Query Set здесь — не просто предоставить случайные данные, а подсветить модели самые информативные примеры, которые дадут максимальный прирост точности при минимальных затратах на разметку.

Методы отбора данных в Query Set:

Поиск по зоне максимальной неуверенности: Алгоритм выбирает те объекты из U, где его уверенность в классификации минимальна (например, вероятности двух классов составляют 0.501 и 0.499). Это данные, лежащие на самой границе решающего правила.
Голосование комитета (Query-by-Committee): Запускается несколько независимых моделей. В Q отправляются те примеры, где их прогнозы разошлись наиболее радикально.
Оценка влияния на веса: Выбираются объекты, которые при добавлении в обучение вызовут наибольшую перестройку параметров нейросети.
Поиск по представительности: Выборка формируется так, чтобы охватить разные участки распределения данных, исключая дублирование слишком похожих примеров.

Практический кейс: В российских проектах по разработке систем компьютерного зрения для медицины (например, для анализа КТ снимков) ручная разметка каждого среза — это часы работы врача. Вместо того чтобы просить медиков аннотировать массив из 50 000 снимков, система обучается на первой тысяче. Затем она формирует Query Set из 20 снимков, где алгоритм видит аномальные, но не очевидные затемнения. Специалист подтверждает или опровергает патологию только на этих 20 кадрах. Модель дообучается, и на следующем цикле ее «сомнительных зон» становится меньше. Такой подход позволяет достичь промышленного качества модели, сэкономив до 80 — 90% бюджета на разметку.

Query Set как инструмент управления данными в ИИ-стеке

Ни одна нейросеть не работает в вакууме — ей нужны данные, которые чаще всего хранятся в реляционных базах. В экосистеме Python (и особенно во фреймворке Django) основным инструментом работы с данными является объект QuerySet. Для инженера по машинному обучению (MLE) понимание его механики критически важно при сборке пайплайнов предобработки.

QuerySet — это не сам массив данных, а его декларативное описание. Объект фиксирует условия фильтрации, сортировки и связывания таблиц, но не обращается к диску до тех пор, пока данные не потребуются вычислениям.

Специфика работы с QuerySet в инфраструктуре ИИ:

Принцип ленивых вычислений (Lazy Evaluation): Вы можете выстраивать сколь угодно сложную цепочку фильтров. Обращение к базе данных произойдет только в момент, когда вы начнете перебирать объект в цикле или сохраните его в список. Это позволяет динамически собирать выборки для аугментации без лишней нагрузки на сервер.
Борьба с проблемой N+1 запросов: Данные для ИИ часто нормализованы (таблицы Image, Label, User).
- Метод select_related() подтягивает связанные сущности через SQL JOIN (эффективно для одиночных связей).
- Метод prefetch_related() делает отдельные запросы к связанным таблицам и объединяет их в памяти (необходимо для множественных связей, например, когда на одном кадре нужно найти десятки объектов для детекции).
Управление памятью и кэшем: После первого полного считывания QuerySet сохраняет результат в оперативной памяти. Однако работа со срезами (например, qs[0]) не кэшируется — каждый такой вызов генерирует новый SQL-запрос с LIMIT 1, что может стать фатальной ошибкой производительности в высоконагруженных платформах для краудсорсинга разметки.
Прямая выгрузка для обучения: Методы .values() и .values_list() позволяют получать чистые словари или кортежи, минуя создание тяжеловесных объектов моделей. Это стандарт де-факто при подготовке jsonl или csv файлов для скармливания их в DataLoader.

От SQL к градиентному спуску

В современных production системах эти два определения Query Set сливаются в единый технологический процесс.

Типичный цикл работы MLOps платформы выглядит так:

Сервис сбора данных формирует Query Set в БД, отбирая миллионы не размеченных объектов по сложным условиям (например, uploaded_at__gte=yesterday и device_type=’thermal’).
Данные лениво вычитываются из СУБД, проходят первичную валидацию и подаются на вход уже обученной модели.
Нейросеть вычисляет для каждого примера энтропию или метрику неопределенности.
Алгоритм активного обучения формирует Query Set (Q) в математическом смысле — список идентификаторов наиболее полезных для обучения кадров.
Backend сервис снова обращается к базе, используя filter(id__in=q_ids), чтобы достать ссылки на эти файлы и отправить их в RabbitMQ или Kafka для последующей ручной разметки.

Следовательно, глубокое понимание того, как устроено множество запросов Query Set на уровне базы данных — от компиляции SQL, до нюансов кэширования — является такой же обязательной компетенцией для разработчика систем ИИ, как и знание архитектур трансформеров или методов оптимизации градиентного спуска.