Universal Data Processing Engine

Universal Data Processing Engine, UDPE — это программный слой, созданный компанией DataPelago, который интегрирует вычислительное ядро непосредственно в систему хранения данных (СХД).

Если раньше данные нужно было обязательно «выгрузить» из озера, очистить в отдельном кластере и только потом отправить в GPU, то UDPE делает эту выгрузку ненужной. Это универсальный переводчик, который позволяет прикладному софту использовать любые доступные ускорители — будь то CPU, GPU или FPGA — прямо на уровне дисковой полки.

Как устроен Universal Data Processing Engine

Архитектура UDPE построена на трех уровнях, которые позволяют ей быть гибкой и быстрой:

1. Слой интеграции (DataApp): Позволяет старым аналитическим движкам работать с новыми ускорителями без переписывания кода. Для дата-инженера это выглядит как магия: он запускает привычный SQL-запрос, а UDPE сам решает, как его ускорить.
2. Слой управления (DataOS): Это диспетчер ресурсов. Он видит всю начинку сервера хранения и динамически распределяет задачи. Если есть свободные тензорные ядра — вычисления идут на них. Если GPU заняты — нагрузка уходит на CPU. Никакой ресурс не простаивает.
3. Ядро исполнения (DataVM): Самая глубокая часть — виртуальная машина со своим собственным набором команд, заточенным под операции с данными. Она выполняет фильтрацию и агрегацию на скоростях, недоступных стандартным библиотекам.

Почему это меняет экономику ИИ

В модели GPU-as-a-Service, где минута работы кластера стоит сотни долларов, каждая секунда ожидания данных из СХД — это буквальное сжигание денег.

• Ликвидация налога на перемещение: UDPE реализует принцип Zero-Copy. Данные обрабатываются там, где они лежат. Им не нужно копироваться в RAM сервера и затем в VRAM видеокарты. Это экономит до 80% инфраструктурных затрат.
• Чистая математика для GPU: Традиционный GPU тратит большую часть времени на I/O Wait (ожидание данных). UDPE подготавливает, очищает и векторизует информацию до того, как она коснется ускорителя. В результате GPU занимается только тем, для чего создан тяжелыми матричными вычислениями.
• Скорость на уровне железа: Благодаря глубокой оптимизации, движок выполняет типовые задачи (например, фильтрацию таблиц) до 10 раз быстрее стандартных решений.

Технологическая основа Universal Data Processing Engine

Эффективность UDPE строится не на «черных ящиках«, а на открытых стандартах. Движок использует наработки проектов Gluten, Velox и Substrait. Это позволяет ему встраиваться в существующие экосистемы аналитики и ускорять их, не заставляя компании переезжать на новые базы данных или менять SQL-запросы.

Активация вместо хранения

С появлением UDPE роль системы хранения (СХД) кардинально меняется. Она перестает быть «глухим» складом:

• Векторизация при записи: Когда новый документ попадает в хранилище, UDPE может сразу превратить его текст в вектор (эмбеддинг) прямо в контроллере СХД. К моменту, когда LLM понадобится этот документ, он уже будет в нужном формате.
• Мгновенная аналитика: Обнаружение мошенничества происходит в микросекунду транзакции. Данные обрабатываются движком прямо «на лету», не дожидаясь очереди на обучение в GPU кластере.
• Экономия на закупках: Поскольку предобработку берет на себя UDPE, компаниям больше не нужны самые дорогие и горячие GPU для простых задач достаточно более доступных ускорителей.

Universal Data Processing Engine становится фундаментом Intelligent Data Infrastructure. Он закрывает последний разрыв между физическим железом и прикладным ИИ. В мире, где данные растут быстрее, чем мы успеваем строить дата-центры, способность обрабатывать информацию на месте, не перемещая ее, становится главным оружием в конкурентной борьбе.

UDPE превращает дисковую полку из пассивного сейфа в активный мозг, который готовит данные к встрече с искусственным интеллектом еще до того, как они будут записаны.