ИИ учится расти вглубь, а не вширь

news23092026

Индустрия совершает разворот на 90 градусов, сменив горизонтальную гонку масштабов на вертикальную архитектурную сложность. Вместо того чтобы строить более крупные монолиты, инженеры начали осваивать объем.

Этот сдвиг объединяет два недавних технологических события: программный анонс Alibaba (семейство Qwen4) и исследования полупроводников из Университета Гонконга. И языковые модели, и новые микросхемы отказываются от работы всей системой ради одной задачи. Как софт учится точечно активировать только нужных экспертов внутри триллионной сети, так и железо переносит вычисления в многослойные трехмерные структуры, минимизируя потери энергии на холостом ходу. Анализ этих параллелей показывает рождение новой инженерной парадигмы, где эффективность определяется не количеством ядер или весом модели, а способностью системы динамически управлять пространством — как логическим, так и физическим.

Эффективность против масштаба через пространственную реорганизацию

Классическая парадигма технологического прогресса, требовавшая линейного наращивания ресурсов для достижения новых высот, исчерпала себя. В программной среде это выражалось в бесконечном укрупнении нейросетей, а в аппаратной — в попытках бесконечно спрессовывать транзисторы на плоскости кремниевой пластины. Обе дороги уперлись в тупик непомерных счетов за электроэнергию и законов термодинамики, не позволяющих отводить тепло от сверхплотных структур.

Архитектура “вычислительной диеты”

Компания Alibaba предложила радикальный выход из этого кризиса, представив архитектуру Qwen3.8-Flash-Next — технологический фундамент будущей серии Qwen4. Инженеры реализовали концепцию разделения интеллекта на “активный разум” и “внешний справочник”.

Центральным элементом стала технология N-gram Embedding (PLE). Традиционная нейросеть хранит все знания о языке внутри своих весов, которые приходится постоянно перемножать. PLE же выносит локальные паттерны языка (биграммы и триграммы) в отдельную таблицу объемом около 20 миллионов записей. Эта таблица физически располагается в обычной оперативной памяти сервера, минуя дорогостоящую видеопамять ускорителей.

Это инженерное решение меняет саму экономику ИИ:

  • Разделение труда:

Вместо того чтобы задействовать всю мощь матричных ядер для предсказания простых сочетаний слов, модель делает быстрый lookup запрос к таблице. Емкость сети растет почти без увеличения вычислительных затрат.

  • Гибридная память:

Модель учится использовать дешевую адресуемую RAM для хранения статичных знаний и дорогую VRAM только для динамических рассуждений. При общем весе в сотни миллиардов параметров реально просчитывается лишь около 6 млрд на каждый токен благодаря селективному привлечению экспертов MoE.

  • Радикальная экономия:

Такой подход позволил сократить потребность в машинном времени при обучении примерно в 9 раз по сравнению с предыдущим поколением (Qwen3.7-Plus).

Однако эта элегантность требует жесткой дисциплины управления памятью. Огромная таблица n-грамм занимает значительную часть дискового пространства и не поддается сильному сжатию. Практика показала: если данные случайно вытесняются из быстрой видеопамяти в системную через шину PCIe, скорость генерации падает более чем в десять раз, превращая мощный ускоритель в медленный процессор.

Cтроительство полупроводниковых небоскребов

Пока алгоритмисты оптимизировали использование объема серверной стойки, материаловеды предложили аналогичную идею для самого кристалла. Исследования Университета Гонконга открывают путь к переносу закона Мура в третье измерение.

Внедрение двумерных материалов позволяет разорвать оковы плоской топологии. Часть логических вентилей, проводников и ячеек памяти перемещается в верхние слои чипа и на его тыльную сторону. Логика здесь зеркальна программному слою Alibaba:

  • Освобождение фундамента:

Подобно тому как таблицы паттернов освобождают VRAM, вынос вспомогательных цепей на верхние уровни разгружает перегретый нижний слой кремния, где происходят основные вычисления.

  • Микромасштабные магистрали:

Сокращение дистанции между слоями до микронных расстояний кратно снижает задержки сигнала и утечки тока. Энергия больше не тратится на перекачку данных через длинные медные трассы печатной платы.

  • Материальная специализация:

Разные уровни трехмерного чипа могут состоять из разных соединений. Одни слои оптимизированы под высокоскоростную передачу данных, другие — под энергоэффективное хранение, что невозможно реализовать в монолите из чистого кремния.

Победа архитектуры над грубой силой

Оба этих явления — программное вынесение данных в RAM и аппаратное возведение слоев над кристаллом — являются симптомами одной глубинной трансформации. Индустрия перешла от погони за пиковой мощностью (FLOPS) к борьбе за эффективность использования доступной площади и объема.

Alibaba доказывает математически: стоимость обработки информации снижается не добавлением новых видеокарт, а отказом от лишних вычислений. Механизмы вроде Qwen Sparse Attention (QSA) работают как интеллектуальный фильтр контекста, заставляя систему анализировать только релевантные фрагменты текста, а не весь миллион токенов подряд.

Полупроводниковая отрасль отвечает строительством объемных схем, где дефицит горизонтальной площади компенсируется вертикальным ростом.

Этот симбиоз формирует облик следующего десятилетия. Будущие суперкомпьютеры, такие как кластеры на базе Zhenwu V900, физически не смогут эффективно работать со старыми монолитными моделями весом в триллионы параметров — им просто не хватит пропускной способности памяти. Но они станут идеальной средой для разреженных архитектур, умеющих распределять свою массу между быстрой памятью чипа и масштабируемыми массивами серверной RAM. Искусственный интеллект перестает быть тяжелой гирей, которую нужно поднимать всё большим числом рук, и превращается в сложную пространственную структуру, где каждая единица объема работает с максимальной отдачей.

Асимметричная активация вместо монолитной нагрузки

Традиционные системы работали по принципу тотальной мобилизации: любая задача задействовала все доступные транзисторы или веса нейросети, что приводило к колоссальным потерям энергии на простое. Современный инженерный подход диктует иную логику — ресурсы должны подключаться асимметрично, строго в момент необходимости.

Диспетчеризация вместо вычислений вслепую

Архитектура будущих моделей Qwen4 базируется на принципе Mixture of Experts (MoE), который превращает гигантскую нейросеть из единого нерастяжимого полотна в гибкий конструктор специализированных модулей.

Вместо того чтобы заставлять всю сеть думать над каждым токеном, инженеры внедрили интеллектуальный механизм маршрутизации. Вентильная сеть (router) выступает в роли диспетчера распределительного центра: она мгновенно оценивает входящий запрос и направляет его только к тем узлам-экспертам, которые наиболее компетентны в данной теме. Если пользователь спрашивает о квантовой физике, активизируются соответствующие математические подсети; если требуется сгенерировать стихотворение — просыпаются языковые эксперты.

Остальные модули остаются в состоянии глубокого покоя, физически не потребляя циклы процессора. Это создает феномен вычислительной сверхэффективности:

  • Разрыв между весом и нагрузкой:

Модель может содержать условные 10 триллионов параметров (как будущая Qwen5), но для генерации одного ответа использовать лишь их малую долю — миллиарды активных весов. В эксперименте Qwen3.8-Flash-Next этот разрыв еще нагляднее: при общем объеме около 180 млрд реально просчитывается порядка 6 млрд.

  • Снижение стоимости владения:

Именно разреженная активация делает инференс гигантских моделей экономически рентабельным. Затраты на электроэнергию падают, так как основная часть кремния простаивает. Это позволяет компаниям масштабироваться до размеров GigaChat-20B MoE или Llama 4 без пропорционального увеличения расходов на дата-центры.

Цена такой эффективности — сложность обучения. Диспетчеру необходимо идеально балансировать нагрузку, чтобы одни эксперты не перегружались, пока другие атрофируются от безделья. Для этого применяются сложные штрафные функции, принудительно распределяющие задачи равномерно по всей академии специалистов.

Трехмерная локализация тока

Микроэлектроника решает ту же задачу экономии энергии, но оперирует законами Ома и термодинамики. Переход от плоских чипов к 3D-сборкам знаменует собой конец эпохи длинных проводников.

В классических схемах электрический импульс вынужден преодолевать расстояния в несколько сантиметров внутри кристалла и десятки сантиметров по материнской плате. Каждое такое перемещение сопровождается сопротивлением и выделением тепла. Трехмерная интеграция через интерпозеры и TSV переходы (сквозные кремниевые переходы) радикально сжимает пространство:

  • Минимизация дистанции:

Слои памяти (HBM) теперь располагаются буквально поверх слоев вычислений. Сигналу больше не нужно совершать многокилометровый марафон по медным трассам — он перемещается вертикально на микроскопическую высоту за наносекунды.

  • Отказ от холостого хода:

Локализация вычислений внутри объема позволяет системе работать иначе. Подобно тому как софт отключает ненужных экспертов, аппаратные контроллеры могут обесточивать целые этажи многослойного кристалла, если текущая нагрузка локализована на другом уровне. Энергия перестает рассеиваться по всей площади платы и концентрируется ровно там, где происходит работа.

Адаптивный интеллект

Встреча этих двух подходов формирует новый технологический стандарт — динамическую инфраструктуру. Программный слой учится делегировать задачи специализированным алгоритмам, а аппаратный слой предоставляет физическую среду, где эти сигналы обрабатываются с минимальными затратами на преодоление пространства.

Для искусственного интеллекта это означает качественный скачок. Система перестает быть прожорливой печью, которая сжигает мегаватты ради поддержания температуры всего кластера. Она превращается в высокоорганизованную структуру, работающую по принципу нейробиологической экономии: максимальное количество связей хранится потенциально, но энергия тратится только на те синапсы, которые участвуют в текущем акте мышления. Вычисления становятся точечными, а архитектура — живой.

От бенчмарков к пропускной способности систем

Анализ современных технологических анонсов выявляет тектонический сдвиг в оценке прогресса. Если раньше венчурные капиталисты и научное сообщество смотрели на графики бенчмарков (SWE-bench, MathVision), то сегодня фокус сместился на физику дата-центров и пропускную способность кремния. Успех измеряется не точностью ответов модели, а способностью корпорации синхронизировать сотни тысяч вычислительных узлов.

Математика масштаба

Alibaba преподала рынку показательный урок, анонсировав параметры будущих моделей Qwen4.5 и Qwen5 (5 — 10 трлн весов) задолго до появления работающих прототипов или независимых тестов. Биржа отреагировала ростом акций на 5,1%, оценив не обещанное качество генерации, а продемонстрированную готовность построить кластер из 500 тысяч ускорителей Zhenwu V900.

В этой новой реальности метриками успеха становятся физические константы инфраструктуры:

  • Интерконнект как фундамент:

Для триллионных моделей критическим ресурсом становится не производительность отдельного ядра, а скорость связи между ними. Пропускная способность чипа T-Head на уровне 1200 ГБ/с (1,2 ТБ/с) — это кровеносная система будущего ИИ. Если градиенты оптимизации будут задерживаться в сети хотя бы на миллисекунды, полумиллионный суперкомпьютер превратится в груду дорогого металла.

  • Энергетика вместо алгоритмов:

Генеральный директор Эдди Ву обозначил горизонт развития мощностью в 20 ГВт к 2032 году. Сегодня развитие искусственного интеллекта упирается не в формулу внимания трансформера, а в возможности электростанций и плотность водяных контуров охлаждения. Прогресс лимитирован киловатт-часами.

  • Стратегический суверенитет:

Руководство Alibaba открыто признает, что эпоха зависимости от западных архитектур закончилась. Создание полностекового ИИ стало вопросом выживания компании в условиях экспортных ограничений. Число параметров (те же 10 триллионов) теперь служит лишь политическим заявлением о технологической независимости, тогда как реальное преимущество кроется в контроле над собственной цепочкой поставок HBM памяти.

Вертикальный предел

Параллельно в микроэлектронике происходит отказ от священной коровы индустрии — гонки за нанометрами. Когда элементы нельзя уменьшить дальше без нарушения законов квантовой механики, инженеры начинают смотреть вверх.

Для трехмерных чипов приоритетными стали объемные характеристики:

  • Плотность упаковки:

Главным вызовом становится не длина затвора транзистора, а количество слоев, которые можно срастить в единый монолит через TSV переходы без разрушения кристалла от теплового расширения.

  • Гидродинамика тепла:

В многослойной структуре тепло заперто внутри “пирога”. Побеждает тот, чья архитектура микроканалов эффективнее отводит джоули энергии вбок, сквозь интерпозеры, позволяя сохранять стабильность системы при экстремальных нагрузках.

  • Локальность данных:

Как отмечает вице-президент T-Head Гао Хуэй, оснащение чипа 216 ГБ памяти HBM — это способ минимизировать перемещения данных. В системе такого масштаба любая транзакция за пределы локального узла обходится слишком дорого с точки зрения времени и энергии.

Интеграция софта и железа

Современный искусственный интеллект перерос статус программного обеспечения. Модель весом в 10 триллионов параметров физически не может существовать вне спроектированной под нее экосистемы. Произошел окончательный синтез: алгоритм маршрутизации MoE должен идеально совпадать с топологией физической сети межсоединений.

Победа в следующей фазе технологического противостояния достанется не автору самой хитрой математической функции потерь. Триумфатором станет архитектор закрытой петли управления — тот, кто сможет выстроить единую систему, где программный диспетчер задач понимает тепловые карты каждого из 500 тысяч этажей полупроводникового небоскреба. Развитие ИИ окончательно покинуло область чистой математики и перешло в сферу тяжелой промышленности, логистики мегаватт и прецизионного контроля температуры.

Заключение

Искусственный интеллект перестал быть исключительно программным продуктом, который можно запустить на любом подходящем железе. Сегодня он представляет собой неразрывный симбиоз алгоритма и архитектуры.

Механизмы разреженной активации (MoE) и внешние таблицы знаний (N-gram Embedding) требуют от аппаратной базы возможности мгновенно перемещать данные между слоями памяти без задержек. В свою очередь, трехмерные чипы с их локализованными вычислениями и специализированными слоями становятся физически бессмысленными без софта, способного распределять нагрузку точечно, избегая перегрева всего кристалла. Программная «вычислительная диета» нашла свое идеальное воплощение в полупроводниковых «небоскребах».

Искусственный интеллект окончательно повзрослел. Он вышел из виртуального пространства чистой математики и превратился в сложнейшую пространственную структуру, подчиняющуюся законам термодинамики и макроэкономики. Следующее десятилетие станет временем системных инженеров, способных проектировать единую петлю управления, где программный диспетчер задач понимает тепловые карты многослойного кремния, а физическая архитектура кристалла идеально заточена под асимметричную логику нейронных сетей. Гонка за горизонтальным масштабом окончена; началась эра глубины.

Начнем диалог

Начните масштабирование сегодня

Свяжитесь с нашими экспертами для подбора оптимальной конфигурации оборудования и расчета стоимости аренды под ваши задачи ИИ.

Локация: г.Москва, вн.тер.г., ш. Очаковское, д.28, стр.2
GPU-серверы Высокоплотные вычисления
Облачная аренда Быстрый старт ИИ моделей
Enterprise SLA Гарантированная доступность
Низкая задержка Оптимальные сетевые трассы