Стремительный рост больших языковых моделей поставил индустрию полупроводников перед жестким физическим пределом. Современные графические ускорители сталкиваются с критическим барьером: традиционные методы наращивания объема памяти приводят к катастрофическому перегреву и падению эффективности. Решением становится радикальный пересмотр геометрии размещения кристаллов, который превращает привычные «башни» памяти в высокопроизводительные блоки. Этот переход обещает не только кратный рост емкости, но и качественный скачок в скорости обработки данных для ИИ.
Современная индустрия ИИ-ускорителей опирается на стандарт HBM (High Bandwidth Memory), где кристаллы DRAM располагаются друг над другом в виде вертикального стека. Связь между ними обеспечивается сквозными отверстиями в кремнии (TSV), что позволяет достичь колоссальной пропускной способности. Однако такая структура создает серьезную проблему с теплоотводом: слои диэлектрика между кристаллами работают как теплоизоляторы, запирая жар внутри «башни» и препятствуя его передаче на радиатор. По мере увеличения числа слоев для удовлетворения аппетитов LLM, риск перегрева становится критическим.
Чтобы преодолеть этот термический барьер, исследователи предложили изменить саму ориентацию памяти. Вместо того чтобы строить вертикальный стек на базовой подложке, кристаллы DRAM предлагается установить «на ребро». В такой конфигурации массив памяти превращается в объемный блок, где каждый кристалл имеет прямой доступ к интерфейсным и силовым контактам на нижней кромке. Это позволяет полностью отказаться от громоздкого базового кристалла, который в классической HBM служит посредником между стеком и процессором.
Особый интерес представляет концепция V-Die, разработанная учеными из Южной Кореи. В этой схеме между кристаллами интегрируются микрофлюидные каналы, через которые циркулирует хладагент. Подобный подход переносит охлаждение непосредственно внутрь структуры памяти, что в сочетании с отказом от толстых TSV-соединений освобождает дополнительное пространство под ячейки хранения данных. Контакты для подключения к подложке ускорителя в этой системе располагаются вдоль нижней грани кристалла с экстремально малым шагом — около 20 мкм.
Практическая эффективность такого подхода подтверждается моделированием на базе GPU уровня Nvidia H100 при нагрузках, характерных для моделей масштаба GPT-3. Система V-Die демонстрирует четырехкратное увеличение количества соединений по сравнению с HBM4 и сокращение времени чтения на 37%. В цифрах это означает рост производительности с 296 до 540 токенов в секунду. При этом задержка до выдачи первого токена снижается на 32%, а температура системы удерживается в районе 45 °C, что радикально ниже типичных пиков HBM, часто превышающих 80 °C.
Несмотря на впечатляющие метрики, концепция V-Die сталкивается с серьезным технологическим вызовом: обеспечить микронную точность совмещения всех контактов на ребрах куба с площадками пайки на подложке в условиях массового производства практически невозможно. Именно эта проблема легла в основу разработки японских исследователей из Токийского университета и RIKEN.
Японская группа предложила концепцию MOSAIC («мозаика»), которая пересматривает способ передачи сигналов. Согласно их подходу, жесткие физические контакты должны использоваться только для подачи питания, так как они менее требовательны к точности позиционирования. Для передачи данных и управляющих сигналов предлагается использовать индуктивную бесконтактную связь.
В основе MOSAIC лежат вытянутые катушки индуктивности (размером примерно 80 × 240 мкм), расположенные на кристаллах памяти и подложке под прямым углом. Передача информации осуществляется через магнитное поле, что снимает необходимость в идеальном физическом совмещении элементов. Такая гибкость позволяет значительно увеличить плотность размещения компонентов. В одном кубе MOSAIC можно разместить до 98 кристаллов, что дает 294 Гбайт памяти. При дальнейшем уменьшении толщины кристалла до 100 мкм потенциал системы возрастает до 294 кристаллов, обеспечивая колоссальный объем в 882 Гбайт в том же физическом пространстве при расчетной температуре около 81,3 °C.
Подобный переход от жестких вертикальных структур к адаптивным объемным блокам может стать фундаментом для следующего поколения вычислительных систем, где память перестанет быть «узким горлышком» для развития искусственного интеллекта.
Эра цифровых рекрутеров в США
