Стрімкий розвиток великих мовних моделей поставив напівпровідникову індустрію перед суворим фізичним бар'єром. Сучасні графічні прискорювачі зіткнулися з критичною проблемою: традиційні підходи до збільшення обсягу пам'яті спричиняють катастрофічний перегрів і стрімке падіння продуктивності. Виходом стає радикальний перегляд геометрії розміщення кристалів, що трансформує звичні «вежі» пам'яті у високопродуктивні модулі. Такий перехід обіцяє не лише багатократне збільшення ємності, а й якісний стрибок у швидкості обробки даних для систем штучного інтелекту.
Сучасна індустрія ІІ-прискорювачів базується на стандарті HBM (High Bandwidth Memory), де кристали DRAM розташовуються один над одним у вигляді вертикального стека. Зв'язок між ними забезпечується наскрізними отворами в кремнії (TSV), що дозволяє досягти колосальної пропускної здатності. Однак така структура створює серйозну проблему з тепловідведенням: шари діелектрика між кристалами працюють як теплоізолятори, замикаючи жар усередині «вежі» та перешкоджаючи його передачі на радіатор. У міру збільшення кількості шарів для задоволення апетитів LLM ризик перегріву стає критичним.
Щоб подолати цей термічний бар'єр, дослідники запропонували змінити саму орієнтацію пам'яті. Замість того щоб будувати вертикальний стек на базовій підкладці, кристали DRAM пропонують встановити «на ребро». У такій конфігурації масив пам'яті перетворюється на об'ємний блок, де кожен кристал має прямий доступ до інтерфейсних і силових контактів на нижній кромці. Це дозволяє повністю відмовитися від громіздкого базового кристала, який у класичній HBM слугує посередником між стеком і процесором.
Особливий інтерес викликає концепція V-Die, розроблена вченими з Південної Кореї. У цій схемі між кристалами інтегруються мікрофлюїдні канали, через які циркулює холодоагент. Подібний підхід переносить охолодження безпосередньо всередину структури пам'яті, що в поєднанні з відмовою від товстих TSV-з'єднань звільняє додатковий простір під комірки зберігання даних. Контакти для підключення до підкладки прискорювача в цій системі розташовані вздовж нижньої грані кристала з екстремально малим кроком — близько 20 мкм.
Практична ефективність такого підходу підтверджується моделюванням на базі GPU рівня Nvidia H100 при навантаженнях, характерних для моделей масштабу GPT-3. Система V-Die демонструє чотирикратне збільшення кількості з'єднань порівняно з HBM4 і скорочення часу читання на 37%. У цифрах це означає зростання продуктивності з 296 до 540 токенів за секунду. При цьому затримка до видачі першого токена знижується на 32%, а температура системи утримується в районі 45 °C, що радикально нижче типових піків HBM, які часто перевищують 80 °C.
Попри вражаючі метрики, концепція V-Die стикається з серйозним технологічним викликом: забезпечити мікронну точність суміщення всіх контактів на ребрах куба з майданчиками паяння на підкладці в умовах масового виробництва практично неможливо. Саме ця проблема лягла в основу розробки японських дослідників із Токійського університету та RIKEN.
Японська група запропонувала концепцію MOSAIC («мозаїка»), яка переглядає спосіб передачі сигналів. Згідно з їхнім підходом, жорсткі фізичні контакти мають використовуватися лише для подачі живлення, оскільки вони менш вимогливі до точності позиціонування. Для передачі даних і керуючих сигналів пропонується використовувати індуктивний безконтактний зв'язок.
В основі MOSAIC лежать витягнуті котушки індуктивності (розміром приблизно 80 × 240 мкм), розташовані на кристалах пам'яті та підкладці під прямим кутом. Передача інформації здійснюється через магнітне поле, що знімає потребу в ідеальному фізичному суміщенні елементів. Така гнучкість дозволяє значно збільшити щільність розміщення компонентів. В одному кубі MOSAIC можна розмістити до 98 кристалів, що дає 294 Гбайт пам'яті. При подальшому зменшенні товщини кристала до 100 мкм потенціал системи зростає до 294 кристалів, забезпечуючи колосальний обсяг у 882 Гбайт у тому ж фізичному просторі при розрахунковій температурі близько 81,3 °C.
Подібний перехід від жорстких вертикальних структур до адаптивних об'ємних блоків може стати фундаментом для наступного покоління обчислювальних систем, де пам'ять перестане бути «вузьким місцем» для розвитку штучного інтелекту.
Ера цифрових рекрутерів у США
