Nvidia N1X та нова ера Arm-ПК
Рециклінг пам'яті в епоху дефіциту ресурсів для ШІ

Сучасна індустрія високопродуктивних обчислень зіткнулася з парадоксальним викликом: поки світ дискутує про потужність графічних процесорів та тензорних ядер, реальним «вузьким місцем» стала оперативна пам'ять. У типовому сучасному ІІ-сервері вартість компонентів пам'яті наразі становить понад 75% від загальної вартості комплектуючих. Цей економічний дисбаланс перетворив DRAM із звичайного витратного матеріалу на стратегічний ресурс, дефіцит якого диктує нові правила експлуатації дата-центрів.
У відповідь на цю кризу Google застосувала метод, який у будь-якій іншій галузі назвали б «канібалізацією» обладнання. Компанія почала масово розбирати списані сервери, щоб вилучати з них модулі DDR4. Для інтеграції застарілих стандартів пам'яті в сучасні системи були розроблені спеціалізовані апаратні адаптери. Це рішення дозволяє використовувати старі модулі в нових ІІ-системах, фактично продовжуючи життя залізу, яке мало б відправитися на переробку.
Ринкова кон'юнктура лише підтверджує критичність ситуації. Аналітичні дані TrendForce та Goldman Sachs вказують на стійке зростання цін: у третьому кварталі вартість серверної DRAM може зрости на 13–18%, а пам'яті для персональних комп'ютерів — до 23%. Спотові ціни на модулі DDR4 та DDR5 демонструють високу волатильність, що робить закупівлю нових компонентів у промислових масштабах надзвичайно витратною та ризикованою операцією.
Проте апаратний рециклінг — лише одна зі складових комплексної стратегії. Щоб знизити залежність від фізичного обсягу пам'яті, Google проводить глибоку оптимізацію на програмному рівні. Основний удар припадає на бібліотеки та алгоритми стиснення KV-кешу (Key-Value cache) — критично важливого механізму, який визначає, скільки контексту модель може утримувати в пам'яті під час генерації відповіді. Оптимізація цього шару дозволяє скоротити обсяг необхідних ресурсів на одиницю обчислювальної потужності, що фактично збільшує «щільність» обчислень.
Особлива увага приділяється ієрархії пам'яті в нових акселераторах. Наприклад, TPU8i, призначений для інференсу, використовує багаторівневий підхід: основний масив даних обробляється надшвидкою пам'яттю HBM3E обсягом 288 Гбайт, інтегрованою безпосередньо в акселератор. Водночас завдання рівня хоста традиційно лягають на DDR5. Але саме тут дефіцит DRAM проявив себе найгостріше: у низці сценаріїв Google була змушена замінити сучасну DDR5 на ті самі відновлені модулі DDR4.
Таким чином, боротьба з дефіцитом ресурсів призвела до створення замкненого циклу всередині інфраструктури одного з найбільших операторів ІІ. Ситуація, коли передові системи машинного навчання спираються на компоненти десятирічної давнини, підкреслює критичну залежність цифрового прогресу від фізичних обмежень ринку напівпровідників.

