Сучасні обчислення в галузі штучного інтелекту вперлися в критичний бар’єр — «вузьке місце» при передачі даних між накопичувачами та графічними процесорами. Традиційна архітектура, де центральний процесор виступає посередником, стає неприпустимо неефективною при роботі з масивами даних терабайтного масштабу. Рішення Nvidia відкрити вихідний код API cuFile знаменує перехід до формування універсального індустріального стандарту високошвидкісного зберігання. Ця ініціатива має на меті радикально оптимізувати шлях проходження даних, мінімізуючи затримки та усуваючи надлишкове копіювання інформації.
Проблема переміщення даних у сучасних високопродуктивних системах давно вийшла за межі простого збільшення швидкості читання SSD. Головною перешкодою залишається класична топологія передачі: дані мають пройти шлях від накопичувача через системну оперативну пам'ять і CPU, перш ніж потрапити у відеопам'ять GPU. Цей процес створює колосальні накладні витрати та спричиняє простої дороговартісних обчислювальних ядер, які змушені чекати на оновлення даних.
Технологія GPUDirect Storage, частиною якої є cuFile, пропонує елегантний вихід із цього глухого кута. Вона реалізує механізм прямого доступу до пам'яті (DMA), дозволяючи сумісним пристроям зберігання передавати інформацію безпосередньо в пам'ять графічного процесора. Таким чином, системна пам'ять і центральний процесор повністю виключаються з ланцюжка передачі, що істотно знижує затримки та звільняє ресурси CPU для інших завдань.
Рішення Nvidia зробити cuFile відкритим і створити на його базі незалежний стек зберігання даних під назвою xio-sig — це стратегічний крок до децентралізації екосистеми. Проєкт охоплює чотири ключові компоненти: сам інтерфейс cuFile, інструменти перевірки відповідності cuFileConformance, бібліотеку libxFile та шар взаємодії з операційною системою xioLinux. Мета полягає в тому, щоб створити стандарт, який підтримувався б різними виробниками обладнання, перетворюючи пропрієтарний інструмент на загальногалузевий фундамент для роботи з даними.
Важливо розуміти технічну межу: впровадження cuFile не означає, що твердотільний накопичувач магічним чином перетворюється на додаткову відеопам'ять. Для безпосередніх обчислень дані все одно мають перебувати у надшвидкій пам'яті HBM або GDDR. Однак оптимізація шляху доставки цих даних робить процес оновлення контексту в GPU майже непомітним, стираючи відчуття розриву між повільним сховищем і швидкою пам'яттю.
У споживчому сегменті вже існують аналогічні концепції, такі як Microsoft DirectStorage або Nvidia RTX IO, що дозволяють швидко завантажувати текстури та геометрію ігор напряму з NVMe-накопичувачів. Проте cuFile працює на іншому рівні — це інструмент для професійних обчислень на базі CUDA, де вимоги до цілісності та пропускної здатності даних значно вищі, ніж в ігрових сценаріях.
Погляд у майбутнє вказує на ще глибшу інтеграцію рівнів пам'яті. Концепція SCADA (Scaled Accelerated Data Access), що зараз розробляється, прагне зробити різницю між сховищем і пам'яттю практично прозорою для застосунків ШІ. У цій моделі потоки GPU можуть самостійно ініціювати запити до зовнішніх даних, що перетворює NVMe-сховище на свого роду «повільний» рівень пам'яті, розширюючи можливості роботи з датасетами, які фізично не можуть поміститися в локальний обсяг відеопам'яті. Попри різницю в пропускній здатності порівняно з HBM, такий підхід відкриває шлях до обробки моделей і масивів даних безпрецедентного масштабу.
Ціна стрімкого розвитку CXMT у сфері пам'яті
