Синергія акустики та машинного навчання відкриває нові горизонти у сфері предиктивного обслуговування техніки. Досі діагностика стану автомобіля значною мірою спиралася на інтуїцію досвідченого майстра, здатного за одним лише специфічним звуком розпізнати критичний знос компонента. Сучасні нейронні мережі мають на меті автоматизувати цей процес, трансформуючи аудіопотік у структурований масив даних про технічний стан вузлів та агрегатів. Проєкт cardiag наочно демонструє, як відкриті дані із соціальних мереж можуть стати підґрунтям для розробки ефективного інструменту первинної класифікації поломок.
В основі системи cardiag лежить концепція інтелектуального помічника, який не замінює кваліфікованого фахівця, а суттєво звужує коло пошуку несправності. Користувачеві достатньо записати звук працюючого двигуна на смартфон і завантажити файл у застосунок, щоб отримати попередній аналіз. Система працює як фільтр першого рівня: вона визначає наявність поломки та вказує на ймовірний проблемний вузол, дозволяючи механику зосередитися на конкретній ділянці автомобіля.
Технологічний стек проєкту вирізняється прагматичним підходом. Замість ресурсозатратного донавчання масивних нейромереж, розробник використав каскадну архітектуру. Спочатку аудіопотік проходить стадію очищення, де алгоритми відокремлюють технічні шуми від людської мови, музики та зовнішніх перешкод. Потім очищений сигнал обробляється «замороженою» моделлю CLAP (Contrastive Language-Audio Pretraining), яка переводить звук у багатовимірні векторні представлення — ембединги. Поверх цих векторів працюють легкі лінійні класифікатори. Такий підхід дозволяє звести вагу всієї навченої частини системи до мізерних 100 кілобайтів, хоча сама базова модель CLAP займає близько 2 гігабайтів.
Навчальний датасет формувався нестандартним шляхом: система збирала дані за допомогою скрейпінгу роликів із YouTube та TikTok, де користувачі демонструють поломки своїх авто. Результати роботи на таких «брудних» даних свідчать про помірну ефективність: показник AUROC (площа під кривою помилок) склав 0,79. Це суттєво вище за випадкове вгадування, проте залишає простір для зростання. У 76% випадків проблемний вузол — чи то гальмівна система, чи ходова частина — потрапляє до топ-3 варіантів, запропонованих системою.
Цікаво, що обмежуючим фактором тут виступає не метод аналізу, а якість вихідного матеріалу. При тестуванні на чистих записах із незалежного бенчмарку точність системи різко зростає до AUROC 0,93. Дослідження також виявило ефект насичення: крива навчання виходить на плато вже після обробки 500 кліпів. Це означає, що просте збільшення обсягу даних із соцмереж без покращення їхньої якості не дає приросту в точності. Для забезпечення достовірності результатів було застосовано сувору методологію: крос-валідація групувалася за вихідними відео, щоб фрагменти одного й того самого ролика не потрапляли одночасно в навчальну та тестову вибірки, а статистична значущість підтверджувалася пермутаційним тестом.
Особлива увага в cardiag приділена проблемі «галюцинацій» нейромереж та надмірної впевненості моделей. Ймовірності в системі відкалібровані таким чином, що заявлена впевненість у 70% відповідає реальній точності у 70% випадків. Якщо запис занадто зашумлений або неоднозначний, система чесно повертає статус UNCERTAIN замість того, щоб пропонувати випадковий варіант.
Критичний аналіз проєкту виявив і слабкі місця. Наприклад, детектор стуку в двигуні показав майже ідеальні результати на знайомих даних (0,99), але виявився марним при роботі із зовнішніми записами. Цей приклад перенавчання (overfitting) на конкретному датасеті призвів до того, що функцію було понижено в статусі до рівня простої підказки. Такий чесний підхід до аналізу помилок перетворює пет-проєкт на серйозний кейс із застосування аудіоаналітики в реальному секторі.
Парадокс абсолютної узгодженості нейромереж
