Пересечение акустики и машинного обучения открывает новые горизонты в области предиктивного обслуживания техники. Традиционно диагностика состояния автомобиля опиралась на интуицию опытного механика, способного по характерному стуку определить износ детали. Современные нейросети стремятся автоматизировать этот процесс, превращая звуковой поток в структурированные данные о состоянии узлов. Проект cardiag демонстрирует, как открытые данные из социальных сетей могут стать фундаментом для создания функционального инструмента первичной сортировки поломок.
В основе системы cardiag лежит концепция интеллектуального помощника, который не заменяет квалифицированного специалиста, но значительно сужает область поиска проблемы. Пользователю достаточно записать звук работающего двигателя на смартфон и загрузить файл в приложение, чтобы получить предварительный анализ. Система работает как фильтр первого уровня: она определяет наличие неисправности и указывает на вероятный проблемный узел, позволяя механику сосредоточиться на конкретном участке автомобиля.
Технологический стек проекта примечателен своим прагматизмом. Вместо ресурсозатратного дообучения массивных нейросетей, разработчик использовал каскадную архитектуру. Сначала аудиопоток проходит через стадию очистки, где алгоритмы отделяют технические шумы от человеческой речи, музыки и внешних помех. Затем очищенный сигнал обрабатывается замороженной моделью CLAP (Contrastive Language-Audio Pretraining), которая переводит звук в многомерные векторные представления — эмбеддинги. Поверх этих векторов работают легкие линейные классификаторы. Такой подход позволяет свести вес всей обученной части системы к ничтожным 100 килобайтам, хотя сама базовая модель CLAP занимает около 2 гигабайт.
Обучающий датасет был сформирован нестандартным путем: система собирала данные путем скрейпинга роликов из YouTube и TikTok, где пользователи демонстрируют поломки своих авто. Результаты работы на таких «грязных» данных показывают умеренную эффективность: показатель AUROC (площадь под кривой ошибок) составил 0,79. Это существенно выше случайного угадывания, но оставляет пространство для роста. В 76% случаев проблемный узел — будь то тормозная система или ходовая часть — попадает в топ-3 вариантов, предложенных системой.
Интересно, что ограничением здесь выступает не метод анализа, а качество исходного материала. При тестировании на чистых записях из независимого бенчмарка точность системы резко возрастает до AUROC 0,93. Исследование также выявило эффект насыщения: кривая обучения выходит на плато уже после обработки 500 клипов. Это означает, что простое увеличение объема данных из соцсетей без улучшения их качества не дает прироста в точности. Для обеспечения достоверности результатов была применена строгая методология: кросс-валидация группировалась по исходным видео, чтобы фрагменты одного и того же ролика не попадали одновременно в обучающую и тестовую выборки, а статистическая значимость подтверждалась permutation-тестом.
Особое внимание в cardiag уделено проблеме «галлюцинаций» нейросетей и избыточной уверенности моделей. Вероятности в системе откалиброваны таким образом, что заявленная уверенность в 70% соответствует реальной точности в 70% случаев. Если запись слишком зашумлена или неоднозначна, система честно возвращает статус UNCERTAIN вместо того, чтобы предлагать случайный вариант.
Критический анализ проекта выявил и слабые места. Например, детектор стука в двигателе показал почти идеальные результаты на знакомых данных (0,99), но оказался бесполезен при работе с внешними записями. Этот пример переобучения на конкретном датасете привел к тому, что функция была понижена в статусе до уровня простой подсказки. Такой честный подход к анализу ошибок превращает пет-проект в серьезный кейс по применению аудиоаналитики в реальном секторе.
Парадокс абсолютной согласованности нейросетей
