Machine listening to zbiór technik i metod umożliwiających maszynom analizę, interpretację oraz rozumienie sygnałów dźwiękowych, zwłaszcza nieustrukturyzowanych danych audio. Dyscyplina ta wykorzystuje sztuczną inteligencję, przetwarzanie sygnałów i uczenie maszynowe do wydobywania istotnych informacji z nagrań dźwiękowych. W odróżnieniu od zwykłego rozpoznawania mowy, machine listening obejmuje całe spektrum dźwięków: mowę, hałasy, muzykę, środowiska akustyczne itd. Jest to zatem całościowe podejście do zautomatyzowanego słuchania, mające na celu wyposażenie maszyn w możliwości słuchowe zbliżone do ludzkich.
Przypadki użycia i przykłady
Machine listening znajduje zastosowanie w wielu dziedzinach: detekcja i klasyfikacja dźwięków środowiskowych (alarmy, incydenty, odgłosy maszyn), analiza muzyczna (identyfikacja instrumentów, separacja źródeł), monitoring akustyczny (bezpieczeństwo, predykcyjne utrzymanie ruchu), rozpoznawanie zdarzeń w transporcie lub opiece zdrowotnej (wykrywanie upadków, monitorowanie oddechu) oraz asystenci interaktywni (polecenia głosowe wzbogacone o pełny kontekst dźwiękowy).
Przykładowo, w fabryce machine listening może wykrywać anomalie pracy maszyn na podstawie charakterystycznych odgłosów. W miastach pozwala analizować pejzaż dźwiękowy w celu zarządzania hałasem lub bezpieczeństwem publicznym.
Główne narzędzia programistyczne, biblioteki i frameworki
Do najczęściej wykorzystywanych rozwiązań należą PyAudioAnalysis i librosa do ekstrakcji cech audio, OpenSMILE do analizy sygnałów mowy i emocji oraz YAMNet (TensorFlow) do klasyfikacji dźwięków. Popularne frameworki głębokiego uczenia, takie jak PyTorch i TensorFlow, są szeroko stosowane do trenowania modeli dedykowanych machine listening, często z wykorzystaniem architektur konwolucyjnych lub rekurencyjnych sieci neuronowych.
W zastosowaniach przemysłowych powszechnie używa się także AudioSet (zbiór danych) oraz Sonic Visualiser (wizualizacja i adnotacja audio).
Najnowsze trendy i rozwój
Dziedzina dynamicznie się rozwija dzięki coraz potężniejszym modelom głębokiego uczenia, zwłaszcza architekturom transformer stosowanym do audio, które umożliwiają lepsze zrozumienie kontekstu dźwięków. Integracja modeli multimodalnych (audio, obraz, tekst) otwiera nowe możliwości analizy przekrojowej.
Do aktualnych trendów należy rozwój energooszczędnych systemów machine listening dla IoT, zwiększanie odporności na zakłócenia oraz tworzenie coraz bogatszych zbiorów danych z adnotacjami dla uczenia nadzorowanego i samonadzorowanego.