Machine listening desemnează ansamblul tehnicilor și metodelor prin care mașinile pot analiza, interpreta și înțelege semnale sonore, în special date audio nestructurate. Această disciplină se bazează pe inteligență artificială, procesarea semnalului și învățarea automată pentru a extrage informații relevante din înregistrări audio. Spre deosebire de recunoașterea vocală clasică, machine listening acoperă întregul spectru sonor: vorbire, zgomote, muzică, medii acustice etc. Este, așadar, o abordare holistică a ascultării automate, vizând dotarea mașinilor cu abilități auditive comparabile cu cele umane.
Cazuri de utilizare și exemple
Machine listening este folosit în multiple domenii: detectarea și clasificarea sunetelor de mediu (alerte, incidente, zgomote de utilaje), analiza muzicală (identificarea instrumentelor, separarea surselor), supravegherea acustică (securitate, mentenanță predictivă), recunoașterea evenimentelor sonore în transport sau sănătate (detectarea căderilor, monitorizarea respirației), sau asistenți interactivi (comenzi vocale îmbogățite cu contextul sonor general).
De exemplu, într-o fabrică, machine listening poate detecta anomalii de funcționare ale unei mașini pe baza zgomotelor specifice. În orașe, ajută la analiza peisajului sonor pentru managementul zgomotului sau siguranța urbană.
Principalele unelte software, librării și framework-uri
Dintre soluțiile cele mai utilizate se numără PyAudioAnalysis și librosa pentru extragerea caracteristicilor audio, OpenSMILE pentru analiza semnalelor vocale și emoționale, precum și YAMNet (TensorFlow) pentru clasificarea sunetelor. Framework-uri de deep learning generaliste precum PyTorch și TensorFlow sunt adesea folosite pentru antrenarea unor modele personalizate, bazate pe rețele neuronale convoluționale sau recurente.
În industrie sunt utilizate și AudioSet (set de date) sau Sonic Visualiser (vizualizare și adnotare audio).
Dezvoltări recente, evoluții și tendințe
Domeniul avansează rapid datorită modelelor de deep learning, în special a arhitecturilor transformer aplicate audio-ului, care permit o mai bună înțelegere contextuală a sunetelor. Integrarea modelelor multimodale (audio, imagine, text) deschide noi perspective pentru analiza combinată a datelor.
Tendințele actuale includ dezvoltarea de sisteme integrate de machine listening cu consum redus pentru IoT, creșterea robusteței în medii zgomotoase și crearea unor seturi de date adnotate din ce în ce mai bogate pentru învățarea supervizată și auto-supervizată.