La bibliothèque AudioCraft
AudioCraft, bibliothèque PyTorch pour la recherche en apprentissage profond sur la génération audio, contient du code d’inférence et d’apprentissage les modèles génératifs AudioGen et MusicGen. AudioCraft se compose de trois modèles : AudioGen, un modèle d’IA auto-régressif basé sur Transformer générant des échantillons audio présenté par Meta en septembre 2022, MusicGen, un modèle de langage simple open source générant de la musique à partir d’invites textuelles et musicales et une version améliorée du décodeur EnCodec, qui, selon Meta génère de la musique de meilleure qualité avec moins d’artefacts. Le modèle MusicGen, publié en juin dernier, est un décodeur basé sur un transformateur auto-régressif à un étage entraîné avec un tokenizer EnCodec de 32 kHz publié précédemment par Meta et quatre livres de codes de 50 Hz. Contrairement aux modèles précédents, il ne nécessite pas de représentation sémantique auto-supervisée et crée les quatre livres de codes en même temps. Les chercheurs ont introduit un petit délai entre les livres de codes, ce qui se traduit par seulement 50 étapes audio auto-régressives par seconde. Il a été entraîné sur 20 000 heures de musique sous licence, notamment sur 10 000 pistes musicales provenant de la base de données interne de Facebook, et 390 000 de Shutterstock et Pond5, une banque de musique en ligne. Meta a amélioré EnCodec pour AudioCraft. Cette approche unifiée pour la musique, le son, la compression facilite la construction et la réutilisation, permettant à tous ceux qui souhaitent développer de meilleurs générateurs de son, des algorithmes de compression ou même des générateurs de musique d'explorer dans une base de code cohérente et solide. Meta présente plusieurs échantillons audio générés par AudioCraft sur son blog et a partagé tous les poids et le code du modèle AudioCraft : https://bit.ly/3QnMya3.Nos articles remonteront en priorité dans « À la une » de Google.
