Un nouveau banc d'essai montre que les détecteurs de deepfakes de pointe s'effondrent face aux trucages réels
Présenté en 2026 dans le cadre de la conférence CVPR, le banc d'essai « Deepfake-Eval-2024 » conclut que les modèles open source de détection de deepfakes parmi les plus performants chutent fortement face à des trucages réellement diffusés sur les réseaux sociaux. Constitué par des chercheurs de TrueMedia.org, de l'université de Washington, de l'Allen Institute for AI et de plusieurs universités, le jeu de données réunit des deepfakes collectés en conditions réelles en 2024 : 45 heures de vidéo, 56,5 heures d'audio et près de 2 000 images, issus de 88 sites et 52 langues. Par rapport aux anciens jeux de test, la mesure de performance AUC recule d'environ 50 % pour la vidéo, 48 % pour l'audio et 45 % pour l'image, le meilleur modèle open source ne dépassant pas 0,58, à peine au-dessus du hasard. Les auteurs en concluent que les détecteurs académiques ne sont pas représentatifs des menaces réelles.
