Intelligence artificielle Cyberharcèlement : Twitch présente son nouvel outil de modération basé sur de...

Pour approfondir le sujet

Sur le même thème :

Twitter annonce des travaux visant à rendre ses algorithmes plus éthiques et transparents

Dans la présentation de ses travaux en cours, Twitter a mis en avant, ce 14 avril, l'IA éthique. Le réseau social souhaite améliorer ses...

Deux rapports de l’ONU se penchent sur l’utilisation de l’IA pour lutter contre le terrorisme en ligne

Dans le cadre de la 2021 Counter-Terrorism Week de l'Organisation des Nations Unies (ONU), deux rapports ont été présentés autour de l'utilisation de l'intelligence...

L’intelligence artificielle au service de la lutte contre l’exploitation sexuelle sur internet

Les travaux autour de la conception d'outils d'IA pour limiter les cas de harcèlements ou de trafics en ligne tendent à se multiplier à...

Parlement européen : Audition sur l’intelligence artificielle dans le droit pénal

Alors que beaucoup attendent avec impatience le débat de ce mercredi sur l'intelligence artificielle et les initiatives numériques entre Thierry Breton, la commission de l’industrie...

Cyberharcèlement : Twitch présente son nouvel outil de modération basé sur de l’intelligence artificielle

Les confinements depuis le début de la pandémie ont décuplé l’utilisation des smartphones et des applications mobiles. La plateforme de streaming et de jeux vidéos interactifs d’Amazon, Twitch, a été plébiscitée par les jeunes. Confrontée depuis des mois au problème du cyberharcèlement et critiquée pour son manque de modération, la plateforme a annoncé, il y a quelques jours la création d’un système d’intelligence artificielle baptisé “Suspicious User Detection”. Ce dernier devrait permettre d’identifier les utilisateurs malveillants qui se créent de nouveaux comptes après avoir été exclus.

Les dénonciations de harcèlement sexiste, raciste ou homophobe sur Twitch sont nombreuses. Des témoignages de cyberharcèlement ont été amplement partagés, notamment avec le hashtag #TwitchDoBetter (#FaisMieuxTwitch) lancé par RekItRaven qui a indiqué :

“J’ai lancé #TwitchDoBetter parce que j’en ai assez de devoir me battre pour exister sur une plateforme qui se dit diverse et inclusive mais qui est restée silencieuse face aux supplications des créateurs et créatrices marginalisées demandant plus de protections contre les raids haineux”.

L’équipe de Twitch a réagi et annoncé le 11 août dernier, de nouvelles mesures de sécurité pour mieux détecter le contournement des bannissements de comptes et améliorer la vérification des comptes, considérées comme insuffisantes par les streameurs. Elle a affirmé :

“Nous avons vu beaucoup de conversations sur l’utilisation de bots, les raids de haine et d’autres formes de harcèlement visant des créateurs marginalisés. Vous nous demandez de faire mieux, et nous savons que nous devons faire plus pour résoudre ces problèmes”

Le système Suspicious User Detection est donc la dernière réponse de Twitch au cyberharcèlement. L’outil a été partagé par l’équipe qui indique :

“Afin de continuer à faire de Twitch un endroit sûr pour tout le monde, nous vous présentons un nouvel outil qui permettra aux modérateurs de prendre des actions contre les comptes qui essaient d’éviter des bans”

Sur Twitch, on peut en effet créer plusieurs comptes avec une seule adresse mail, ce qui laisse aux personnes bannies la possibilité de retourner sur les chats très facilement et de reprendre leur harcèlement. C’est pour essayer de répondre à ce problème que Twitch vient de déployer ce nouvel outil basé sur l’IA.

Fonctionnement de “Suspicious User Detection”

Dans son communiqué de presse du 30 novembre, Twitch explique que l’outil permettra :

“d’identifier les comptes suspicieux grâce à du machine learning en analysant un certain nombre de signaux ; grâce à eux, cet outil signalera les utilisateurs suspicieux aux modérateurs, qui pourront prendre les actions nécessaires”.

Twitch ne précise pas la nature des signaux analysés mais spécifie que deux scénarios seront possibles : le signalement d’un cas “probable” et celui d’un cas “possible”.

  • Si un utilisateur est signalé comme cherchant “probablement” à contourner un ban, il sera automatiquement masqué dans le chat,  mais ses messages seront affichés pour les créateurs et les modérateurs “afin qu’ils puissent décider de conserver la restriction, de surveiller l’utilisateur ou de le bannir de la chaîne”.
  • Dans le cas ou ce cas de figure n’est jugé que “possible” et non “probable”, la personne pourra écrire dans le chat normalement, mais ses messages seront signalés aux modérateurs, “afin qu’ils puissent surveiller l’utilisateur et l’empêcher d’envoyer des messages sur le chat si nécessaire”.

La fonction sera activée automatiquement sur toutes les chaînes et pourra être désactivée par les streameurs. Elle offrira également la possibilité de restreindre les messages des utilisateurs suspects pour qu’ils n’apparaissent pas sur le chat. Il sera également possible de désactiver l’outil depuis la page de paramètre de modération de la chaîne ou encore d’ajouter manuellement des utilisateurs que les modérateurs estiment douteux.

Un outil qui peine à convaincre

Le manque de précisions quant aux signaux utilisés pour définir un utilisateur banni ou non, ainsi que l’avertissement de Twitch qui prévient du risque d’erreurs de son outil, laissent le doute s’installer. Son efficacité en cas de raid est également à démontrer.  Twitch prévient :

“le machine learning ne sera jamais à 100 % efficace, ce qui signifie qu’il y a des risques de faux positifs, ou de faux négatifs”

De nombreuses streameuses, cibles quotidiennes de harcèlement sexistes, ont déclaré n’être absolument pas convaincues par le fait de faire appel à de l’intelligence artificielle plutôt que d’interdire simplement la création de plusieurs comptes à partir d’une adresse mail.


1ère Marketplace de l'IA et de la transformation numérique vous recommande :
 
Thierry Maubant

Partager l'article

France 2030 : présentation de la stratégie «Start-ups industrielles et deep tech» sur le site d’Exotec

En Octobre dernier, Emmanuel Macron présentait France 2030, plan d’investissement de 30 milliards d’euros pour une dizaine de secteurs d’activités dont le numérique, l’hydrogène,...

Volvo équipe tous ses prochains véhicules électriques de Ride Pilot pour une conduite autonome

C'est à Las Vegas, lors du CES 2022, que Volvo Cars a présenté Ride Pilot, une fonctionnalité de conduite non supervisée qui sera intégrée...

Le programme «Smart Factory 4.0» d’ALTEN : l’IA au service de l’Homme

Le programme «Smart Factory 4.0», mis en place par la direction de l'innovation du groupe ALTEN, a pour objectif d'accélérer l'innovation dans une démarche...

Belgique : nouvelle levée de fonds de 4,2 millions d’euros pour la start-up Deltaray

Deltaray, spin-off d'un laboratoire de l'Institut flamand de microélectronique et composants (Imec) et de l'Université d'Anvers, a annoncé une nouvelle levée de fonds de...
Recevoir une notification en cas d'actualité importante    OK Non merci