En janvier 2021, OpenAI introduisait DALL-E puis rendait la version bêta de DALL-E 2 accessible en juillet 2022. Les chercheurs de la start-up testent et évaluent actuellement la troisième itération du modèle qui sera accessible courant octobre aux clients ayant souscrit aux offres ChatGPT Plus et Enterprise, via l’API d’OpenAI. Par la suite, DALL·E 3 sera également disponible dans OpenAI Labs, ce qui permettra à un public plus large d’accéder à DALL-E 3 et de découvrir ses capacités.
Le défi pour les utilisateurs de modèles text-to-image à l’instar de DALL-E est de trouver l’invite qui va permettre de générer l’image attendue.
Une meilleure compréhension des invites
Selon OpenAI, DALL-E 3 offre des améliorations significatives par rapport à DALL-E 2 avec une même invite. La société donne l’exemple des images générées par les deux versions du modèle pour le prompt “Une peinture à l’huile expressive d’un joueur de basket-ball faisant un dunk, représentée comme une explosion d’une nébuleuse”, et comme on peut le constater ci-dessous DALL·E 3 (à droite) a pu générer une image beaucoup plus précise.
Crédit OpenAI
L’intégration du modèle à ChatGPT
DALL·E 3 est construit nativement sur ChatGPT, ce qui permet aux utilisateurs d’utiliser ce dernier pour générer ou affiner leurs invites, comme on peut le voir dans cette vidéo.
Un accent sur la sécurité
Open AI avait limité la capacité de DALL·E 2 à générer des images violentes, haineuses ou pour adultes et utilisé des techniques avancées pour prévenir les générations photoréalistes de visages réels d’individus, notamment ceux de personnalités publiques ou politiques. Pour réduire les biais, une nouvelle technique avait été mise en œuvre pour générer des images de personnes plus représentatives de la diversité de la population mondiale.
Ces mesures, qui ont été depuis améliorées, sont appliquées à DALL-E 3. L’équipe de recherche explore également des moyens d’aider les utilisateurs à identifier les images générées par l’IA, grâce à un outil de classification de la provenance.
Créativité sous contrôle
DALL·E 3 a été conçu pour décliner les demandes d’images dans le style d’un artiste vivant, préservant ainsi l’intégrité des créations artistiques.
Les images créées avec DALL·E 3 sont la propriété des utilisateurs, qui n’ont pas besoin d’autorisation pour les reproduire ou les commercialiser. Ils ont également la possibilité de retirer leurs images du processus de formation des futurs modèles de génération d’images.
OpenAI n’a pas révélé s’il entendait ou non de rendre le modèle gratuit par la suite, il sera néanmoins possible de l’utiliser sans avoir souscrit aux offres ChatGPT Plus ou Enterprise puisque Microsoft a annoncé son intégration prochaine à Bing Chat.
