Meta et Qualcomm collaborent pour exécuter Llama 2 sur smartphone

Il y a 2 jours, Meta présentait Llama 2. Qualcomm Technologies annonce collaborer avec la société afin d’optimiser l’exécution de cette seconde version du LLM directement sur smartphone ou PC.

Le mois dernier, Qualcomm a fait la démonstration à la CVPR 2023 (Conference on Computer Vision and Pattern Recognition) que l’IA générative peut fonctionner non seulement dans des clouds de proximité (edge computing), mais aussi sur les smartphones disposant de suffisamment de puissance de calcul. Au lieu de dépendre d’une connexion Internet constante pour interagir avec des applications d’IA génératives, les utilisateurs peuvent profiter de ces fonctionnalités directement sur leur appareil, de manière autonome et privée.

Une avancée rendue possible grâce à l’optimisation des modèles d’IA, des logiciels et des accélérateurs matériels neuronaux. Chercheurs et ingénieurs travaillent sur l’efficacité des modèles, en réduisant leur taille et leur complexité, tout en conservant des performances élevées.

Lors d’une recherche présentée en février dernier, acceptée à la CVPR, Qualcomm AI research a réalisé des optimisations par quantification, compilation et accélération matérielle à l’aide de Qualcomm AI Stack qui lui ont permis de déployer pour la 1ère fois le LLM Stable Diffusion sur un téléphone Android alimenté par la plateforme mobile Snapdragon 8 Gen 2.

Exécuter Llama 2 directement sur smartphone

Qualcomm AI research déclarait alors :“exécuter Stable Diffusion sur un smartphone n’est que le début”. Qualcomm va suivre la même approche pour exécuter Llama 2 non seulement sur smartphone mais aussi sur les ordinateurs portables, les casques XR, les appareils IoT et pratiquement tout autre appareil alimenté par Qualcomm Technologies.

La société déclare :

“La possibilité d’exécuter des modèles d’IA génératifs tels que Llama 2 sur des appareils tels que les smartphones, les PC, les casques VR / AR et les véhicules permet aux développeurs d’économiser sur les coûts du cloud et de fournir aux utilisateurs des expériences privées, plus fiables et personnalisées”.

Qualcomm Technologies devrait mettre à disposition l’implémentation de l’IA basée sur Llama 2 sur les appareils alimentés par Snapdragon à partir de 2024. Les développeurs peuvent commencer dès aujourd’hui à optimiser les applications pour l’IA sur l’appareil à l’aide de Qualcomm® AI Stack.

Durga Malladi, Senior Vice President and General Manager, Technology Planning & Edge Solutions, Qualcomm, conclut :

“Nous applaudissons l’approche de Meta en matière d’IA ouverte et responsable et nous nous engageons à stimuler l’innovation et à réduire les obstacles à l’entrée pour les développeurs de toute taille en apportant l’IA générative sur l’appareil”.

Recevez gratuitement l'actualité de l'intelligence artificielle

Suivez la Newsletter de référence sur l'intelligence artificielle (+ de 18 000 membres), quotidienne et 100% gratuite.


Tout comme vous, nous n'apprécions pas le spam. Vos coordonnées ne seront transmises à aucun tiers.

1ère Marketplace de l'IA et de la transformation numérique vous recommande :
Collecte de dons par AssoDon

La solution de collecte de dons assodon facilite votre collecte, et inclut : - gestion de votre administratif - coaching pour votre collecte - comm...

 
Partager l'article
Offre exclusive : 1 an d'abonnement au magazine ActuIA + Le guide pratique d'adoption de l'IA en entreprise pour seulement 27,60€ Boutique ActuIA Pour tout abonnement à ActuIA, recevez en cadeau le Guide Pratique d'Adoption de l'IA en Entreprise, d'une valeur de 23€ !
intelligence artificielle
À PROPOS DE NOUS
Le portail francophone consacré à l'intelligence artificielle et à la datascience, à destination des chercheurs, étudiants, professionnels et passionnés.