Il y a 2 jours, Meta présentait Llama 2. Qualcomm Technologies annonce collaborer avec la société afin d’optimiser l’exécution de cette seconde version du LLM directement sur smartphone ou PC.
Le mois dernier, Qualcomm a fait la démonstration à la CVPR 2023 (Conference on Computer Vision and Pattern Recognition) que l’IA générative peut fonctionner non seulement dans des clouds de proximité (edge computing), mais aussi sur les smartphones disposant de suffisamment de puissance de calcul. Au lieu de dépendre d’une connexion Internet constante pour interagir avec des applications d’IA génératives, les utilisateurs peuvent profiter de ces fonctionnalités directement sur leur appareil, de manière autonome et privée.
Une avancée rendue possible grâce à l’optimisation des modèles d’IA, des logiciels et des accélérateurs matériels neuronaux. Chercheurs et ingénieurs travaillent sur l’efficacité des modèles, en réduisant leur taille et leur complexité, tout en conservant des performances élevées.
Lors d’une recherche présentée en février dernier, acceptée à la CVPR, Qualcomm AI research a réalisé des optimisations par quantification, compilation et accélération matérielle à l’aide de Qualcomm AI Stack qui lui ont permis de déployer pour la 1ère fois le LLM Stable Diffusion sur un téléphone Android alimenté par la plateforme mobile Snapdragon 8 Gen 2.
Exécuter Llama 2 directement sur smartphone
Qualcomm AI research déclarait alors :“exécuter Stable Diffusion sur un smartphone n’est que le début”. Qualcomm va suivre la même approche pour exécuter Llama 2 non seulement sur smartphone mais aussi sur les ordinateurs portables, les casques XR, les appareils IoT et pratiquement tout autre appareil alimenté par Qualcomm Technologies.
La société déclare :
“La possibilité d’exécuter des modèles d’IA génératifs tels que Llama 2 sur des appareils tels que les smartphones, les PC, les casques VR / AR et les véhicules permet aux développeurs d’économiser sur les coûts du cloud et de fournir aux utilisateurs des expériences privées, plus fiables et personnalisées”.
Qualcomm Technologies devrait mettre à disposition l’implémentation de l’IA basée sur Llama 2 sur les appareils alimentés par Snapdragon à partir de 2024. Les développeurs peuvent commencer dès aujourd’hui à optimiser les applications pour l’IA sur l’appareil à l’aide de Qualcomm® AI Stack.
Durga Malladi, Senior Vice President and General Manager, Technology Planning & Edge Solutions, Qualcomm, conclut :
“Nous applaudissons l’approche de Meta en matière d’IA ouverte et responsable et nous nous engageons à stimuler l’innovation et à réduire les obstacles à l’entrée pour les développeurs de toute taille en apportant l’IA générative sur l’appareil”.
