Entreprise

vLLM

23 actualités

Dernières brèves

Levée de fonds

Allemagne : selon Tech.eu, Daisytuner lève 6 millions d'euros pour optimiser l'inférence des modèles d'IA sur des puces autres que Nvidia

Le 16 novembre 2026, la start-up allemande Daisytuner a annoncé un tour d'amorçage de 6 millions d'euros codirigé par Elaia et LEA Ventures, avec la participation d'Amadeus APEX Technology Fund et de… Lire la brève

Source : Tech.eu
Ranger dans…
Enregistré. Ajouter une note ?
Nouveau modèle

Chine : Huawei publie en open source MACaQ, outil qui quantifie un modèle de 122 milliards de paramètres en 64 minutes

Le 12 novembre 2026, un laboratoire de Huawei a publié sur GitHub MACaQ (Model Agnostic Calibrated Quantization), une boîte à outils de quantification sous licence Apache 2.0. Ses auteurs affirment… Lire la brève

Faille / vulnérabilité

vLLM publie trois avis de sécurité, dont deux de gravité haute, corrigés dans la version 0.33.0 mise en ligne le 2 novembre

Le 2 novembre 2026, le projet vLLM a publié sur GitHub trois avis de sécurité, tous corrigés dans la version 0.33.0, mise en ligne le même jour sur PyPI. Le premier (GHSA-q9v9-qpjp-fc24, gravité… Lire la brève

Publication scientifique

Anthropic ouvre FlashProve, prototype de preuve cryptographique d'inférence : 110 tokens par seconde sur un H100 pour Llama 4 Maverick

Le 2 novembre 2026, Anthropic a publié « Progress on provable inference for large language models », billet de recherche qui présente FlashProve, un système de preuves zkSNARK : un fournisseur… Lire la brève

Nouveau produit / service

Liquid AI lance RIPL, moteur d'inférence qui sert ses modèles LFM en moins de 50 millisecondes pour la recherche, la fraude et le paiement

Le 22 octobre 2026, Liquid AI a annoncé RIPL (Real-time Inference Pipeline), un moteur d'inférence à faible latence conçu pour placer ses modèles LFM directement sur le chemin d'une requête en temps… Lire la brève

Alliance stratégique

Red Hat et NVIDIA publient une conception de référence pour servir les modèles ouverts avec vLLM, llm-d et Dynamo, et sécuriser les agents

Le 21 octobre 2026, à la GTC de Berlin, Red Hat a élargi sa collaboration avec NVIDIA autour de Red Hat AI Factory with NVIDIA. Les deux groupes proposent une conception de référence qui associe… Lire la brève

Dataset / ressource ouverte

DeepSeek ouvre sous licence Apache 2.0 DeepInfer, le moteur d'inférence qui sert V4.1-Flash à 155 000 milliards de tokens par jour

Le 20 octobre 2026, DeepSeek a publié sur GitHub, sous licence Apache 2.0, DeepInfer, le framework d'inférence qui fait tourner ses services en production. Cette première version, limitée à… Lire la brève

Mise à jour de modèle

llm-d 1.0 : la pile d'inférence distribuée pour Kubernetes ajoute files par client, routeur en haute disponibilité et mises à jour sans coupure

Le 20 octobre 2026, le projet open source llm-d a publié la version 1.0 de sa couche de routage et d'ordonnancement placée devant les moteurs vLLM et SGLang, sur GPU NVIDIA, AMD et Intel comme sur… Lire la brève

API / plateforme développeur

Google publie en open source TorchTPU, qui fait tourner PyTorch nativement sur ses TPU, codéveloppé avec Meta et intégré à Hugging Face

Le 20 octobre 2026, à la PyTorch Conference, Google a annoncé la publication en open source sur GitHub de TorchTPU, sa pile PyTorch native pour ses puces TPU, codéveloppée avec l'équipe PyTorch de… Lire la brève

Capacité de calcul / cloud

AWS verse dans vLLM deux transferts de cache KV pour l'inférence désagrégée, avec un premier token jusqu'à 3 fois plus rapide

Le 19 octobre 2026, AWS a détaillé sur son blog Machine Learning deux contributions au moteur d'inférence open source vLLM pour le service désagrégé qui sépare préremplissage et décodage sur des… Lire la brève

Lire le profil complet Mis à jour le 6 octobre 2026

open-source software for large language model inference

Articles liés

1 au total