vLLM

3 actualités

Dernières brèves

Mise à jour de modèle

vLLM 0.31.0 réunit 717 commits de 307 contributeurs et garde les poids en mémoire GPU entre deux redémarrages

Le 5 octobre 2026, le projet vLLM a publié la version 0.31.0 de son moteur d'inférence, qui rassemble 717 commits de 307 contributeurs, dont 96 nouveaux. Une nouvelle commande, vllm preload, lance un… Lire la brève

Benchmark / évaluation

Fastino Labs : aucun des six routeurs commerciaux de LLM testés, dont OpenRouter, ne bat un tirage aléatoire entre deux modèles

Le 2 octobre 2026, six chercheurs de Fastino Labs ont déposé sur arXiv « Dynamic LLM Routers are Often Misguided », une évaluation des routeurs qui envoient chaque requête vers le modèle jugé le… Lire la brève

Nouvelle fonctionnalité

Ray 2.59 passe ses API Ray Data LLM et Ray Serve LLM en disponibilité générale et active l'authentification par jeton des grappes locales

Le 2 octobre 2026, le projet Ray, framework de calcul distribué, a publié la version 2.59.0. Les API Ray Data LLM et Ray Serve LLM, consacrées au traitement par lots et au service de modèles de… Lire la brève

Lire le profil complet Mis à jour le 6 octobre 2026

open-source software for large language model inference

Articles liés

0 au total

Aucun article lié à cet acteur.