Le dépôt DeepInfer ne prend en charge qu'un modèle, DeepSeek-V4.1-Flash, un mélange d'experts de 552 milliards de paramètres sorti le 10 septembre, dont ActuIA a détaillé l'architecture. Le README décrit cette publication comme de l'inférence hors ligne : le moteur, les noyaux et l'ordonnanceur y sont, mais il ne documente aucun serveur d'API. Le dépôt est accompagné de deepseek-recipe, un ensemble de bibliothèques Rust qui convertit les requêtes des API Chat Completions, Responses et Messages en séquences de tokens et qui analyse les sorties du modèle, raisonnement et appels d'outils compris. DeepSeek affirme que la logique de deepseek-recipe est alignée sur l'API officielle, de sorte qu'un hébergeur tiers obtiendrait le même comportement d'API. L'hébergeur doit encore fournir l'inférence, l'exécution des outils et le transport HTTP.
Le document de questions-réponses publié avec le code donne l'échelle du service. DeepSeek indique qu'un seul cluster sert 155 000 milliards de tokens par jour, pour un revenu global de 38 dollars par GPU-heure au tarif creux, soit la moitié du tarif de pointe. Ce chiffre est un revenu : il ne renseigne ni sur le coût ni sur la marge. Le document ne précise ni la taille du cluster, ni la puce utilisée, ni la part des tokens d'entrée, ni si ce revenu est facturé ou théorique.
Le 1er mars 2025, pour V3 et R1, DeepSeek avait publié un revenu théorique de 562 027 dollars sur 24 heures, pour 226,75 nœuds de huit H800 en moyenne et 776 milliards de tokens, entrée et sortie confondues. Cela fait 12,9 dollars par GPU-heure au tarif de R1 (calcul d'ActuIA). Le chiffre de 38 dollars est près de trois fois supérieur. La comparaison reste indirecte : le modèle et la grille tarifaire diffèrent, le chiffre de 2025 est théorique, le périmètre de celui de 2026 n'est pas précisé. Tous deux reposent sur des données de DeepSeek, sans audit extérieur.
Ce qui reste interne et ce que demande un déploiement
Le README liste ce qu'il faut ajouter pour un service complet : un système de cache KV, la séparation des phases d'encodage d'image, de prefill et de decode sur des machines distinctes, et l'équilibrage de charge entre réplicas de prefill et de decode. Le prefill traite le prompt d'entrée, le decode génère la réponse token par token. Sur la séparation des phases, le README précise que « la plupart des fonctionnalités moteur requises sont déjà implémentées ». Les deux autres briques sont « étroitement couplées à notre infrastructure interne », écrit DeepSeek, et leur code n'est « pas encore entièrement ouvert » (citations traduites de l'anglais).
Le cache KV repose sur 3FS, le système de fichiers distribué que DeepSeek a ouvert en février 2025. Le stockage compte environ 100 pébioctets de SSD, avec une rétention de trois jours pour le trafic d'agents et de sept jours pour le trafic de chatbot. Le système d'inférence compte quatre équilibreurs (prefill, decode, encodeur d'images, experts). Celui des experts figure dans le code publié. Le document indique que l'équilibrage atteint, dans son ensemble, environ 80 % d'un benchmark hors ligne parfaitement équilibré.
Une instance de prefill et une instance de decode suffisent pour un déploiement. La configuration recommandée en decode répartit les experts sur 64 à 128 GPU, avec un ratio prefill/decode d'environ 1 pour 1. La plus petite unité efficace est donc de 64 GPU pour le prefill et 64 pour le decode. DeepSeek indique que ses nœuds d'inférence sont répartis dans des data centers distincts mais voisins. La société conseille d'y prévoir environ 400 Gbit/s d'interconnexion par groupe de huit GPU.
Du renoncement d'avril 2025 à la publication d'octobre
En avril 2025, DeepSeek avait renoncé à ouvrir son moteur interne. La société avançait trois raisons : un fork ancien de vLLM, un couplage étroit avec l'infrastructure interne, outils de gestion de cluster compris, et le manque de disponibilité d'une petite équipe de recherche pour maintenir un grand projet. Elle promettait de contribuer aux projets existants.
Dix-huit mois plus tard, le README de DeepInfer crédite toujours vLLM comme base d'origine, avec SGLang et TensorRT-LLM en inspiration. L'argument du couplage à l'infrastructure interne sert de nouveau à exclure le cache KV et l'équilibrage de charge. DeepSeek n'explique pas son revirement. Deux éléments nouveaux apparaissent dans ses textes : le moteur vise plusieurs fournisseurs de puces, NVIDIA et Huawei, et le code d'inférence des prochains modèles continuera d'y être publié.
Un support inégal entre NVIDIA et Huawei
Côté NVIDIA, seule l'architecture SM100, celle des Blackwell de centre de données, figure dans la liste : les H100 et H200 n'y sont pas. Côté Huawei, DeepInfer demande la boîte à outils CANN 9.2. DeepSeek avait porté sur les Ascend 950, le 30 septembre, DeepGEMM-Ascend et DeepEP-Ascend. L'inférence invariante au batch (un même prompt donne la même sortie, quelle que soit la composition du lot) et l'échantillonnage déterministe ne sont disponibles que sur NVIDIA.
Les deux graphiques de performance du README, prefill sur 4 GPU SM100 et decode sur 64, sont mesurés sur NVIDIA. Le texte n'en donne aucun chiffre. Aucun benchmark indépendant n'était publié le 20 octobre, selon Bloomberg. La page Hugging Face de DeepSeek-V4.1-Flash-1017, le point de contrôle par défaut de DeepInfer publié le 17 octobre, détaille un déploiement avec vLLM et SGLang, sans citer DeepInfer. V4.1-Pro, que l'annonce de V4.1-Flash dit à venir, n'a pas de date. DeepSeek ne le nomme pas à propos de DeepInfer.
Nos articles remonteront en priorité dans « À la une » de Google.