DeepSeek a déposé le 17 septembre 2026 sur arXiv le rapport technique de DeepSeek-V4.1-Flash, modèle multimodal à mélange d'experts mis en service le 10 septembre. L'ossature compte 552 milliards de paramètres et le contexte va jusqu'à un million de jetons. Les poids sont publiés.
Ces chiffres ne sont pas le sujet du document. Son titre annonce une autre ambition : repousser les limites de la compression du cache clés-valeurs. L'empreinte globale de ce cache tombe à 890 octets par jeton, environ le quart de celle de DeepSeek-V4-Flash.
Pour une entreprise qui sert des agents en production, c'est le chiffre qui compte.
Pourquoi le cache est devenu le goulot
Le raisonnement des auteurs part d'un constat d'usage. La généralisation des agents à long horizon a rendu les charges de travail lourdes en entrée : un agent relit sans cesse un contexte qui s'allonge, bien plus qu'il ne produit de texte.
Deux postes en découlent. Le préremplissage, phase où le modèle absorbe le contexte avant de répondre, reste coûteux en calcul malgré les progrès accumulés sur le contexte long. Et le cache clés-valeurs, mémoire de travail de l'attention qui conserve l'état associé à chaque jeton déjà vu, sature la mémoire à haute bande passante des accélérateurs, la capacité des SSD et la bande passante de transfert entre les deux.
Calcul, stockage, transfert : ces trois demandes constituent selon les auteurs le principal obstacle à une nouvelle baisse des coûts de déploiement. Un contexte d'un million de jetons ne vaut rien si le cache correspondant ne tient pas en mémoire.
Deux poids selon la phase
La première réponse est architecturale. V4.1-Flash adopte une structure à encodeur-décodeur causal qui dissocie les deux phases du service : le modèle active 16 milliards de paramètres par jeton au décodage, mais 8 milliards seulement au préremplissage.
L'intérêt est direct pour les charges agentiques, où le préremplissage domine. Le poste le plus sollicité devient aussi le moins cher à servir, ce qui n'était pas le cas des architectures à mélange d'experts classiques, qui activent le même nombre de paramètres quelle que soit la phase.
Réutiliser entre couches, stocker en FP4
La compression du cache combine deux techniques. La deuxième version de l'attention creuse compressée, CSA2, réutilise le cache d'une couche à l'autre au lieu d'en conserver un jeu par couche. Le stockage se fait en FP4, format sur quatre bits qui réduit encore l'empreinte de chaque valeur conservée.
Les deux mesures ramènent à 890 octets par jeton le cache global, celui qui doit résider en permanence en mémoire à haute bande passante. Le rapport revendique un facteur quatre par rapport à DeepSeek-V4-Flash.
Une seconde optimisation, appelée SWA Bounded Replay, vise le cache persistant, celui qui reste sur SSD ou en mémoire hôte entre deux appels. Son empreinte est ramenée à environ un huitième de celle du modèle précédent. C'est ce cache-là qui détermine le coût de conservation d'une session longue entre deux tours de conversation avec un agent.
Les auteurs affirment que le modèle fait sensiblement mieux que la référence malgré cette empreinte réduite. La formulation vaut ce qu'elle vaut : elle provient de l'équipe qui publie le modèle, et le rapport n'a pas été évalué par des pairs. Le préentraînement porte sur un corpus multimodal de 45 000 milliards de jetons, suivi d'un post-entraînement complet.
Ce que cela change pour ceux qui servent des modèles
La compression du cache n'est pas une question de performance brute mais de densité. À mémoire égale, un cache quatre fois plus petit permet de servir davantage de sessions simultanées sur le même accélérateur, ou d'allonger le contexte sans changer de matériel. Le coût par requête servie baisse pour une raison qui n'apparaît dans aucun classement de modèles.
Le sujet recoupe une autre actualité récente. Qualcomm a mis en avant, dans son accord avec Amazon, une architecture mémoire à forte capacité et bande passante moindre, jusqu'à 768 Go de LPDDR par carte, précisément parce que la mémoire à haute bande passante est rare et chère. Les travaux de DeepSeek attaquent le même problème par le logiciel : réduire ce que le modèle exige de cette mémoire plutôt que d'en acheter davantage.
Pour un industriel européen qui héberge ses propres modèles, l'intérêt est double. Les poids sont disponibles, et le rapport décrit des mécanismes transposables à d'autres architectures. La contrepartie est connue : l'origine des poids, alors que la NSA, la CISA et le FBI ont nommé DeepSeek parmi six sociétés chinoises accusées d'avoir extrait des milliards de jetons des modèles américains. Le rapport technique documente l'architecture et l'optimisation du service ; il ne documente pas la provenance des 45 000 milliards de jetons d'entraînement.