Anlässlich des Red Hat Summit 2025 hat Red Hat die Einführung des Red Hat AI Inference Server bekanntgegeben, einer neuen Komponente der Red Hat AI-Produktreihe. Diese Open-Source-Lösung wurde für hybride Cloud-Umgebungen entwickelt und zielt darauf ab, die Ausführung generativer KI-Modelle zu vereinfachen und gleichzeitig ihre betriebliche Leistung zu verbessern.
Ein Inferenzserver fungiert als Schnittstelle zwischen KI-Anwendungen und großen Sprachmodellen (LLMs) und erleichtert die Generierung von Antworten aus Eingangsdaten. Da die Bereitstellung von LLMs in der Produktion zunimmt, wird die Inferenzphase sowohl technisch als auch wirtschaftlich zu einem kritischen Punkt.
Basierend auf dem Community-Projekt vLLM, das von der Universität Berkeley initiiert wurde, integriert der Red Hat AI Inference Server fortschrittliche Optimierungstools, darunter diejenigen von Neural Magic, die den Energieverbrauch reduzieren, die Berechnungen beschleunigen und die Rentabilität verbessern. Er ist als containerisierte Version oder in die Lösungen RHEL AI und Red Hat OpenShift AI integriert erhältlich und bietet große Flexibilität, indem er auf jedem Typ von KI-Beschleuniger und in jeder Cloud ausgeführt werden kann.
Zu den wichtigsten angekündigten Funktionen gehören:
- Eine intelligente Modellkompression zur Reduzierung der Größe ohne Präzisionseinbußen;
- Ein optimiertes Repository validierter Modelle, zugänglich über die Red Hat AI-Seite auf Hugging Face;
- Interoperabilität mit Drittanbieterplattformen, einschließlich Linux und Kubernetes außerhalb der Red Hat-Umgebung;
- Ein Unternehmenssupport, der aus der Erfahrung von Red Hat in der Industrialisierung von Open-Source-Technologien stammt.
Die Lösung unterstützt zahlreiche führende Sprachmodelle (Gemma, Llama, Mistral, Phi) und integriert die neuesten Entwicklungen der vLLM-Sprache: Multi-GPU-Verarbeitung, kontinuierliches Batching, erweiterter Kontext und Hochgeschwindigkeitsinferenz.
Mit dieser Ankündigung bekräftigt Red Hat sein Engagement, vLLM zu einem offenen Standard für die KI-Inferenz zu machen, was eine erhöhte Interoperabilität fördert und die technologische Souveränität der Unternehmen stärkt. Durch die Ansprache der wachsenden Bedürfnisse der industriellen Inferenz trägt es aktiv zur Demokratisierung der generativen KI bei.
- Modelkompressionstools, die es ermöglichen, deren Größe und Energieverbrauch ohne Präzisionsverlust zu reduzieren;
- Ein optimiertes Repository, gehostet auf der Red Hat AI-Seite auf Hugging Face;
- Unternehmenssupport und Interoperabilität mit Drittanbieterplattformen, einschließlich Linux und Kubernetes außerhalb von Red Hat.
Hin zur Demokratisierung der generativen KI
Die Lösung unterstützt nativ mehrere führende Sprachmodelle, darunter Gemma, Llama, Mistral und Phi, und nutzt die neuesten Funktionen von vLLM: Hochgeschwindigkeitsinferenz, Multi-GPU-Verarbeitung, kontinuierliches Batching und erweiterter Eingangskontext.
Red Hat beabsichtigt damit, die vLLM-Sprache zu einem offenen Inferenzstandard für generative KI in Unternehmen zu machen, unabhängig vom KI-Modell, dem zugrunde liegenden Beschleuniger und der Bereitstellungsumgebung.