Werkzeuge für echte Aufgaben.

Optimierte Inferenzlaufzeit für unterstützte Transformer-Modelle. Geeignet zur technischen Bewertung von Speicher- und Laufzeitbedarf. Zu beachten: Modellkonvertierung und kompatibles Backend nötig. Notebook-, Übersetzungs- oder Transkriptionsfunktionen entstehen erst im jeweiligen Projekt.

Desktop-Assistent, der lokale und konfigurierte externe Modelle in einer Oberfläche anbietet. Zu beachten: Vor vertraulicher Nutzung das aktive Modell und den Endpunkt prüfen. Eine lokale Oberfläche bedeutet nicht automatisch lokale Verarbeitung.

C/C++-Laufzeit für Sprachmodelle mit CLI und Server. Hilft Entwicklerteams, lokal mehrere kompatible Modellvarianten auf derselben Hardware zu vergleichen. Zu beachten: Modelle müssen zur unterstützten Architektur und zum erwarteten Format passen. Die Laufzeit bringt kein eigenes Sprachmodell und keine fertige Benutzerverwaltung für einen Teamdienst mit.

Im Vergleich

Desktop-Oberfläche und lokaler Modellserver für kompatible Sprachmodelle. Geeignet für erste Vergleiche auf dem eigenen Rechner. Zu beachten: Modellformat, Arbeitsspeicher und unterstützte Hardware bestimmen die Auswahl. Ein lokaler Server braucht eigene Zugriffsregeln.

Laufzeit zum Herunterladen und Ausführen kompatibler Sprachmodelle. Geeignet für Entwickler, die eine lokale Modell-API für Prototypen benötigen. Zu beachten: Lokale und gehostete Modelle sind verschiedene Betriebsarten. Modellgröße und Kontext beeinflussen den Speicherbedarf. Betrieb, Zugriff und Modelllizenz gesondert prüfen.

Entwicklungswerkzeuge für Modellinferenz auf unterstützten Geräten. Geeignet für Teams, die Modelle konvertieren und auf verfügbarer Hardware ausführen möchten. Zu beachten: Konvertierung und Geräteunterstützung hängen vom Modell und Backend ab. Es handelt sich um eine Laufzeit für eigene Anwendungen.

Selbst betreibbare Weboberfläche für Ollama und OpenAI-kompatible Schnittstellen. Geeignet für Teams, die mehreren Modellen eine gemeinsame Bedienoberfläche geben möchten. Zu beachten: Vertraulichkeit hängt auch vom angebundenen Modell und aktivierten Funktionen ab. Zugang, Speicher, Netzwerk und Anbindungen bleiben Aufgaben des Betriebs.

Laufzeit zum Bereitstellen unterstützter Sprachmodelle als API. Geeignet für technische Teams, die parallele Anfragen an ein Modell bedienen wollen. Zu beachten: Unterstützung hängt von Modellarchitektur und Hardware ab. Leitung der Anfragen, Authentifizierung und Kapazität im eigenen Betrieb klären.