vLLM

Laufzeit zum Bereitstellen unterstützter Sprachmodelle als API. Geeignet für technische Teams, die parallele Anfragen an ein Modell bedienen wollen. Zu beachten: Unterstützung hängt von Modellarchitektur und Hardware ab. Leitung der Anfragen, Authentifizierung und Kapazität im eigenen Betrieb klären.