llama.cpp

C/C++-Laufzeit für Sprachmodelle mit CLI und Server. Hilft Entwicklerteams, lokal mehrere kompatible Modellvarianten auf derselben Hardware zu vergleichen. Zu beachten: Modelle müssen zur unterstützten Architektur und zum erwarteten Format passen. Die Laufzeit bringt kein eigenes Sprachmodell und keine fertige Benutzerverwaltung für einen Teamdienst mit.