CTranslate2

Optimierte Inferenzlaufzeit für unterstützte Transformer-Modelle. Geeignet zur technischen Bewertung von Speicher- und Laufzeitbedarf. Zu beachten: Modellkonvertierung und kompatibles Backend nötig. Notebook-, Übersetzungs- oder Transkriptionsfunktionen entstehen erst im jeweiligen Projekt.