Model Serving
Model Serving bezeichnet die technische Bereitstellung eines KI-Modells, sodass Anwendungen oder Nutzer Anfragen an das Modell senden können.
Einfach erklärt
Ein Modell ist erst dann Teil einer Unternehmensanwendung, wenn es zuverlässig bereitgestellt wird. Dazu gehören unter anderem Ladeprozesse, Schnittstellen, Ressourcenverwaltung, Authentifizierung und Überwachung. In einer lokalen Umgebung kann Model Serving vollständig innerhalb des eigenen Netzes stattfinden.
Bedeutung für Unternehmen
Für Unternehmen ist wichtig, dass das Serving vom konkreten Modell möglichst sauber getrennt bleibt. Dann lassen sich Modelle austauschen oder mehrere Modelle für unterschiedliche Aufgaben bereitstellen, ohne jede Anwendung neu zu bauen.
Verwandte Begriffe: LLM-Inferenz · API
Noch Fragen? Sprechen Sie mit jemandem, der das System baut.
Kein Vertriebsskript. Innerhalb von zwei Werktagen meldet sich Ihr Ansprechpartner aus dem Engineering-Team, per E-Mail oder telefonisch.