LLM-Inferenz
LLM-Inferenz bezeichnet die Ausführung eines Large Language Models, um aus einem Eingabetext eine Antwort zu berechnen.
Einfach erklärt
Während Training das Modell verändert, erzeugt Inferenz Antworten mit einem bereits trainierten Modell. Für lokale Systeme ist die Inferenz der Prozess, der auf dem bereitgestellten KI-Server tatsächlich Rechenleistung beansprucht.
Bedeutung für Unternehmen
Die benötigte Infrastruktur hängt unter anderem vom Modell, der Quantisierung, dem verfügbaren VRAM und der Zahl gleichzeitiger Anfragen ab. Ein System sollte deshalb mit realistischen Unternehmensanfragen und Lastszenarien getestet werden.
Abgrenzung
LLM-Inferenz ist der Sonderfall von Inference für Sprachmodelle. Der Oberbegriff umfasst auch Bild- oder Klassifikationsmodelle; bei Sprachmodellen kommen Kontextfenster und Token als eigene Planungsgrößen hinzu.
Noch Fragen? Sprechen Sie mit jemandem, der das System baut.
Kein Vertriebsskript. Innerhalb von zwei Werktagen meldet sich Ihr Ansprechpartner aus dem Engineering-Team, per E-Mail oder telefonisch.