Token
Tokens sind Verarbeitungseinheiten, in die Text für ein Sprachmodell aufgeteilt wird. Die Anzahl der Tokens beeinflusst unter anderem Kontextumfang, Rechenaufwand und Kosten bei tokenbasierten Diensten.
Einfach erklärt
Ein Token ist nicht einfach immer ein Wort. Je nach Sprache und Text können Wörter in mehrere Einheiten zerfallen. Für die Planung einer lokalen Unternehmens-KI ist vor allem relevant, wie viel Kontext typische Anfragen benötigen und welche Leistung bei dieser Belastung erreicht wird.
Bedeutung für Unternehmen
Tokens sind deshalb eine technische Größe, aber keine direkte Qualitätskennzahl. Ein längerer Kontext ist nicht automatisch besser, wenn darin viele irrelevante Informationen enthalten sind.
Verwandte Begriffe: Kontextfenster · Prompt · Inference
Noch Fragen? Sprechen Sie mit jemandem, der das System baut.
Kein Vertriebsskript. Innerhalb von zwei Werktagen meldet sich Ihr Ansprechpartner aus dem Engineering-Team, per E-Mail oder telefonisch.