Throughput
Throughput beschreibt, wie viel Arbeit ein System in einer bestimmten Zeit verarbeiten kann. Bei KI kann damit beispielsweise die Zahl verarbeiteter Anfragen oder Tokens pro Zeitspanne gemeint sein.
Einfach erklärt
Throughput und Latenz sind nicht dasselbe. Ein System kann einzelne Anfragen schnell beantworten und unter vielen parallelen Nutzern trotzdem an Grenzen kommen. Für Unternehmen ist deshalb wichtig, welche Leistung unter realistischer Gleichzeitigkeit entsteht.
Bedeutung für Unternehmen
Bei der Dimensionierung eines KI-Servers sollte der erwartete Durchsatz zusammen mit der Nutzerzahl und dem Modell betrachtet werden. Eine Hardware, die für einen einzelnen Nutzer sehr schnell ist, muss nicht automatisch für einen ganzen Fachbereich ausreichen.
Weiterlesen
Noch Fragen? Sprechen Sie mit jemandem, der das System baut.
Kein Vertriebsskript. Innerhalb von zwei Werktagen meldet sich Ihr Ansprechpartner aus dem Engineering-Team, per E-Mail oder telefonisch.