Latenz
Latenz bezeichnet die Zeit zwischen einer Anfrage und der Antwort beziehungsweise dem ersten sichtbaren Ergebnis. Bei einer Unternehmens-KI ist sie ein wichtiger Bestandteil der Nutzererfahrung.
Einfach erklärt
Eine KI kann fachlich gute Antworten liefern und sich trotzdem schlecht anfühlen, wenn jede Anfrage sehr lange benötigt. Latenz entsteht an mehreren Stellen: Modellberechnung, Datenabruf, Reranking, Netzwerk, Speichersystem und gegebenenfalls externe Schnittstellen. Bei On-Premise-Systemen lassen sich viele dieser Wege im eigenen Netz kontrollieren.
Bedeutung für Unternehmen
Für die Planung eines KI-Systems sollte deshalb nicht nur eine theoretische Rechenleistung betrachtet werden. Entscheidend ist, wie schnell typische Unternehmensanfragen unter realer Last beantwortet werden.
Noch Fragen? Sprechen Sie mit jemandem, der das System baut.
Kein Vertriebsskript. Innerhalb von zwei Werktagen meldet sich Ihr Ansprechpartner aus dem Engineering-Team, per E-Mail oder telefonisch.