Was ist Token?
Token
A. Was ist Token
Die kleinste Einheit, mit der eine KI Text verarbeitet. Sowohl die Preisgestaltung als auch die maximale Eingabelänge (Kontext) werden in Token gemessen.
Ein Token ist die kleinste Einheit, mit der ein LLM Text verarbeitet. Im Englischen ist ein Token oft ein Wort oder Wortteil; im Deutschen tendiert es zu einem Wortteil oder einem kurzen Wort. Als grobe Orientierung: Längere Wörter werden in mehrere Token zerlegt.
Die API-Preise richten sich in der Regel nach der Menge der Eingabe-Token plus Ausgabe-Token, und auch die maximale Länge des eingebbaren Texts (das Kontextfenster) wird in Token ausgedrückt. Je länger das verarbeitete Dokument, desto mehr Token verbrauchen Sie.