Glossar · KI
Tokenization (Tokenisierung)
Der Schritt, der Text in Tokens (kleine Wort- oder Zeichenbausteine) zerlegt, mit denen ein Sprachmodell tatsächlich rechnet.
Definition
Ein LLM liest keine Buchstaben, sondern Tokens. Der Tokenizer zerlegt jeden Text in bekannte Bausteine, oft ganze kurze Wörter, häufig aber auch Wortteile. Grob gilt für Deutsch und Englisch: ein Token entspricht etwa vier Zeichen oder rund 0,75 Wörtern. Umlaute, Emojis und seltene Fachbegriffe brauchen dabei überdurchschnittlich viele Tokens, weil sie nicht als ein einzelner Baustein im Vokabular stehen.
Warum das praktisch zählt: Jede API rechnet Preis und Limit in Tokens ab, nicht in Zeichen. Wenn du grob wissen willst, ob ein Dokument ins Context Window passt oder was ein Lauf kostet, musst du in Tokens schätzen, nicht in Wörtern. Auch Bugs hängen daran: Ein Modell, das eine Zahl oder Domain falsch wiedergibt, ist oft an einer ungünstigen Token-Grenze gescheitert. Für verlässliche Automations lohnt es sich, das Token-Budget pro Schritt zu kennen und die Ausgabe hart zu begrenzen.
So nutzen wir das bei adsbird
Bevor wir bei adsbird eine große Lead-Liste durch ein Modell schicken, schätzen wir die Tokens pro Zeile, um Kosten und Laufzeit des Batches vorher zu kennen.
Tokenization (Tokenisierung) in deinem Projekt?
Wir bauen damit,
jeden Tag.
Wenn du Tokenization in einem konkreten Workflow brauchst, wir haben das wahrscheinlich schon gebaut.