Glossareintrag
Wir denken. KI tippt mit.
Der Tokenizer (deutsch auch Tokenisierer, der Vorgang heißt Tokenisierung oder englisch Tokenization) ist das Programm, das Text für ein Sprachmodell in Tokens zerlegt und jedem Token eine feste Nummer zuweist. Das Modell selbst sieht nie Buchstaben, nur diese Nummernfolge. Nach der Antwort läuft derselbe Weg rückwärts, der Tokenizer setzt die erzeugten Nummern wieder zu lesbarem Text zusammen. Das Token ist die Einheit samt ihrem Preis, der Tokenizer das Verfahren, das sie erzeugt.
Ein Tokenizer arbeitet mit einem festen Vokabular (englisch Vocabulary), einer Liste aller Bausteine, die er kennt. Bei aktuellen Modellen umfasst sie zwischen rund 128.000 und 262.000 Einträge. Das Vokabular entsteht in einem eigenen Trainingslauf vor dem Modelltraining. Das gängigste Lernverfahren heißt Byte-Pair-Encoding (BPE). Es beginnt mit einzelnen Zeichen und fasst Schritt für Schritt die häufigsten Nachbarpaare zu neuen Einträgen zusammen, bis die gewünschte Vokabulargröße erreicht ist. Häufige Wörter wie „und“ landen so als ganzes Token im Vokabular, seltene Wörter zerfallen in Wortteile (Subwords). Der OpenAI-Tokenizer o200k_base macht aus „Fliesenlegermeister“ die vier Tokens Fl | iesen | leger | meister und aus „Angebot“ die drei Tokens An | geb | ot.
Weil jeder Anbieter sein Vokabular auf eigenen Textsammlungen lernt, zerlegt jeder Tokenizer denselben Satz anders. ChatGPT, Claude und Gemini kommen deshalb für dieselbe Eingabe auf verschiedene Token-Zahlen, und ein Vokabular passt immer nur zu dem Modell, mit dem es trainiert wurde. Diese Eigenheit macht den Tokenizer zum Fingerabdruck. Im August 2026 verriet die Token-Zählung, welcher Hersteller hinter dem anonymen Testmodell „Ox Alpha“ stand.
Sprachmodelle zerlegen Text in Wortteile, weil die zwei naheliegenden Alternativen scheitern. Ein Vokabular aus ganzen Wörtern müsste jede Beugung und jedes Kompositum einzeln kennen und hätte für ein neues Wort wie „Wärmepumpenförderung“ nur einen Platzhalter für „unbekannt“. Ein Vokabular aus einzelnen Buchstaben kennt zwar jedes Wort, macht aber jede Eingabe um ein Vielfaches länger, und ein einzelnes „l“ trägt kaum Bedeutung. Der Mittelweg heißt Subwort-Tokenisierung und steckt heute in allen großen Modellen.
Beim Byte-Pair-Encoding lernt der Tokenizer sein Vokabular durch Zählen. Er startet mit den 256 möglichen Byte-Werten, damit jedes Zeichen jeder Sprache und jedes Emoji darstellbar bleibt (Byte-Level-BPE). Dann sucht er in seinem Trainingstext das häufigste Zeichenpaar, fasst es zu einem neuen Eintrag zusammen und wiederholt das mit dem nächsthäufigsten Paar. GPT‑2 kam so auf 50.257 Einträge (256 Bytes, 50.000 Zusammenfassungen und ein Steuerzeichen für das Textende). Das Verfahren stammt ursprünglich aus der Datenkompression von 1994, seine heute übliche Form für Sprachmodelle geht auf ein Paper von Rico Sennrich und Kollegen aus dem Jahr 2016 zur maschinellen Übersetzung zurück. WordPiece (BERT-Familie) wählt stattdessen das Paar, das gemeinsam deutlich öfter auftritt, als die Einzelhäufigkeiten erwarten lassen. Unigram arbeitet umgekehrt, es beginnt mit einem großen Kandidaten-Vokabular und streicht Schritt für Schritt die Einträge, die am wenigsten fehlen würden. SentencePiece ist eine Google-Bibliothek und kein eigenes Lernverfahren. Sie wendet BPE oder Unigram direkt auf den Rohtext an und führt das Leerzeichen als eigenes Zeichen „▁“ mit. Damit kommt sie auch mit Sprachen ohne Leerzeichen zurecht, etwa Chinesisch und Japanisch.
Welcher Tokenizer in welchem Modell steckt, ist nur bei offenen Modellen vollständig dokumentiert:
Eine Studie zu Skalierungsgesetzen für Vokabulare aus dem Jahr 2024 kommt zu dem Schluss, dass größere Modelle größere Vokabulare benötigen. Llama‑2‑70B hätte danach statt 32.000 rund 216.000 Einträge haben sollen. Mit jedem zusätzlichen Eintrag passen mehr ganze Wörter ins Vokabular, und derselbe Text wird kürzer.
Viele bekannte Schwächen von Sprachmodellen entstehen im Tokenizer, nicht im Modell. Die Stolperfrage nach der Anzahl der „r“ in „Strawberry“ scheitert, weil das Wort als Str | aw | berry ankommt und das Modell die Buchstaben darin nie einzeln sieht. Ein Paper zum „Strawberry Problem“ (EMNLP 2025) zeigt, dass Modelle die Zeichenebene erst spät im Training und nur indirekt lernen. Zahlen zerfallen willkürlich, o200k_base macht aus dem Datum „12.03.2025“ die sechs Tokens 12 | . | 03 | . | 202 | 5 und trennt das Jahr mitten durch. Eine Untersuchung zu Datumsfragmenten aus dem Jahr 2025 misst dadurch bis zu zehn Prozentpunkte weniger Genauigkeit bei seltenen Datumsangaben. Glitch-Tokens sind Vokabular-Einträge, die im Modelltraining fast nie vorkamen, das bekannteste Beispiel „SolidGoldMagikarp“ brachte GPT‑3 zu unsinnigen Antworten. Der TokenBreak-Angriff von HiddenLayer (2025) richtet sich gegen Sicherheitsfilter. Ein eingeschobener Buchstabe („finstructions“ statt „instructions“) verändert die Zerlegung so, dass Filter gegen Prompt Injection den Befehl nicht mehr erkennen, während das Sprachmodell ihn trotzdem versteht. Der Angriff trifft BPE- und WordPiece-Tokenizer, Unigram-Tokenizer nicht.
Deutscher Text kostet in jedem großen Tokenizer mehr Tokens als englischer. Notebookcheck hat das im August 2026 an einem eigenen Artikel in beiden Sprachen mit o200k_base nachgemessen. Die deutsche Fassung hatte mit 1.134 Wörtern weniger Wörter als die englische mit 1.276, brauchte aber 1.747 statt 1.200 Tokens. Mit dem älteren cl100k_base waren es sogar 2.088 Tokens, neuere Vokabulare verkleinern den Abstand also. Eine Studie zur „Tokenizer Tax“ in 24 europäischen Sprachen vom Mai 2026 kommt über sechs Tokenizer hinweg auf 1,76 Tokens pro deutschem Wort gegenüber 1,23 im Englischen. Die Ursache sind die langen Komposita und Endungen, die in seinem meist englischen Trainingstext selten sind. Ein Grundlagenpaper von Petrov und Kollegen (NeurIPS 2023) fand zwischen Sprachen Unterschiede bis zum 15-Fachen und nennt als Folgen höhere Kosten, längere Antwortzeiten und weniger Platz im Kontextfenster.
Am 20. August 2026 erschien auf OpenRouter das anonyme Modell „Ox Alpha“. Das Sicherheitsunternehmen CTGT schickte dem Modell elf Testtexte, darunter chinesische, thailändische, koreanische und arabische Passagen, die Ziffern von Pi, Emojis und Programmcode. Die Zählung lief über das Feld für Eingabe-Tokens, das jede API-Antwort mitliefert. Alle elf Proben ergaben laut der CTGT-Analyse vom 24. August 2026 exakt die Token-Zahlen des GLM‑5-Vokabulars, dazu passte die Fehlermeldung mit dem Z.ai-typischen Code 1214. Zwei Tage später bestätigte Z.ai, dass Ox Alpha das Modell GLM‑5.3‑Flash war. Die Methode benötigt keinen Zugriff auf das Modell selbst. Man liest ab, wie viele Eingabe-Tokens die Schnittstelle für eine Probe meldet, zieht den Anteil der versteckten Rahmenvorlage ab und vergleicht den Rest mit den Werten bekannter Vokabulare. Belegt ist damit ein gemeinsamer Tokenizer, nicht die Herkunft des Modells, wie ein Paper vom 30. August 2026 festhält. Jeder Betreiber kann das Vokabular eines offenen Modells übernehmen. Bis dahin hatten Andeutungen von Google-Mitarbeitern auf X tagelang eine falsche Gemini-Spur im Fall Ox Alpha gelegt. Schon im April 2025 hatte ein Tokenizer-Fehler das Testmodell „Quasar Alpha“ verraten. o200k_base kodierte eine bestimmte chinesische Phrase als ein einziges Token, und OpenRouter bestätigte später eine Vorabversion von GPT‑4.1 als Urheber.
Ob Modelle den Tokenizer überhaupt benötigen, ist seit Ende 2024 offen. Metas Byte Latent Transformer (BLT, Dezember 2024) liest rohe Bytes und gruppiert sie dynamisch zu Blöcken, je nachdem, wie vorhersehbar das nächste Byte ist. Laut Paper erreicht er mit bis zu 8 Milliarden Parametern erstmals die Leistung tokenbasierter Modelle. H‑Net (Juli 2025) lernt die Segmentierung direkt mit dem Modell und schneidet laut den Autoren bei Chinesisch, Programmcode und DNA-Sequenzen besser ab als BPE-Modelle. Das Allen Institute stellte im Dezember 2025 mit Bolmo nach eigenen Angaben die ersten vollständig offenen Byte-Modelle vor. Das Nadelöhr bleibt die Ausgabe, denn Byte für Byte zu schreiben ist langsam. Ein Folgepaper vom Mai 2026 beschleunigt die Erzeugung mit Diffusions- und Selbstprüfungsverfahren. SuperBPE (2025) geht einen Mittelweg. Es bildet Tokens über Wortgrenzen hinweg und benötigt bei gleichem Vokabular bis zu 33 Prozent weniger Tokens. Alle großen kommerziellen Modelle von OpenAI, Anthropic, Google, Meta und den chinesischen Herstellern arbeiten Stand September 2026 mit Subwort-Tokenizern, soweit sie ihre Tokenizer dokumentieren.
Jede Ausschreibung, jedes Aufmaß und jede Angebotsliste, die ein Betrieb in ChatGPT oder Claude einfügt, läuft zuerst durch den Tokenizer. Deutsche Fachbegriffe kommen dort besonders schlecht weg. Die Angebotszeile „Angebot für die Badsanierung: Fliesenlegerarbeiten 45 m² inkl. Abdichtung, Artikelnummer FL-20938-XL, Preis 4.850,00 €“ ergibt mit dem OpenAI-Tokenizer o200k_base 40 Tokens, die englische Übersetzung nur 34. Ein 60-seitiges Leistungsverzeichnis füllt das Kontextfenster eines Chats deshalb schneller, als die Wortzahl vermuten lässt. Was aus dem Fenster fällt, kennt das Modell nicht mehr. Wer lange Dokumente hochlädt, sollte die Fragen dazu im selben Chat früh stellen oder das Dokument in Abschnitten verarbeiten.
