Token & Tokens (KI/AI)

Definition:

Tokens sind die kleinsten Texteinheiten, mit denen künstliche Intelligenz (Artificial Intelligence) Sprache verarbeitet. Bevor ein Large Language Model (LLM) wie Claude, ChatGPT oder Gemini eine Eingabe liest, zerlegt ein Tokenizer den Text in diese Bausteine. Ein Token kann ein ganzes Wort sein, ein Wortteil, ein Satzzeichen oder ein Leerzeichen. Das gängigste Verfahren heißt Byte-Pair-Encoding (BPE) und fasst häufig vorkommende Zeichenfolgen zu jeweils einem Token zusammen. Kurze, häufige Wörter wie „und“ bleiben ein einziges Token. „Badezimmerkomplettsanierung“ zerfällt dagegen in acht Bruchstücke, und die liegen nicht dort, wo ein Mensch die Wortteile trennen würde: B | ade | zimmer | kom | ple | tt | san | ierung.

Für englischen Text gilt die Faustregel, dass ein Token ungefähr vier Zeichen oder 0,75 Wörtern entspricht. Deutscher Text benötigt durch lange zusammengesetzte Wörter gut 30 Prozent mehr Tokens für denselben Inhalt. An deutschen Geschäftstexten gemessen sind das rund 1,5 bis 1,7 Tokens je Wort. Dieser Aufschlag hängt am Vokabular des Anbieters, nicht an der deutschen Sprache. Mit dem älteren Tokenizer der GPT-4-Generation kostete derselbe deutsche Text noch fast sechzig Prozent mehr als seine englische Fassung, mit dem heutigen Vokabular hat sich der Abstand etwa halbiert. OpenAI beziffert die Verbesserung für Deutsch in der Sprachtabelle zum Wechsel auf GPT-4o mit dem Faktor 1,2. Wie viele Tokens ein Satz genau ergibt, hängt deshalb vom jeweiligen KI-Modell ab, denn jeder Anbieter entwickelt seinen eigenen Tokenizer. In englischsprachigen Preislisten und Dokumentationen stehen sie als AI Token oder schlicht als Tokens.

Ein Token ist damit eine Herstellerentscheidung und verschiebt sich auch innerhalb eines Anbieters. Anthropic schreibt in der eigenen Doku zum Zählen von Tokens, dass Claude 4.7 und neuere Modelle einen anderen Tokenizer verwenden und für denselben Text rund 30 Prozent mehr Tokens erzeugen. Das Preisblatt weist diesen Aufschlag nicht aus, sichtbar wird er erst in der Abrechnung. Wer Kosten kalkuliert, zählt deshalb pro Modell neu. (Hinweis: Verwechselbar mit den Token aus der Krypto- und IT-Welt. Ein Krypto-Token ist ein digitaler Vermögenswert, ein Zugangs- oder Sicherheitstoken dagegen ein Schlüssel zur Anmeldung, z. B. ein USB-Stick oder ein zeitlich begrenzter Anmeldeschlüssel. Mit der Texteinheit der Sprachmodelle haben beide nichts zu tun.)

Auch beim Antworten arbeitet ein Sprachmodell in dieser Einheit. Es erzeugt seinen Text Token für Token und sagt jeweils das wahrscheinlichste nächste Token voraus. Die Anbieter messen deshalb fast alles rund um Sprachmodelle in Tokens, vom Kontextfenster (dem Arbeitsgedächtnis eines Chats) über die API-Preise und die Ausgabegeschwindigkeit in Tokens pro Sekunde bis zu den Nutzungslimits der Abos. Was Token in der KI und ihre Bedeutung für die eigene Rechnung heißt, steht bei jedem Anbieter im Preisblatt, getrennt nach Eingabe und Ausgabe. Der Preis- und Leistungsvergleich von Claude und ChatGPT rechnet die Token-Preise beider Anbieter für typische Aufgaben gegeneinander durch.

Beschreibung:

Tokenizer: Der Tokenizer übersetzt Text in Zahlenfolgen, mit denen das Modell rechnet. Jedes Token ist zunächst nur eine Nummer (eine Zeilennummer im Wörterbuch des Modells). Erst das Nachschlagen dieser Nummer macht daraus einen Startvektor, den das Modell dann im Zusammenhang des Satzes weiterverarbeitet. Aus „Handwerksbetrieb“ werden mehrere Teil-Tokens, aus „und“ nur eines. Der kostenlose Tokenizer von OpenAI zeigt live, wie er einen beliebigen Text zerlegt.
Warum KI sich beim Buchstabenzählen vertut: Die heute verbreiteten Sprachmodelle sehen keine einzelnen Buchstaben, sondern nur die Nummern ihrer Tokens. Das Modell scheitert deshalb an der Stolperfrage, wie viele „r“ im Wort „Strawberry“ stecken. Das Wort besteht für das Modell aus den drei Bausteinen Str | aw | berry, die einzelnen Zeichen darin sieht es nie.
Kontextfenster: Es gibt an, wie viele Tokens ein Modell gleichzeitig im Blick behalten kann. Bei den Spitzenmodellen der großen Anbieter ist 1 Million Tokens im API-Zugang heute Standard (Claude Fable 5.1, GPT-6 Astra, Gemini 3.1 Pro), 2024 galten 128.000 noch als viel. Die Zahl taugt trotzdem nicht als Pauschale, die Fenster der kleineren Modelle reichen je nach Anbieter von 200.000 bis über 1 Million. In den Chat-Oberflächen fällt das Fenster nach Abo-Stufe zusätzlich kleiner aus, und ein Teil davon ist schon belegt, bevor der Nutzer das erste Wort tippt. Anthropic veröffentlicht die Systemanweisungen der Claude-Oberflächen, dazu kommen Erinnerungen und Werkzeugbeschreibungen.
Die Ausgabe hat ihr eigenes, viel kleineres Limit: Das Kontextfenster sagt nichts darüber, wie lang die Antwort werden darf. Für die Ausgabe gilt ein getrenntes Maximum, das je nach Modell von wenigen Tausend bis zu 128.000 Tokens reicht. Eine Antwort bricht deshalb mitten im Satz ab, obwohl das große Fenster noch halb leer ist. Beides teilt sich außerdem dasselbe Budget, ein sehr langer Prompt lässt für die Antwort weniger Platz.
Ein volles Kontextfenster arbeitet schlechter als ein halbes: Ein Modell nutzt nicht jede Stelle im Fenster gleich gut. Eine Stanford-Untersuchung zur Position von Information im Kontext zeigt, dass die Trefferquote deutlich einbricht, sobald die gesuchte Angabe in der Mitte eines langen Textes steht, statt am Anfang oder am Ende. Eine Nachmessung des Chroma-Teams an 18 aktuellen Modellen zeigt einen verwandten Effekt. Dort sank die Trefferquote bei allen 18 Modellen schon allein dadurch, dass die Eingabe länger wurde. Wer ein 300-seitiges Leistungsverzeichnis am Stück hineingibt, bekommt also nicht automatisch die gleiche Trefferquote wie bei drei gezielten Auszügen.
Input- und Output-Tokens: KI-Anbieter zählen Eingabe (Prompt) und Ausgabe (Antwort) getrennt. Output-Tokens kosten je nach Anbieter und Generation das Vier- bis Achtfache der Input-Tokens. Anthropic hält den Faktor bei allen Modellen exakt bei fünf, OpenAI liegt bei der GPT-5-Reihe bei acht. Die Eingabe kann das Modell in einem Durchgang parallel verarbeiten und lastet seine Rechenkarten dabei gut aus. Die Antwort entsteht dagegen Token für Token nacheinander, und jedes einzelne braucht einen eigenen Durchlauf durch das ganze Modell (technische Erläuterung der beiden Phasen bei NVIDIA). Lange Antworten sind deshalb der teurere Teil jeder Anfrage.
Bilder und PDFs kosten ebenfalls Tokens: Multimodale Modelle rechnen auch Dateien in Tokens um. Claude zerlegt Bilder dafür in Blöcke von 28 mal 28 Pixeln, ein Foto mit 1000 mal 1000 Pixeln kostet nach dieser Formel aus der Bildverarbeitungs-Doku von Anthropic genau 1.296 Tokens. Bei einer PDF-Seite nennt Anthropic 1.500 bis 3.000 Tokens, das ist allerdings nur der Textanteil. Der Anbieter verarbeitet jede Seite zusätzlich als Bild und berechnet sie noch einmal.
Sprache und Video sind die teuersten Eingaben: Google rechnet in der Token-Doku zur Gemini-API mit 32 Tokens je Sekunde Audio. Eine Stunde Besprechung als Tonaufnahme belegt damit rund 115.000 Tokens, so viel wie etwa 250 Seiten deutscher Text. Video liegt noch einmal deutlich darüber, in der Standardeinstellung rund 100 Tokens je Sekunde und in hoher Auflösung rund 300. Eine Stunde Videomaterial sprengt damit in hoher Auflösung ein komplettes 1-Millionen-Fenster.
Denk-Tokens: Aktuelle Modelle überlegen vor der Antwort in internen Zwischenschritten (Reasoning-Modelle und ihre Denk-Tokens). OpenAI und Anthropic berechnen diese Denk-Tokens als normale Output-Tokens, obwohl Nutzer den Denktext kaum zu sehen bekommen. Bei kniffligen Aufgaben verbraucht das Nachdenken mitunter mehr Tokens als die sichtbare Antwort.
Token-Limits: Neben dem Kontextfenster begrenzen Anbieter auch den Durchsatz. Bei API-Zugängen laufen die Limits pro Minute, gezählt werden Anfragen und Tokens. Anthropic rechnet Input- und Output-Tokens dabei getrennt, OpenAI und Google nehmen ein gemeinsames Token-Limit und setzen Tageslimits daneben. Die Höhe steigt in Stufen, bei OpenAI und Google nach den bisherigen Ausgaben des Kontos. In den Chat-Abos gibt es diese Minutenrechnung nicht, dort laufen Kontingente über Zeitfenster von mehreren Stunden und über die Woche.
Selbst zählen ist möglich, aber nie ganz exakt: Für die offenen OpenAI-Vokabulare gibt es fertige Tools, Anthropic bietet einen kostenlosen Endpunkt zum Zählen von Tokens an, der auch Bilder und PDFs mitrechnet. In der Doku steht dazu ausdrücklich, dass diese Zahl eine Schätzung bleibt. Eine Nachricht bringt meist unsichtbare Steuerzeichen mit, die die Rolle des Sprechers markieren, und in einem Chat kommen Systemanweisungen und Werkzeugbeschreibungen dazu. Die eigene Zählung liegt deshalb regelmäßig etwas unter dem, was später auf der Rechnung steht.
Zwischen Anbietern nicht vergleichbar: Weil jeder Anbieter anders tokenisiert, ergibt derselbe Text bei Claude, ChatGPT und Gemini unterschiedliche Token-Zahlen. Schon ein Generationswechsel beim selben Anbieter verschiebt die Zahl spürbar, Anthropic nennt für den Tokenizer ab Claude 4.7 rund 30 Prozent mehr Tokens bei gleichem Text. Token-Angaben deshalb immer nur innerhalb eines Anbieters vergleichen, und auch dort nur innerhalb einer Modellgeneration.

Token & Tokens (KI/AI) für Unternehmen und Handwerker:

Für lokale Unternehmen und Handwerksbetriebe sind Tokens primär die Mengeneinheit, in der KI-Nutzung gemessen und abgerechnet wird. An diesen Stellen begegnet Ihnen das konkret:

KI-Kosten kalkulieren: Die Anbieter geben ihre API-Preise in US-Dollar pro Million Tokens an, getrennt nach Eingabe und Ausgabe. Die jeweils gültigen Sätze stehen in der Preisliste von Anthropic und in der Preisliste der OpenAI-API. Eine A4-Seite Text mit rund 500 Wörtern entspricht auf Deutsch etwa 800 Tokens und kostet als Eingabe selbst beim teuersten Spitzenmodell nur wenige Cent.
Abo oder Schnittstelle, was ein Vorgang wirklich kostet: Ein einzelner Vorgang über die Schnittstelle, also eine eingehende Kundenanfrage und ein fertiger Antwortentwurf, kostet mit einem mittleren Modell gut einen Cent. Ein Betrieb mit hundert solchen Vorgängen im Monat zahlt damit rund einen Euro statt der etwa 20 US-Dollar eines Chat-Abos. Die Schnittstelle bringt allerdings keine Oberfläche mit, sie lohnt nur, wenn ohnehin ein Werkzeug dazwischenhängt. Wer täglich selbst im Chatfenster arbeitet, fährt mit dem Pauschalpreis des Abos besser.
Abo-Limits und „vergessliche“ Chats verstehen: Bei jeder neuen Nachricht schickt der Chat den gesamten bisherigen Verlauf als Tokens erneut mit. Lange Chats verbrauchen ihr Kontingent dadurch immer schneller, und sobald das Kontextfenster voll ist, fallen die ältesten Inhalte heraus. Wer für jedes neue Thema einen frischen Chat startet, spart Limit und bekommt präzisere Antworten. Auch angehängte Fotos und PDFs zählen mit, ein Foto der Baustelle oder ein eingescanntes Angebot kostet so viel Kontingent wie mehrere Seiten Text.
Was passiert, wenn das Kontingent leer ist: Die Anbieter reagieren unterschiedlich. Google rechnet nach eigener Hilfeseite zu den Nutzungslimits von Gemini nach Rechenleistung statt nach Nachrichten. Mit einem Abo läuft die Unterhaltung nach dem Limit mit dem kleineren Flash-Lite weiter, ohne Abo bleibt nur warten. Anthropic zeigt bei Claude Fortschrittsbalken für das Fünf-Stunden-Fenster und für die Woche und blockt danach, bis sich das Fenster zurücksetzt. Nur wer Nutzungs-Credits eingeschaltet hat, arbeitet gegen Aufpreis weiter.
Deutsche Texte einplanen: Weil deutscher Text rund 30 Prozent mehr Tokens benötigt als englischer, sind Anfragen deutscher Betriebe bei gleichem Inhalt etwas teurer. Bei einzelnen Texten bleibt das im Cent-Bereich, bei automatisierten Anwendungen mit generativer KI (z. B. Produkttexte oder Serien-E-Mails) lohnt sich der Blick darauf. Auch das Kontextfenster schrumpft im selben Maß. Ein beworbenes 200.000-Token-Fenster fasst auf Deutsch rund ein Viertel weniger Inhalt als dieselbe Angabe auf Englisch verspricht.
Dateien richtig übergeben: Ein Leistungsverzeichnis, ein Bauvertrag oder eine Ausschreibung als digitales PDF kostet deutlich weniger Tokens, wenn der Text daraus übergeben wird statt der Datei. Anthropic rechnet nach seiner Doku zur PDF-Verarbeitung jede Seite doppelt ab, einmal als Text und einmal als Bild. Die Textübergabe spart den Bildanteil komplett, und der wiegt bei einem längeren Dokument ungefähr so schwer wie der Text selbst. Bei einem eingescannten Aufmaß bleibt nur der teure Weg, dort gibt es keinen Textpfad.
Kosten senken mit Caching und Batch: Wer per API größere Mengen verarbeitet, bekommt zwei offizielle Rabatte. Das Prompt-Caching speichert wiederkehrende Prompt-Teile (z. B. Firmenwissen oder feste Anweisungen) zwischen, ein Treffer kostet bei Claude nur noch 10 Prozent des normalen Input-Preises, bei Claude Fable 5.1 sogar 2,5 Prozent (Ratgeber zum Prompt Caching und seinen Kosten). Das Anlegen des Zwischenspeichers kostet laut derselben Preisdoku einen Aufschlag, und er hält je nach Anbieter und Einstellung wenige Minuten bis eine Stunde, wobei jede Nutzung ihn kostenlos auffrischt. Er lohnt sich deshalb dort, wo dieselbe Grundlage kurz hintereinander mehrfach gebraucht wird, und nicht bei der einen Anfrage am Tag. Die Batch-Verarbeitung für nicht eilige Aufträge halbiert die Kosten dagegen zuverlässig, z. B. für 500 Produkttexte über Nacht.
Chatbots und Automatisierungen rechnen in Credits: Tools wie Microsoft Copilot Studio, Make oder n8n stellen eine eigene Währung in Rechnung, die intern aus Tokens umgerechnet wird. Die Modellwahl entscheidet dort über ein Vielfaches, im Credit-Modell von Make liegen billigste und teuerste Einstellung für denselben Arbeitsschritt um mehr als das Hundertfache auseinander. Microsoft dokumentiert für abgeschaltete Agenten die Meldung „There is a billing issue.“, und die liest nicht der Chef, sondern der Interessent im Chatfenster der Website.
Angebote und Tools bewerten: Token-Angaben stehen in jeder KI-Preisliste und jedem Datenblatt. Mit den Faustregeln aus der Definition schätzen Sie schnell ab, ob ein Kontingent für den eigenen Bedarf reicht, z. B. für Angebotstexte, E-Mail-Antworten, die Auswertung von Ausschreibungen oder einen Chatbot auf der eigenen Website.

Was bedeutet
Token & Tokens (KI/AI)?

Token & Tokens (KI/AI)

Definition:

Beschreibung:

Token & Tokens (KI/AI) für Unternehmen und Handwerker:

Sie haben eine Frage?

Was bedeutet Token & Tokens (KI/AI)?

Token & Tokens (KI/AI)

Definition:

Beschreibung:

Token & Tokens (KI/AI) für Unternehmen und Handwerker:

Webinar Release

Sie haben eine Frage?

Was bedeutet
Token & Tokens (KI/AI)?