Was bedeutet
Transformer bei KI/AI (Architektur hinter ChatGPT und Co.)?

Bis 2017 lasen Sprach-KIs einen Satz Wort für Wort ein, in der Reihenfolge, in der ein Mensch ihn spricht. Rekurrente Netze reichten einen inneren Zustand von Wort zu Wort weiter. War das Satzende erreicht, hatte dieser Zustand den Satzanfang oft vergessen. Außerdem lief die Rechnung nie parallel, weil jedes Wort erst nach dem vorherigen an die Reihe kam. Das Google-Team um Ashish Vaswani strich die Weitergabe von Wort zu Wort komplett. Sein Aufsatz beschreibt laut Zusammenfassung „a new simple network architecture, the Transformer, based solely on attention mechanisms“, ein Netz, das allein auf Attention beruht und ohne Rekurrenz und Faltung auskommt. Das größte Modell des Papers hatte 213 Millionen Parameter und trainierte 3,5 Tage auf acht NVIDIA-P100-Grafikkarten. Es übersetzte Englisch nach Deutsch besser als alle Systeme davor. Google schrieb in seiner Vorstellung der Transformer-Architektur im August 2017, das Training laufe bis zu eine Größenordnung schneller als bei rekurrenten Ansätzen.

Der Weg vom eingetippten Text zur Antwort:

• Tokenisierung: Der Text wird in Tokens zerlegt, also in Wörter oder Wortteile. Im Originalmodell waren es rund 37.000. Zuständig dafür ist ein eigenes Programm, der Tokenizer.
• Embedding: Jedes Token wird zu einer langen Zahlenreihe (Vektor), im Basismodell des Papers mit 512 Zahlen. Wörter mit ähnlicher Bedeutung bekommen ähnliche Zahlenreihen. Spezielle Embedding-Modelle fassen nach demselben Prinzip ganze Sätze in einer einzigen Zahlenreihe zusammen, darauf beruht die semantische Suche.
• Positionskodierung: Weil alle Tokens gleichzeitig verarbeitet werden, bekommt jedes eine Ortsangabe mit. Das Original nutzte dafür Sinuskurven. Heutige Modelle wie Llama, Qwen und gpt-oss nehmen RoPE (Rotary Position Embedding), das den Abstand zwischen zwei Tokens direkt in die Attention einrechnet.
• Self-Attention: Jedes Token stellt an alle anderen eine Anfrage (Query). Jedes andere antwortet mit einem Schlüssel (Key), der sagt, wie gut es passt, und liefert seinen Inhalt (Value) gewichtet ab. Im Satz „Der Monteur zieht die Mutter mit dem Schlüssel fest“ bekommt das Token „Mutter“ hohe Gewichte von „zieht“, „fest“ und „Schlüssel“ und wird als Schraubenmutter verarbeitet. In „Die Mutter des Monteurs ruft an“ gewinnen „des Monteurs“ und „ruft“, und dieselbe Buchstabenfolge steht für eine Person. Diese Rechnung läuft in mehreren Köpfen parallel (Multi-Head-Attention, im Basismodell acht). Jeder Kopf lernt eine andere Art von Beziehung, z. B. Satzbau, Rückbezug oder Wortbedeutung.
• Feed-Forward-Schicht: Ein kleines Rechennetz bearbeitet jedes Token einzeln weiter. Eine Studie der Universität Tel Aviv von 2021 beschreibt diese Schichten als Schlüssel-Wert-Speicher, deren Schlüssel auf Textmuster reagieren und deren Werte die nächsten Wörter vorschlagen. Eine Arbeit zum Bearbeiten von Modellwissen hat dort 2022 einen Großteil des gespeicherten Faktenwissens verortet.

Attention und Feed-Forward bilden zusammen einen Block. Das Original stapelte sechs davon, GPT-3 im Jahr 2020 bereits 96. Jede Schicht verfeinert die Zahlenreihen der Tokens weiter. Am Ende rechnet das Netz die letzte Zahlenreihe in eine Wahrscheinlichkeit für jedes Token des Vokabulars um und wählt das nächste Wortstück. Dann beginnt der Durchlauf von vorn, mit dem neuen Token am Ende der Eingabe. Dieses Verfahren heißt autoregressiv. Das Modell erzeugt einen Text als Kette einzelner Vorhersagen, nie als Ganzes.

Aus dem Block entstanden drei Bauformen. Der Encoder liest einen Text komplett und darf jedes Token mit jedem verknüpfen, in beide Richtungen. Googles BERT von 2018 ist so gebaut und wertet seit Oktober 2019 die Anfragen der Google-Suche aus. Der Decoder darf beim Erzeugen nur zurückschauen, auf die Tokens, die schon da sind. Diese Sperre heißt im Paper Maskierung. GPT-1 von OpenAI war 2018 ein reiner Decoder mit zwölf Schichten und rund 117 Millionen Parametern. Decoder-only ist heute die übliche Bauform der Chat-Modelle. Ein Überblick über große LLMs von 2024 führt GPT, Llama, OPT und BLOOM in dieser Familie, und Gemini baut laut Technikbericht von Google „on top of Transformer decoders“ auf. Die Kombination aus beiden, der Encoder-Decoder, war die Form des Originals für die Übersetzung. Sie lebt in OpenAIs Spracherkennung Whisper weiter, deren Encoder das Audio liest und deren Decoder den Text schreibt.

Der Preis für Attention steht in Tabelle 1 des Papers. Der Rechenaufwand pro Schicht wächst mit dem Quadrat der Textlänge, weil jedes Token jedes andere ansieht. Ein doppelt so langer Text kostet in der Attention viermal so viel Rechenzeit, ein zehnmal so langer hundertmal so viel. Beim Antworten kommt hinzu, dass für jedes neue Token die Schlüssel und Werte aller vorherigen Tokens gebraucht werden. Damit sie nicht bei jedem Schritt neu entstehen, halten die Server sie in einem Zwischenspeicher, dem KV-Cache. Der wird laut Doku von Hugging Face zu Cache-Strategien bei langen Kontexten selbst zum Speicherengpass. Aus dieser Rechnung folgt fast alles, was Nutzer als Grenze erleben, das Kontextfenster, die Abrechnung nach Tokens und das Langsamerwerden langer Chats.

Seit 2022 zielt ein Großteil der Entwicklung auf diesen Engpass, ohne den Bauplan zu verlassen:

• FlashAttention (Stanford, 2022) berechnet die Attention exakt wie zuvor, ordnet aber die Speicherzugriffe auf der GPU so, dass der Speicherbedarf linear statt quadratisch wächst. Das FlashAttention-Paper nennt bis zu dreifache Trainingsgeschwindigkeit ohne Näherung.
• Grouped-Query Attention lässt mehrere Anfrage-Köpfe einen gemeinsamen Satz Schlüssel und Werte nutzen, was den KV-Cache verkleinert. Gemma 3, Qwen3 und gpt-oss setzen es ein.
• Multi-head Latent Attention von DeepSeek komprimiert Schlüssel und Werte auf einen kleineren Zahlenraum. Das DeepSeek-V2-Paper beziffert die Einsparung beim KV-Cache auf 93,3 Prozent.
• Sliding Window Attention lässt die meisten Schichten nur ein Fenster benachbarter Tokens sehen, im Wechsel mit wenigen Schichten, die den ganzen Text überblicken. Gemma 3 wechselt fünf lokale mit einer globalen Schicht ab, gpt-oss lässt jede zweite Schicht nur 128 Tokens weit schauen.
• Sparse Attention wählt pro Token nur die wichtigsten anderen Tokens aus. DeepSeek senkte damit laut Ankündigung von DeepSeek-V3.2-Exp im September 2025 die Rechenkosten bei langem Kontext deutlich und die API-Preise um mehr als die Hälfte.
• Mixture of Experts tauscht die eine Feed-Forward-Schicht gegen viele Fach-Teilnetze, von denen pro Token nur wenige rechnen. DeepSeek-V3 aktiviert 37 von 671 Milliarden Parametern, und Google beschreibt Gemini 2.5 in seinem Technikbericht als „sparse mixture-of-experts (MoE) transformers“.

Der Bauplan wanderte ab 2020 über den Text hinaus. Der Vision Transformer zerschneidet ein Bild in Kacheln von 16 mal 16 Pixeln und behandelt sie wie Wörter (Computer Vision). Whisper wurde 2022 mit 680.000 Stunden Audio trainiert. AlphaFold 2 von DeepMind sagt seit 2021 Proteinstrukturen mit einem Attention-Modul namens Evoformer voraus. Die Bildgeneratoren tauschten mit dem Diffusion Transformer von 2022 ihr Innenleben aus. Sora von OpenAI, Stable Diffusion 3 und Flux entrauschen Bilder und Videos seither mit Transformer-Blöcken statt mit dem früheren U-Net. Zwei Arbeiten von OpenAI (2020) und DeepMind (2022) haben als Skalierungsgesetze beschrieben, dass Transformer mit mehr Daten und Rechenleistung berechenbar besser werden.

Im Jahr 2026 bleibt der Transformer die Basis der Spitzenmodelle, soweit die Anbieter ihre Architektur offenlegen. Google nennt Gemini 3 Pro in der Modellkarte ein „sparse mixture-of-experts (MoE)“-Modell auf Transformer-Basis mit Verweis auf Vaswani 2017. Auch OpenAI beschreibt sein offenes Modell gpt-oss als „mixture-of-expert transformer architecture“, und DeepSeek schreibt zur V4-Reihe vom April 2026, sie behalte die Transformer-Architektur bei. OpenAI und Anthropic legen den Aufbau von GPT-5 und Claude in ihren System Cards nicht offen. Ein Überblick der TU München vom Oktober 2025 hält fest, dass Transformer die Sequenzverarbeitung seit sieben Jahren dominieren.

Die Herausforderer setzen am quadratischen Aufwand an. Mamba (Dezember 2023) ersetzt Attention durch ein Zustandsraum-Modell, dessen Aufwand linear mit der Textlänge wächst, und meldete im Mamba-Paper fünffachen Durchsatz. Große Modelle nutzen Mamba 2026 als Beimischung, nicht als Ersatz. NVIDIA baut seine Nemotron-3-Modelle aus Mamba-, Attention- und Expertenschichten. IBM mischt in Granite 4.0 neun Mamba-Schichten auf einen Transformer-Block und gibt über 70 Prozent weniger Arbeitsspeicher für lange Eingaben an. Alibabas Qwen3.5 rechnet drei von vier Schichten mit linearer Attention. MiniMax ging den umgekehrten Weg und kehrte mit dem Modell M2 im Herbst 2025 zur vollen Attention zurück. Die Mischform hatte laut Begründung von MiniMax beim mehrstufigen Schlussfolgern nachgelassen und in einem Test mit 128.000 Tokens laut Analyse des Technikberichts 72 statt 90 Punkte erreicht. Diffusions-Sprachmodelle wie Gemini Diffusion (Mai 2025) erzeugen Text nicht Token für Token, sondern entrauschen ganze Passagen parallel. Im Inneren rechnen auch sie in der Regel mit Transformer-Blöcken, das Diffusionsmodell Mercury von Inception Labs ist laut Paper ausdrücklich so aufgebaut.

Attention und Feed-Forward bestehen aus Matrixmultiplikationen, der Rechenart, für die GPUs und Googles TPUs gebaut sind. NVIDIA stattete 2022 die Hopper-Generation mit einer „Transformer Engine“ aus und nannte den Transformer in der Ankündigung „the standard model choice for natural language processing“. Blackwell (2024) und Vera Rubin (2026) führen diese Einheit in zweiter und dritter Generation weiter.

Alle acht Autoren des Aufsatzes haben Google verlassen, Noam Shazeer sogar zweimal (Rückkehr 2024, Wechsel zu OpenAI im Juni 2026). Sie gründeten unter anderem Cohere (Aidan Gomez), Character.AI (Noam Shazeer), Essential AI (Ashish Vaswani, Niki Parmar), Inceptive (Jakob Uszkoreit) und Sakana AI in Tokio (Llion Jones). Die Zeitschrift Nature führte den Aufsatz im April 2025 in ihrer Auswertung der meistzitierten Arbeiten des 21. Jahrhunderts auf Platz sieben.