Search
Close this search box.

Glossareintrag

Was bedeutet
Token & Tokens (KI/AI)?

Token & Tokens (KI/AI)

Definition:

Tokens für künstliche Intelligenz (AI - Artificial Intelligence Tokens), sind die kleinsten Dateneinheiten, die von Sprachmodellen für die Verarbeitung und Generierung von Text verwendet werden. Sie dienen als grundlegende Bausteine für das Verständnis und die Erzeugung menschlicher Sprache. Diese Tokens können Wörter, Satzzeichen oder sogar Teile eines Wortes repräsentieren. Der Prozess, durch den Text in diese Tokens umgewandelt wird, ist als Tokenizer bekannt. Es spielt bei der Funktionsweise von Natural Language Processing (NLP) und Machine Learning (ML) Modellen eine wichtige Rolle.

Der Prozess der Umwandlung von Text in Tokens geschieht in mehreren Schritten. Darunter das Aufteilen, die Normalisierung, die Zuordnung und die Visualisierung der Tokens. Diese Vorgänge sind wichtig, um Textdaten für Algorithmen im Bereich der künstlichen Intelligenz zugänglich zu machen. Beispiel: Tokenizer von OpenAI

Entwickler arbeiten daran, die Techniken zur Optimierung der Tokenverarbeitungsgeschwindigkeit, die Gesamtperformance von Large Language Models (LLMs) wie GPT-4 zu verbessern. Es wird erwartet, dass zukünftige Tokenisierungsmethoden größere Datensätze effizienter verarbeiten können. So ist die Bewältigung von immer umfangreicheren und komplexeren Aufgaben möglich.

Beschreibung:

  • Wort-Tokens: Repräsentieren ganze Wörter. Beispiele sind „Sprache“, „Modell“ und „AI“.
  • Teilwort-Tokens: Werden für Teile von Wörtern verwendet, insbesondere in Sprachen, in denen Wörter in kleinere, bedeutungsvolle Einheiten aufgeteilt werden können.
  • Satzzeichen-Tokens: Stellen Satzzeichen wie Kommas, Punkte oder Fragezeichen dar.
  • Spezielle Tokens: Finden Anwendung in spezifischen Kontexten, zum Beispiel um den Beginn oder das Ende eines Textes zu markieren oder für unbekannte Wörter innerhalb der Trainingsdaten.

Token & Tokens (KI/AI) für Handwerker:

  • Verarbeitungsbegrenzungen beim Einsatz von Sprachmodellen: Beim Verfassen von Handwerkstexten, beispielsweise mit ChatGPT, kann das Modell nur eine bestimmte Anzahl von Tokens verarbeiten. Sobald die zur Verfügung stehende maximale Token-Länge überschritten wird, kann das Modell auf die ältesten Inhalte nicht mehr zugreifen. Es „vergisst“ also den Kontext zu den stattgefundenen Eingaben. Entwickler veröffentlichen daher Informationen zu den Token-Beschränkungen ihrer Modelle. Das bietet Handwerksunternehmen eine Orientierung, um sich über die Grenzen zu informieren.
  • Abrechnung über Tokens bei etwa API-Nutzung: Handwerksunternehmen, die über eine API-Schnittstelle mit einem Large Language Model arbeiten, sollten beachten, dass die Plattformen den Verbrauch über Tokens abrechnen. Wie das Tokensystem des jeweiligen Modells funktioniert, wird von den Plattformen genaustens beschrieben. Beispiel: Token Preisliste OpenAI.
Automation Intelligence im Handwerk - Glossareintrag
Lexikon für künstliche Intelligenz und Automation - Glossar für Handwerker und Handwerksbetriebe
Handwerk transformieren durch Artificial Intelligence und Automation Intelligence

Webinar Release KI im Handwerk

Du hast eine Frage?