Glossareintrag
Wir denken. KI tippt mit.
Edge-KI (englisch Edge AI, auch On-Device-KI) ist Künstliche Intelligenz, die direkt auf dem Gerät rechnet, statt in einem Cloud-Rechenzentrum. Das Smartphone übersetzt ein Gespräch ohne Internetverbindung, die Überwachungskamera erkennt selbst, ob eine Person oder nur eine Katze durchs Bild läuft. Die Inferenz, also der laufende Betrieb des trainierten KI-Modells, findet dabei am „Rand“ des Netzwerks statt (englisch Edge), dort, wo die Daten entstehen.
Edge Computing ist der Oberbegriff für jede dezentrale Datenverarbeitung nahe der Datenquelle, mit oder ohne KI. Edge-KI ist die Teilmenge, bei der ein KI-Modell am Netzwerkrand arbeitet, etwa in einer Fabrikkamera oder auf einem kleinen Rechner neben der Maschine. On-Device-KI bezeichnet den engsten Fall: Hier läuft das KI-Modell komplett auf dem Endgerät selbst, also im Smartphone oder Notebook. Für KI auf winzigen Mikrocontrollern, z. B. in batteriebetriebenen Sensoren, hat sich ergänzend der Begriff TinyML eingeschlichen.
Die Arbeitsteilung bleibt fast immer gleich. Trainiert wird das Modell in großen Rechenzentren, anschließend wird es verkleinert und auf das Gerät kopiert, wo es nur noch angewendet wird. Reine Edge-KI und reine Cloud-KI sind seltener als die Mischform. Apple Intelligence u. a. entscheidet bei jeder Anfrage, ob das Modell auf dem iPhone ausreicht oder ob die Anfrage an Apples eigene KI-Server (Private Cloud Compute) geht.
Den Rechenaufwand stemmen spezialisierte KI-Chips, die NPUs (Neural Processing Units). Eine NPU ist wie eine GPU auf viele parallele Rechenoperationen ausgelegt, arbeitet aber deutlich sparsamer, was in Akku-Geräten den Ausschlag gibt. Gemessen wird ihre Leistung in TOPS, Billionen Rechenoperationen pro Sekunde (Tera Operations Per Second). Microsoft verlangt laut seiner Entwickler-Doku zu NPU-Geräten für Copilot+-PCs eine NPU mit mindestens 40 TOPS. Qualcomms Notebook-Chip Snapdragon X Elite liefert 45 TOPS, der Nachfolger X2 Elite bereits 80. Apples M4-Chip erreicht mit seiner Neural Engine 38 Billionen Operationen pro Sekunde.
Auf dem Gerät laufen nicht die großen Cloud-Modelle, sondern extra verkleinerte. Apples kleinstes lokales Sprachmodell hat rund 3 Milliarden Parameter, Spitzenmodelle in der Cloud kommen auf hunderte Milliarden. Googles Mobilmodell Gemma 3n begnügt sich laut der offiziellen Gemma-3n-Ankündigung mit 2 bis 3 Gigabyte Arbeitsspeicher, und Microsoft positioniert seine Phi-Familie ausdrücklich für den Betrieb auf KI‑PCs. Geschrumpft werden die Modelle vorwiegend durch Quantisierung, die jede gespeicherte Zahl mit weniger Bits ablegt, und durch Destillation, bei der ein kleines Modell vom großen lernt.
Im Tagesgeschäft steckt On-Device-KI bereits in allen großen Geräteplattformen. Apple führt Zusammenfassungen von Mails und Nachrichten nach eigenen Angaben vollständig auf dem iPhone aus. Die Live-Übersetzung von Anrufen läuft laut der Apple-Ankündigung vom Juni 2025 ebenfalls komplett auf dem Gerät. Google lässt Gemini Nano auf Pixel-Smartphones laufen. Das Modell fasst dort etwa Sprachaufnahmen in der Rekorder-App zusammen. Copilot+-PCs übersetzen mit ihren Live-Untertiteln Ton aus mehr als 40 Sprachen ins Englische, laut Microsofts deutscher Hilfeseite auch ohne Internetverbindung. Samsung bietet auf Galaxy-Smartphones einen Schalter, der die Datenverarbeitung auf das Gerät beschränkt und alle Cloud-KI-Funktionen abschaltet.
In der Industrie hat Edge-KI einen festen Platz. Siemens bindet über seine Industrial-Edge-Plattform KI-Anwendungen wie visuelle Qualitätskontrolle und vorausschauende Wartung direkt an Produktionslinien an. Nvidia verkauft mit der Jetson-Reihe komplette Edge-Computer für Roboter und Maschinen, und für Prototypen gibt es KI-Aufsteckplatinen für den Bastelrechner Raspberry Pi mit 13 oder 26 TOPS. Marktforscher von BCC Research erwarten ein Wachstum des Edge-KI-Markts von 11,8 Milliarden US-Dollar im Jahr 2025 auf 56,8 Milliarden US-Dollar bis 2030. Je nach Marktabgrenzung fallen andere Schätzungen noch deutlich höher aus.
Lokale Modelle bleiben allerdings schwächer als die Spitzenmodelle der Cloud, weil Speicher und Rechenleistung des Geräts das Maximum vorgeben. Intensive KI-Nutzung kostet auf Smartphones spürbar Akku und erzeugt Wärme. Zusätzlich kommt das Update-Problem, denn eine verbesserte Modellversion muss auf Millionen Geräte verteilt werden, während ein Cloud-Modell zentral aktualisiert wird.
Das nützlichste Edge-KI-Gerät liegt oft schon in Ihrer Tasche. Pixel-Smartphones transkribieren Sprachaufnahmen komplett auf dem Gerät. Ein diktiertes Baustellenprotokoll wird also auch im Keller oder im Funkloch zu Text. iPhones übersetzen Nachrichten und Anrufe lokal, Samsung-Geräte dolmetschen Telefonate mit heruntergeladenen Sprachpaketen ebenfalls offline. Für Betriebe mit fremdsprachigen Kunden oder Kollegen ist das ein Alltagswerkzeug ohne Zusatzkosten.
Der zweite Nutzen ist der Datenschutz. Bei On-Device-Verarbeitung verlassen Kundendaten das Gerät nicht. Es gibt keinen Cloud-Anbieter als Mitleser und keine Übermittlung in Drittstaaten. Wer Kundengespräche aufzeichnet, benötigt weiterhin deren Einwilligung, und auch lokal verarbeitete Daten bleiben personenbezogene Daten im Sinne der DSGVO.
Edge-KI steckt auch in Geräten, die Betriebe ohnehin anschaffen. Überwachungskameras von Reolink oder Ubiquiti erkennen Personen und Fahrzeuge direkt auf der Kamera, ohne Cloud-Abo. Der Alarm für Lagerplatz oder Baustelle löst dann bei Besuchern aus, statt bei jedem Ast im Wind. Husqvarnas Mähroboter mit AI-Vision-Kamera klassifizieren Hindernisse am Gerät und halten etwa von Igeln Abstand, für Garten- und Landschaftsbauer ein Argument im Kundengespräch.
Zum Ausprobieren am eigenen Rechner braucht es keine Spezial-Hardware. Mit dem kostenlosen Programm LM Studio läuft ein kleines Sprachmodell über eine grafische Oberfläche auf einem normalen Büro-PC mit 16 Gigabyte Arbeitsspeicher, ganz ohne Cloud-Konto. Ein Copilot+-Notebook bringt seine lokalen KI-Funktionen ab Werk mit. Welche das sind, steht im Glossareintrag zu Microsoft Copilot.
