Der Transformer hat nicht jede Machine-Learning-Technik ersetzt — Gradient Boosting gewinnt weiterhin Tabellen-Leaderboards, Model Predictive Control läuft weiter in Fabriken — aber er wurde das Standard-Backbone für Repräsentationslernen, wo große Datensätze und parallele Rechenleistung zusammenpassen. Vision, Sprache, Code und multimodale Modelle teilen nun eine Architektur-Familie: Self-Attention über Sequenzen, Pretraining in großem Maßstab, dann Fine-Tuning. Diese Konsolidierung erklärt, warum es so wirkt, als hätten Transformer Machine Learning „aufgefressen“, obwohl klassische Pipelines nie verschwunden sind.
Warum LLMs Transformer fast sofort adoptierten
Sprache war der perfekte erste Kunde. Das Trainingskorpus existierte bereits — Webtext, Bücher, Code — ohne erforderliche Umgebung. Die Zielfunktion ist einfach: das nächste Token vorhersagen. Jeder Trainingsschritt ist embarrassingly parallel über Sequenzen; kein Physik-Engine blockiert den Backward Pass. Skalierungsgesetze von Kaplan et al. und später Chinchilla machten Compute-Ausgaben vorhersagbar: mehr Parameter und mehr Tokens, im Gleichgewicht, verbessern zuverlässig den Loss. LLM-Training ist Offline-Batch-Lernen auf eingefrorenen Korpora. Diese Datenökonomie machte die Transformer-Revolution zuerst für alle sichtbar.
Warum Robotik hinterherhinkte: Physik und paralleles Training
Robotik-Reinforcement-Learning ist ein anderes Problem. Policies lernen aus Interaktion, nicht aus einem vorgefertigten Korpus. Jeder Umgebungsschritt hängt von Physik, Kontakt, Aktuatorgrenzen und Sensorrauschen ab. Sample-Effizienz ist brutal: klassische Algorithmen wie PPO brauchen Millionen von Übergängen. Echte Roboter können diesen Durchsatz nicht liefern; Teleoperation ist langsam und teuer.
Jahrelang war der Bottleneck Infrastruktur, nicht Modellarchitektur. Die traditionelle Schleife — CPU-Physik-Simulator, Beobachtungen auf GPU kopieren, kleine MLP-Policy trainieren, Aktionen zurückkopieren — begrenzt, wie viel Erfahrung Sie generieren können. Isaac Gym (2021) zeigte, was passiert, wenn die gesamte Schleife auf der GPU bleibt: Physik-Buffer füttern PyTorch-Tensoren direkt, ermöglichen zehntausende parallele Umgebungen und etwa zwei bis drei Größenordnungen schnelleres Training bei Continuous-Control-Aufgaben. Robotik hatte kein fehlendes Interesse an Deep Learning; sie hatte nicht die parallele Datenfabrik, die LLMs standardmäßig genossen.
Simulationsschleifen, die Praktiker bereits kennen
Die konzeptionelle Schleife ist vertraut für jeden, der Agenten in einem Simulator trainiert hat. Dylan Engelbrecht schrieb Introduction to Unity ML-Agents rund um Unity ML-Agents — ein Toolkit für Reinforcement Learning in Unity-Simulationen, kein Games-only-Gimmick. Fertigungslayouts, Warehouse-Digital Twins, prozedurale Umgebungen und Forschungsszenen teilen denselben Trainingsvertrag: Episode-Reset, Beobachtungstensoren, Reward-Signale, Policy-Update. ML-Agents lehrt Ingenieure, in Schleifen zu denken — Simulation-Ticks und Trainingsepisoden — statt in Einmal-Skripten. Die Lücke für Robotik in Transformer-Maßstab war Durchsatz: Game- und Forschungssims auf CPU-Physik erreichen selten die parallelen Umgebungszahlen, die große Policy-Netze praktikabel machen.
Isaac Lab schließt die Durchsatz-Lücke
Isaac Lab ist der offene modulare Stack, den NVIDIA als Nachfolger von Isaac Gym positioniert — GPU-beschleunigtes Robot-Learning auf Isaac Sim mit paralleler Rigid-Body- und Deformable-Physik (PhysX), Tiled Rendering, Domain Randomization und fertigen Trainingsumgebungen für Manipulation und Lokomotion. Das Designziel ist Datacenter-Skalen-RL und Imitation Learning: tausende Umgebungen pro GPU, Cloud-Deployment und ein Pfad zur Integration mit der differenzierbaren Newton-Physik-Engine für gradientenbasierte Ansätze. Das ist die fehlende Schicht zwischen „wir haben Transformer-Architekturen“ und „wir können sie auf Robot-Daten trainieren“.
Seien Sie präzise bei Determinismus. Isaac-Gym-Autoren bemerken, dass voll deterministische Rollouts unter mancher Runtime-Randomization und GPU-Scheduling-Reihenfolge brechen können — Floating-Point-Reihenfolge über tausende parallele Env kann divergieren. High-Throughput, GPU-residente Simulation ist der Gewinn; bit-exakte Reproduzierbarkeit in jedem contact-reichen Szenario ist noch schwer. Sim-to-Real-Transfer, Sicherheitszertifizierung und Hardware-Varianz bleiben Downstream-Probleme. Schnelle Sim löscht sie nicht, aber sie ändert, was wirtschaftlich trainierbar ist.
Transformer dringen bereits in Robotik ein
Robotik ignorierte Transformer nicht — sie adoptierte sie später und mit kleineren Datenbudgets. RT-1 skalierte eine Transformer-Policy auf große reale Demonstrationsdatensätze. RT-2 co-fine-tuned Vision-Language-Modelle auf Robot-Trajektorien und behandelte Aktionen als Tokens, damit Web-Skalen-Visual-Priors auf Kontrolle transferieren. Diffusion- und Flow-Policies fügen einen weiteren Pfad hinzu: Aktions-Chunks mit High-Capacity-Sequenzmodellen generieren. Die Verzögerung ist Tempo und Skala relativ zu Sprache, nicht Abwesenheit der Architektur.
Robotik-Foundation-Modelle folgen wahrscheinlich
Die Konvergenz ist unkompliziert. Transformer liefern Kapazität und Transfer; GPU-Sim liefert Erfahrungs-Durchsatz; Demonstrationsdatensätze und Teleoperation liefern Verankerung in physischen Aufgaben. Zusammen spiegeln sie die LLM-Formel — breit pretrainen, pro Embodiment oder Aufgabe spezialisieren — angewendet auf Closed-Loop-Kontrolle statt Next-Token-Vorhersage.
Robotik-Foundation-Modelle folgen wahrscheinlich: universelle Vision-Language-Action-Policies und sim-pretrainierte Controller, die auf echte Robot-Logs fine-tunen — analog dazu, wie Chat-Modelle von einer Text-Foundation fine-tunen. Ein „massiver Boom“ ist nicht kalendermäßig garantiert — Hardwarekosten, Sicherheit und Sim-to-Real-Lücken begrenzen Deployment weiter — aber der Training-Bottleneck verschiebt sich von „können wir genug RL fahren?“ zu „können wir diverse, hochwertige Interaktionsdaten kuratieren?“ Wenn parallele Sim günstig ist, werden Transformer-Policies rational statt exotisch.
Für Builder, die Games, Simulation und Physical AI verbinden: das mentale Modell, das Sie bereits in ML-Agents oder Isaac Lab nutzen — Schleifen, Rewards, parallele Rollouts — ist dasselbe Modell, das Foundation-Robot-Policies brauchen werden. Der Unterschied ist Skala. Sprachmodelle gewannen zuerst, weil die Daten bereits auf der Festplatte lagen. Robotik baut die Datenfabrik jetzt.