# Warum Sprachmodelle zuerst skalierten — und Robotik-Foundation-Modelle wahrscheinlich folgen

*2026-08-15* — Transformer prägten Machine Learning, wo statische Daten und Batch-Parallelität zusammenpassen. Robotik hinkte bei physikgebundenem RL hinterher — bis GPU-native Sim-Stacks wie Isaac Lab Transformer-Skalierung plausibel machen.

URL: https://dylanengelbrecht.dev/de/insights/transformers-robotics-foundation-models.html

Der Transformer hat nicht jede Machine-Learning-Technik ersetzt — Gradient Boosting gewinnt weiterhin Tabellen-Leaderboards, Model Predictive Control läuft weiter in Fabriken — aber er wurde das Standard-Backbone für Repräsentationslernen, wo große Datensätze und parallele Rechenleistung zusammenpassen. Vision, Sprache, Code und multimodale Modelle teilen nun eine Architektur-Familie: Self-Attention über Sequenzen, Pretraining in großem Maßstab, dann Fine-Tuning. Diese Konsolidierung erklärt, warum es so wirkt, als hätten Transformer Machine Learning „aufgefressen“, obwohl klassische Pipelines nie verschwunden sind.

### Warum LLMs Transformer fast sofort adoptierten

Sprache war der perfekte erste Kunde. Das Trainingskorpus existierte bereits — Webtext, Bücher, Code — ohne erforderliche Umgebung. Die Zielfunktion ist einfach: das nächste Token vorhersagen. Jeder Trainingsschritt ist embarrassingly parallel über Sequenzen; kein Physik-Engine blockiert den Backward Pass. Skalierungsgesetze von Kaplan et al. und später Chinchilla machten Compute-Ausgaben vorhersagbar: mehr Parameter und mehr Tokens, im Gleichgewicht, verbessern zuverlässig den Loss. LLM-Training ist Offline-Batch-Lernen auf eingefrorenen Korpora. Diese Datenökonomie machte die Transformer-Revolution zuerst für alle sichtbar.

### Warum Robotik hinterherhinkte: Physik und paralleles Training

Robotik-Reinforcement-Learning ist ein anderes Problem. Policies lernen aus Interaktion, nicht aus einem vorgefertigten Korpus. Jeder Umgebungsschritt hängt von Physik, Kontakt, Aktuatorgrenzen und Sensorrauschen ab. Sample-Effizienz ist brutal: klassische Algorithmen wie PPO brauchen Millionen von Übergängen. Echte Roboter können diesen Durchsatz nicht liefern; Teleoperation ist langsam und teuer.

Jahrelang war der Bottleneck Infrastruktur, nicht Modellarchitektur. Die traditionelle Schleife — CPU-Physik-Simulator, Beobachtungen auf GPU kopieren, kleine MLP-Policy trainieren, Aktionen zurückkopieren — begrenzt, wie viel Erfahrung Sie generieren können. Isaac Gym (2021) zeigte, was passiert, wenn die gesamte Schleife auf der GPU bleibt: Physik-Buffer füttern PyTorch-Tensoren direkt, ermöglichen zehntausende parallele Umgebungen und etwa zwei bis drei Größenordnungen schnelleres Training bei Continuous-Control-Aufgaben. Robotik hatte kein fehlendes Interesse an Deep Learning; sie hatte nicht die parallele Datenfabrik, die LLMs standardmäßig genossen.

### Simulationsschleifen, die Praktiker bereits kennen

Die konzeptionelle Schleife ist vertraut für jeden, der Agenten in einem Simulator trainiert hat. Dylan Engelbrecht schrieb Introduction to Unity ML-Agents rund um Unity ML-Agents — ein Toolkit für Reinforcement Learning in Unity-Simulationen, kein Games-only-Gimmick. Fertigungslayouts, Warehouse-Digital Twins, prozedurale Umgebungen und Forschungsszenen teilen denselben Trainingsvertrag: Episode-Reset, Beobachtungstensoren, Reward-Signale, Policy-Update. ML-Agents lehrt Ingenieure, in Schleifen zu denken — Simulation-Ticks und Trainingsepisoden — statt in Einmal-Skripten. Die Lücke für Robotik in Transformer-Maßstab war Durchsatz: Game- und Forschungssims auf CPU-Physik erreichen selten die parallelen Umgebungszahlen, die große Policy-Netze praktikabel machen.

### Isaac Lab schließt die Durchsatz-Lücke

Isaac Lab ist der offene modulare Stack, den NVIDIA als Nachfolger von Isaac Gym positioniert — GPU-beschleunigtes Robot-Learning auf Isaac Sim mit paralleler Rigid-Body- und Deformable-Physik (PhysX), Tiled Rendering, Domain Randomization und fertigen Trainingsumgebungen für Manipulation und Lokomotion. Das Designziel ist Datacenter-Skalen-RL und Imitation Learning: tausende Umgebungen pro GPU, Cloud-Deployment und ein Pfad zur Integration mit der differenzierbaren Newton-Physik-Engine für gradientenbasierte Ansätze. Das ist die fehlende Schicht zwischen „wir haben Transformer-Architekturen“ und „wir können sie auf Robot-Daten trainieren“.

Seien Sie präzise bei Determinismus. Isaac-Gym-Autoren bemerken, dass voll deterministische Rollouts unter mancher Runtime-Randomization und GPU-Scheduling-Reihenfolge brechen können — Floating-Point-Reihenfolge über tausende parallele Env kann divergieren. High-Throughput, GPU-residente Simulation ist der Gewinn; bit-exakte Reproduzierbarkeit in jedem contact-reichen Szenario ist noch schwer. Sim-to-Real-Transfer, Sicherheitszertifizierung und Hardware-Varianz bleiben Downstream-Probleme. Schnelle Sim löscht sie nicht, aber sie ändert, was wirtschaftlich trainierbar ist.

### Transformer dringen bereits in Robotik ein

Robotik ignorierte Transformer nicht — sie adoptierte sie später und mit kleineren Datenbudgets. RT-1 skalierte eine Transformer-Policy auf große reale Demonstrationsdatensätze. RT-2 co-fine-tuned Vision-Language-Modelle auf Robot-Trajektorien und behandelte Aktionen als Tokens, damit Web-Skalen-Visual-Priors auf Kontrolle transferieren. Diffusion- und Flow-Policies fügen einen weiteren Pfad hinzu: Aktions-Chunks mit High-Capacity-Sequenzmodellen generieren. Die Verzögerung ist Tempo und Skala relativ zu Sprache, nicht Abwesenheit der Architektur.

### Robotik-Foundation-Modelle folgen wahrscheinlich

Die Konvergenz ist unkompliziert. Transformer liefern Kapazität und Transfer; GPU-Sim liefert Erfahrungs-Durchsatz; Demonstrationsdatensätze und Teleoperation liefern Verankerung in physischen Aufgaben. Zusammen spiegeln sie die LLM-Formel — breit pretrainen, pro Embodiment oder Aufgabe spezialisieren — angewendet auf Closed-Loop-Kontrolle statt Next-Token-Vorhersage.

Robotik-Foundation-Modelle folgen wahrscheinlich: universelle Vision-Language-Action-Policies und sim-pretrainierte Controller, die auf echte Robot-Logs fine-tunen — analog dazu, wie Chat-Modelle von einer Text-Foundation fine-tunen. Ein „massiver Boom“ ist nicht kalendermäßig garantiert — Hardwarekosten, Sicherheit und Sim-to-Real-Lücken begrenzen Deployment weiter — aber der Training-Bottleneck verschiebt sich von „können wir genug RL fahren?“ zu „können wir diverse, hochwertige Interaktionsdaten kuratieren?“ Wenn parallele Sim günstig ist, werden Transformer-Policies rational statt exotisch.

Für Builder, die Games, Simulation und Physical AI verbinden: das mentale Modell, das Sie bereits in ML-Agents oder Isaac Lab nutzen — Schleifen, Rewards, parallele Rollouts — ist dasselbe Modell, das Foundation-Robot-Policies brauchen werden. Der Unterschied ist Skala. Sprachmodelle gewannen zuerst, weil die Daten bereits auf der Festplatte lagen. Robotik baut die Datenfabrik jetzt.