Transformerが機械学习のすべてを置き換えたわけではありません——グラディエントボースティングはテーブルで上位、モデル予測制御は工場で動き続けます——しかし大規データと並列計算が合うという表現学習のデフォルトのバックボーンになりました。視覚、言語、コード、マルチモーダルは同じアーキテクチャファミリを共有します:シーケンス上の自注意力、大規前学習、細調整。この統合が「TransformerがMLを食べた」と感じる理由ですが、統のパイプラインは消えていません。
LLMがすぐにTransformerを採用した理由
言語は最初の完璧なクライアントでした。訓練コーパスはすでに存在します——ウェブ文本、書籍、コード——环境は不要です。目標は簡単で、次のtokenを予測すること。各訓練ステップはシーケンス上で庚例的に並列化します。反伝パスは物理エンジンに阻まれません。Kaplan等のスケール定法とその後のChinchillaが計算投入を予測可能にしました。LLM訓練は凍結コーパス上のオフラインバッチ学習です。このデータ経済学が、すばやにTransformer革命を見せたのです。
ロボットイクが遅れた理由:物理と並列訓練
ロボット強化学習は異なる問題です。ポリシーは交互から学び、事前收集コーパスからではありません。各环境ステップは物理、接触、アクチュエータ限畊、センサノイズに依存します。サンプル効率は残酷で、PPO等は数千万の転移を要します。実ロボットはそのスルーットを提供できません。
数年間、ボトルネックはインフラで、モデルアーキテクチャではありませんでした。CPU仿真、GPUへの観測コピー、小型MLPポリシー訓練、動作のコピーバック——この伝統ループは生成可能な経験量を制限します。Isaac Gym(2021)はループ全体がGPU上にあると何が変わるかを示しました。物理バッファがPyTorch张量に直接飼らせ、数万の並列环境と連続制御タスクで約2–3倍の速い訓練を実現します。
実践者がすでに知る仿真ループ
仿真内でエージェントを訓練した人にはこのループは熟熟しいものです。Dylan EngelbrechtはIntroduction to Unity ML-Agentsを書き、Unity ML-Agentsを囲んでいます——Unity仿真内で強化学習するツールキットで、ゲーム限定の新見ではありません。製造レイアウト、仓庫デジタルツイン、プロシージャル环境、研究シーンは同じ訓練契約を共有します。ML-Agentsはループで考えることを教えます——仿真tickと訓練エピソード——一回性スクリプトではありません。Transformer規模のロボットイクでの缺けはスルーットで、CPU物理のゲーム・研究仿真は大型ポリシーネットを実用化する並列环境数に達しにくいです。
Isaac Labがスルーット缺を埋める
Isaac LabはNVIDIAがIsaac Gymの継承として展開するオープンモジュールスタックです——Isaac Sim上でのGPU加速ロボット学習、並列刚体・可変形物理(PhysX)、タイルドレンダリング、操作・運動用の訓練準備済み环境を提供します。データセンター規模のRLと模仿学習が目標で、GPU当たり数千环境、クラウド配置、可微分Newton物理エンジンへの統合パスを持ちます。
確定性には正確に言いましょう。Isaac Gymの著者は、運用時ランダム化やGPUスケジューリングで完全確定性が失われる場手があると指示しています。高スルーットのGPU住在仿真が得で、接触多いすべてのシーンでビット精密な再現はまだ難しいです。
Transformerはすでにロボットイクに入っている
RT-1、RT-2など、Transformerは遅れて、より小さなデータバジェットで採用されています。遅れは言語に対するペースとスケールで、アーキテクチャの缺如ではありません。
ロボットファンダメンタルモデルが続く可性が高い
Transformerが容量と転移を、GPU仿真が経験スルーットを、演示データと遠操作が物理タスクにの錨を提供します。組み合わせるとLLMの式——広く前学習し、エンボディメントやタスクで細調整——が閉ループ制御に適用されます。
ロボットファンダメンタルモデルが続く可性は高いです。大爆発がカレンダー上で保証されるわけではありませんが、訓練のボトルネックは「足すのRLを走らせるか”から「多様で高質な交互データをカーレットできるか”に移っています。
ゲーム、仿真、フィジカルAIを跨ぐビルダーに:ML-AgentsやIsaac Labですでに使っているループのメンタルモデルが、ファンダメンタルロボットポリシーにも必要です。差はスケール。言語モデルが先に勝ったのは、データがすでにディスクにあったからです。ロボットイクは今、データ工場を建設中です。