Runway、動画から学習したロボット行動モデル「Praxis-1」をApache 2.0ライセンスでオープン化

生成動画ツールで知られるRunwayが、ロボット制御モデルPraxis-1の重みをApache 2.0ライセンスで公開した。11月11日の発表は、同社が9月に初の「world action model（世界行動モデル）」として予告していた取り組みを具体化するものだ。これは、動画を見ることで世界がどう動くかを学習し、その理解をもとに機械アームを制御するモデルである。

生成動画からロボットの動作へ

発想の出発点はシンプルだ。実機ロボットのデータは希少で収集コストが高いが、通常の動画なら豊富に存在する。そこでRunwayは、自社の動画生成モデルであるMoE拡散トランスフォーマーをベースにし、人間の手やロボットが作業する動画で再学習させた。テクニカルレポートにはそのアーキテクチャが詳述されている。シーンの続きを予測・生成する動画ネットワークと、その予測を読み取って実行すべき動作を導き出す小規模な「action expert（行動エキスパート、約3億1400万パラメータ）」で構成される。モデルは呼び出されるたびに、指示文、最新のカメラ画像、ロボットの姿勢を受け取り、1.6秒分の動作（15Hzで24コマンド）を出力する。

全体で272億パラメータを備え、動画部分でトークンあたりアクティブなのは約28億パラメータであり、80GBのGPU1基（bf16で54.4GB）に収まる。H100上では、1回の呼び出しにかかる時間は約0.55〜0.6秒であり、生成される動作時間の3分の1程度で済む。

公開された内容

ライセンスは商用利用を含め、重み、推論コード、そしてフルまたはLoRAによるファインチューニング用コードをカバーしている。Hugging Face上には、LeRobotのネイティブサポートとともに3つのチェックポイントが公開された。Frankaアーム向けにファインチューニングされた版（DROIDデータセット）、双腕ロボットYAM向け版、そして独自のハードウェアに適応させるためのベースモデルだ。Runwayはポリシーサーバー、MuJoCoシミュレーション、vLLM-Omniへの統合も提供している。開発元によれば、モデルはH100からRTX 5090、さらには組み込みモジュールのJetson Thorに至るNVIDIA製GPUで動作する。また、4ビット量子化版（NVFP4、17.5GB）も公開予定と発表している。

慎重に読むべき測定数値

Runwayは、NVIDIAのRoboLab-120ベンチマークにおいて、Praxis-1がシミュレーション上のタスク成功率46.2%を記録し、Black Forest LabsのFLUX 3 Action（42.9%）を抑えて「world action model」およびオープンモデルの首位に立ったとしている。ただしレポート自体が認めているように、上位には先端モデルを用いた2つのエージェントと2つのプロプライエタリモデルを含む4つのエントリーが存在する。実機のFrankaアームでは、FLUX 3 Actionの80回に対し、同社は100回中88回の成功を報告している。

最も際立つ比較は、同一ステーション上で同じ双腕ロボットYAMを制御させたGPT-6 Astraとの対決だ。Runwayによると、タスク完了速度は15.6倍速く、成功タスクあたりのコストは51分の1に抑えられたという。もっとも、これらの測定はわずか3つのタスクを対象にしたものであり、開発元自身の手によるものだ。レポートには弱点も挙げられている。ターゲットに似た別の物体を掴んでしまうことや、曖昧な指示への対応の難しさ、一度に提示された複数ステップの連続処理における不備などが報告されている。