Ant Group傘下のRobbyant、ロボットハンド向けオープン触覚モデル「LingBot-Touch」を公開

ロボットの視覚能力はますます向上しているが、接触したものを感じる能力は依然として不十分である。Ant Group傘下でロボティクスに特化するRobbyantは、触覚のための基盤モデルLingBot-Touchを発表した。重みはApache 2.0ライセンスの下でHugging FaceおよびModelScope上で公開され、11月9日に開設されたGitHubリポジトリにて推論コードが提供されている。

3系統のセンサーを単一の表現へ

LingBot-Touchが取り組む課題は極めて実践的である。人工皮膚には複数の技術が存在し、それぞれ互換性のない信号を出力する。磁気式センサーは3軸の力を測定し、ピエゾ抵抗式は圧力を、視覚触覚式は小型カメラで捉えた変形を捉える。ロボットハンドごとに搭載されるセンサーは異なり、あるハンドで蓄積したデータは別のハンドでは活かしにくい。

本モデルはセンサーの種類ごとにトークナイザを使用し、JEPAの手法で学習させた共有Transformerへと送る。この手法では、空間的・時間的なコンテキストから潜在空間内で触覚信号のマスクされた領域を予測することを学習する。出力として「位置情報」（時刻、指、位置）を保持したトークンが提供され、アクションモデルから読み取ることが可能になる。なお、リポジトリではこれらのトークンを単に平均化するのではなく、アテンションを用いて取得することを推奨している。各トークンには、すでに他の指や別の時点から得られた情報が統合されているためである。

実環境の26タスクで向上を発表

Beijing Business Todayが引用したRobbyantの説明によると、本モデルは約5,000時間の実触覚データで事前学習され、Sharpa WaveおよびXHand1という2種類のロボットハンドを用いて26のタスク（ページめくり、ボトルのキャップ開け、麻雀牌の認識など）でテストされたという。LingBot-Touchを4つのアクションモデル（LingBot-VLA、π0.5、Diffusion Policy、T-Rex）に接続したところ、触覚を用いない場合と比べて平均成功率が14〜26ポイント向上したとされる。強調された事例として、キャップ開けの成功率は触覚なしの56.25%からLingBot-Touchの表現を用いることで90%に達し、未加工の信号を直接入力した場合の62.5%をも上回った。これらの数値は同社の発表によるものである。

実際にオープン化された範囲

今回の公開対象は、固定されたエンコーダとその設定であり、TinyとSmallの2サイズが用意されている。GitHubリポジトリには推論コード、SharpaおよびXHandハンド用のアダプタ、他のセンサー向けのリサンプリング用コード、ならびに120件のサンプルファイルが含まれる。一方で、学習コードやタスクヘッドは公開されておらず、重みのダウンロードには承認済みのアカウントが必要となる。研究機関にとっては、触覚表現を抽出して独自のハンドでテストするには十分だが、モデルの再学習を行うには至らない。