Robbyant (Ant Group) publie LingBot-Touch, un modèle de toucher ouvert pour les mains de robots

Les robots voient de mieux en mieux, mais sentent encore mal ce qu’ils touchent. Robbyant, la filiale d’Ant Group consacrée à la robotique, publie LingBot-Touch, un modèle de fondation pour le toucher, avec ses poids sous licence Apache 2.0 sur Hugging Face et ModelScope, et le code d’inférence dans le dépôt GitHub ouvert le 9 novembre.

Trois familles de capteurs, une seule représentation

Le problème que vise LingBot-Touch est très concret : il existe plusieurs technologies de peau artificielle, qui produisent des signaux incompatibles. Les capteurs magnétiques mesurent des forces sur trois axes, les piézorésistifs une pression, les visuotactiles une déformation vue par une petite caméra. Chaque main de robot arrive avec les siens, et les données accumulées sur l’une servent mal à l’autre.

Le modèle utilise un tokeniseur par type de capteur, puis un Transformer partagé entraîné à la façon JEPA : il apprend à prédire, dans un espace latent, des morceaux masqués du signal tactile à partir de leur contexte dans l’espace et dans le temps. En sortie, il fournit des jetons qui gardent leur « adresse » (instant, doigt, position) et peuvent être lus par un modèle d’action. Le dépôt conseille d’ailleurs d’interroger ces jetons par attention plutôt que d’en faire une simple moyenne, car chaque jeton mélange déjà des informations venues d’autres doigts et d’autres instants.

Des gains annoncés sur 26 tâches réelles

Selon Robbyant, cité par le Beijing Business Today, le modèle a été pré-entraîné sur près de 5 000 heures de données tactiles réelles, puis testé sur 26 tâches avec deux mains robotiques, la Sharpa Wave et la XHand1 : tourner une page, dévisser un bouchon, reconnaître des tuiles de mahjong. Brancher LingBot-Touch sur quatre modèles d’action (LingBot-VLA, π0.5, Diffusion Policy et T-Rex) aurait relevé leur taux de réussite moyen de 14 à 26 points par rapport à l’absence de toucher. Exemple mis en avant : dévisser un bouchon passe de 56,25 % sans toucher à 90 % avec la représentation de LingBot-Touch, contre 62,5 % en donnant directement les signaux bruts. Ces chiffres sont ceux de l’entreprise.

Ce qui est vraiment ouvert

La publication couvre l’encodeur figé et sa configuration, en deux tailles (Tiny et Small). Le dépôt GitHub y ajoute le code d’inférence, des adaptateurs pour les mains Sharpa et XHand, du code pour rééchantillonner d’autres capteurs et 120 fichiers d’exemples. En revanche, ni le code d’entraînement ni les têtes de tâches ne sont publiés, et il faut un compte autorisé pour télécharger les poids. Pour un laboratoire, c’est assez pour extraire des représentations tactiles et les tester sur sa propre main ; pas pour réentraîner le modèle.