LiberAI a présenté Liber-0, un modèle d’Action du monde conçu pour transférer aux robots l’expérience humaine en matière de manipulation. La start-up basée à Pékin indique que le modèle a été préentraîné sur plus de 2,2 millions d’heures d’expérience humaine, en combinant des vidéos, des mouvements de la main enregistrés par des gants et un apprentissage qui tient compte des différences entre les corps humains et robotiques.

LiberAI a testé Liber-0 sur 60 tâches proposées par GPT-6, couvrant la prise et le placement d’objets, d’autres types de manipulation ainsi que des activités plus difficiles comportant plusieurs étapes. Sur 600 essais, le modèle a enregistré un taux de réussite global de 36 %. Les taux de réussite étaient de 63,5 % pour les tâches de prise et de placement, de 34,0 % pour les autres tâches de manipulation et de 10,5 % pour les tâches difficiles.

L’évaluation a été qualifiée de « zéro-shot », car le point de contrôle n’avait pas été entraîné sur des démonstrations robotiques collectées spécifiquement pour les tâches cibles. Son préentraînement comprenait toutefois des données robotiques. Parmi les exemples de la série de tests figuraient le fait de mettre un stylo dans une trousse, de fermer un tiroir et de placer un stylo dans une pochette avant de ranger celle-ci dans un tiroir.

LiberAI indique que le modèle apprend à partir de vidéos ordinaires en prédisant les images futures en parallèle des actions, tout en utilisant également des enregistrements réalisés avec des gants et des robots, qui contiennent des données de mouvement mesurées. Son système LiberSense Glove capture les mouvements de la main, tandis qu’une représentation de l’incarnation fournit au modèle des informations sur la forme du corps et les mouvements des articulations afin de l’aider à adapter ses actions à différentes plateformes.

Lors d’une expérience distincte, les démonstrations robotiques couvraient des actions de prise et de placement, tandis que les enregistrements réalisés avec des gants ajoutaient des actions telles que plier, appuyer et ouvrir. Le score de progression pour les tâches autres que la prise et le placement est passé de 2,2 avec les seules données robotiques à 47,5 après l’ajout des données des gants, puis à 54,6 lorsque l’ensemble de données des gants incluait également des tâches de prise et de placement. Une politique entraînée sur des démonstrations robotiques pour chaque action a obtenu un score de 56,3. Ces résultats proviennent d’une évaluation distincte, et non du test portant sur 60 tâches.

Une autre expérience a examiné si les enregistrements réalisés avec des gants pouvaient réduire la quantité de données robotiques nécessaire. Lors d’une évaluation portant sur huit tâches, une politique utilisant 25 % du corpus de démonstrations robotiques et l’intégralité du corpus de données des gants a obtenu un score de 75,6 selon la mesure de progression, contre 72,8 pour une politique utilisant l’intégralité du corpus robotique. Dans cette configuration, la politique mixte utilisait 75 % de démonstrations robotiques en moins, tout en continuant à exploiter l’ensemble complet des données des gants.

LiberAI a également indiqué que son point de contrôle préentraîné avait obtenu des scores de progression de 81,4 pour les tâches de prise et de placement et de 72,3 pour les autres tâches de manipulation lors de tests internes. Le post-entraînement robotique a porté ces scores respectivement à 83,6 et à 73,8.

L’entreprise a précisé que le système de gants enregistre actuellement les poses et les trajectoires des mains, mais pas les contacts ni les forces. Elle a cité la détection tactile et des forces, ainsi que la collecte de données dans un éventail plus large de foyers, parmi les futurs axes de recherche.

Sources: The Robot Report.