LiberAI ha presentato Liber-0, un modello mondiale di azione progettato per trasferire ai robot l’esperienza umana nella manipolazione. La startup con sede a Pechino afferma che il modello è stato preaddestrato su oltre 2,2 milioni di ore di esperienza umana, combinando video, movimenti delle mani registrati con guanti e apprendimento che tiene conto delle differenze tra i corpi umani e quelli robotici.

LiberAI ha testato Liber-0 su 60 compiti proposti da GPT-6, che comprendevano attività di presa e posizionamento, altre attività di manipolazione e attività multi-fase più impegnative. In 600 prove, ha registrato un tasso di successo complessivo del 36%. I tassi di successo sono stati del 63,5% per le attività di presa e posizionamento, del 34,0% per le altre attività di manipolazione e del 10,5% per quelle impegnative.

La valutazione è stata descritta come zero-shot perché il checkpoint non era stato addestrato su dimostrazioni robotiche raccolte appositamente per quei compiti specifici. Tuttavia, il preaddestramento includeva dati robotici. Tra gli esempi inclusi nella serie di test c’erano mettere una penna in un astuccio, chiudere un cassetto e inserire una penna in una custodia prima di riporre quest’ultima in un cassetto.

LiberAI afferma che il modello apprende da video ordinari prevedendo i fotogrammi futuri insieme alle azioni e utilizzando anche registrazioni con guanti e robot che contengono misurazioni dei movimenti. Il suo sistema LiberSense Glove acquisisce i movimenti delle mani, mentre una rappresentazione dell’incarnazione fornisce al modello informazioni sulla forma del corpo e sul movimento delle articolazioni, per aiutarlo ad adattare le azioni a piattaforme diverse.

In un esperimento distinto, le dimostrazioni robotiche coprivano azioni di presa e posizionamento, mentre le registrazioni con i guanti aggiungevano azioni come piegare, premere e aprire. Il punteggio di avanzamento per le attività diverse dalla presa e dal posizionamento è salito da 2,2 con i soli dati robotici a 47,5 dopo l’aggiunta dei dati dei guanti, e a 54,6 quando il set dei guanti comprendeva anche attività di presa e posizionamento. Una policy addestrata su dimostrazioni robotiche per tutte le azioni ha ottenuto un punteggio di 56,3. Questi risultati provengono da una valutazione distinta, non dal test sui 60 compiti.

Un altro esperimento ha esaminato se le registrazioni con i guanti potessero ridurre la quantità di dati robotici necessari. In una valutazione su otto compiti, una policy che utilizzava il 25% dell’insieme di dimostrazioni robotiche e tutto l’insieme dei guanti ha ottenuto 75,6 nella misura dell’avanzamento, rispetto a 72,8 per una policy che utilizzava l’intero insieme robotico. In questa configurazione, la policy mista utilizzava il 75% in meno di dimostrazioni robotiche, continuando però a usare l’intero dataset dei guanti.

LiberAI ha inoltre riferito che il suo checkpoint preaddestrato ha ottenuto punteggi di avanzamento pari a 81,4 per le attività di presa e posizionamento e a 72,3 per le altre attività di manipolazione nei benchmark interni. Il post-addestramento robotico ha portato questi punteggi rispettivamente a 83,6 e 73,8.

L’azienda ha dichiarato che il sistema di guanti attualmente registra le pose e le traiettorie delle mani, ma non il contatto o la forza. Ha indicato il rilevamento tattile e della forza, oltre alla raccolta di dati in una gamma più ampia di abitazioni, come futuri ambiti di ricerca.

Fonti: The Robot Report.