LiberAI apresenta o Liber-0, um modelo robótico treinado com mais de 2,2 milhões de horas de experiência humana

A LiberAI apresentou o Liber-0, um modelo de ação do mundo projetado para transferir a experiência humana de manipulação para robôs. A startup sediada em Pequim afirma que o modelo foi pré-treinado com mais de 2,2 milhões de horas de experiência humana, combinando vídeos, movimentos das mãos registrados por luvas e aprendizado que leva em conta as diferenças entre corpos humanos e robóticos.

A LiberAI testou o Liber-0 em 60 tarefas propostas pelo GPT-6, abrangendo pegar e colocar, outras tarefas de manipulação e atividades mais desafiadoras com várias etapas. Em 600 tentativas, o modelo registrou uma taxa geral de sucesso de 36%. As taxas de sucesso foram de 63,5% nas tarefas de pegar e colocar, 34,0% em outras tarefas de manipulação e 10,5% nas tarefas desafiadoras.

A avaliação foi descrita como zero-shot porque o checkpoint não havia sido treinado com demonstrações de robôs coletadas especificamente para essas tarefas-alvo. No entanto, o pré-treinamento incluiu dados de robôs. Entre os exemplos da bateria de testes estavam colocar uma caneta em um estojo, fechar uma gaveta e pôr uma caneta em uma bolsa antes de guardar a bolsa em uma gaveta.

Segundo a LiberAI, o modelo aprende com vídeos comuns prevendo quadros futuros juntamente com ações, e também utiliza gravações de luvas e robôs que contêm movimentos medidos. O sistema LiberSense Glove captura os movimentos das mãos, e uma representação de incorporação fornece ao modelo informações sobre o formato do corpo e o movimento das articulações, ajudando-o a adaptar ações a diferentes plataformas.

Em um experimento separado, as demonstrações de robôs abrangeram ações de pegar e colocar, enquanto as gravações com luvas acrescentaram ações como dobrar, pressionar e abrir. A pontuação de progresso para tarefas que não envolviam pegar e colocar subiu de 2,2, com apenas dados de robôs, para 47,5 após a inclusão de dados de luvas e para 54,6 quando o conjunto de dados das luvas também incluía ações de pegar e colocar. Uma política treinada com demonstrações de robôs para todas as ações obteve 56,3 pontos. Esses resultados vieram de uma avaliação separada, não do teste com 60 tarefas.

Outro experimento examinou se as gravações com luvas poderiam reduzir a quantidade de dados de robôs necessária. Em uma avaliação com oito tarefas, uma política que utilizava 25% do conjunto de demonstrações de robôs e todo o conjunto de dados das luvas obteve 75,6 pontos na medida de progresso, em comparação com 72,8 pontos de uma política que usava o conjunto completo de dados de robôs. Nesse cenário, a política mista utilizou 75% menos demonstrações de robôs, mas ainda usou o conjunto completo de dados das luvas.

A LiberAI também informou que seu checkpoint pré-treinado alcançou pontuações de progresso de 81,4 para tarefas de pegar e colocar e de 72,3 para outras tarefas de manipulação em benchmarks internos. O pós-treinamento com robôs elevou essas pontuações para 83,6 e 73,8, respectivamente.

A empresa afirmou que, atualmente, o sistema de luvas registra as poses e trajetórias das mãos, mas não o contato nem a força. Identificou a detecção tátil e de força, assim como a coleta de dados em uma gama mais ampla de residências, como futuras direções de pesquisa.

Fontes: The Robot Report.