智元AGIBOT今日宣布，由香港大學(xué)、智元AGIBOT、復(fù)旦大學(xué)和上海創(chuàng)智學(xué)院組成的聯(lián)合研究團隊提出了WholeBodyVLA，這是一種面向真實世界的人形機器人全身Vision–Language–Action框架。該框架基于智元靈犀X2研究發(fā)布，將VLA擴展至雙足人形機器人的全身控制，并在全身loco-manipulation任務(wù)中驗證了其可行性。WholeBodyVLA通過從第一視角人類視頻中學(xué)習(xí)移動與操作的潛在動作表示，解決了真機數(shù)據(jù)稀缺的問題，并提升了運動執(zhí)行中的穩(wěn)定性。

研究團隊在智元靈犀X2人形機器人上進(jìn)行了大量真機實驗，發(fā)現(xiàn)WholeBodyVLA具備大范圍、長程移動操作任務(wù)的能力，并且展現(xiàn)出距離泛化性、操作泛化性和地形泛化性。該框架能夠從不同位置出發(fā)，完成目標(biāo)物體處的操作任務(wù)，對不同場景、物體、位置表現(xiàn)出操作泛化性，并能在干擾地形上保持基本準(zhǔn)確的移動方向和平衡。WholeBodyVLA為雙足人形機器人自主全身控制提供了可行路徑，使機器人能夠在真實世界中穩(wěn)定完成行走與操作交織的長時序任務(wù)。