tactile pretraining for vision-language-action models上級
Tianxing Chen, Wenwei Lin, Chuqiao Lyu, Peicheng Xiang, Junyuan Tang, Tian Nian, Zijian Cai, Kehe Ye, Chenze Yu, Wenxuan Zhu, Eric J. Chen, Yan Qin, Yue Chen, Tongyu Wu, Junhao Gong, Kai-Chong Lei, Jiahao Zhang, Kailun Su, Qiwei Liang, Renjing XuXspark AI, Tsinghua University, MMLab at the University of Hong Kong, HKUST (Guangzhou), Peking University
中国スタートアップのXspark AIと清華大学、香港大学MMLab、香港科技大学(広州)、北京大学の研究者は、人が触覚グローブを着けて物を扱う1000時間分のデータを集め、ロボット操作モデルの事前学習に使った。このプレプリントでは、テスト時に触覚センサーがなくても未知のヒューマノイド・ベンチマークの成功率が52.5%から71.7%に上がり、実機の接触作業では最強の触覚ベースラインを16ポイント上回った。