visuo-tactile world models上級
ACTS:人の手による4.9時間の操作データだけで学習した触覚世界モデル、既存手法を最大2dB上回る(MIT)
MIT、ハーバード大、ワシントン大、UCバークレー、スタンフォード大の研究チームはプレプリントで、人がGelSight触覚センサーを手に持って物体を押し引きした4.9時間分のデータだけで学習した世界モデルが、同じデータでゼロから学習した2つの視触覚モデルより0.5秒先の場面をPSNRで0.7~2.0dB正確に予測したと報告した。追加学習なしでロボットに適用すると、予測した触覚の接触痕は実際の接触に合わせて現れ消えたが、カメラ映像の予測は対象物により差が出た。