RoboCasa-Shift:英伟达GR00T N1.5在强模糊下成功率从73.8%跌至0
复旦大学牵头的团队在预印本中提出RoboCasa-Shift基准,报告英伟达GR00T N1.5在仿真中四项长程家务任务的成功率为73.8%,但在最强图像模糊下降至0,其他测试中相互抵消的结果翻转掩盖了真实敏感度。轻度相机偏转时成功率不变,但80组配对中有8组结果改变。
单一成功率能否说明VLA策略在条件变化下如何失效、在长程任务的哪一步开始失败?
VLA鲁棒性通常只报告扰动前后的一个成功率,看不出是否同一批回合失败、失败与成功是否相互抵消,以及机器人是在第一步还是最后一步出错。
LIBERO变体、RoboCasa等基准对场景施加扰动并报告总体成功率,很少把每次扰动运行与完全相同的干净运行配对,也很少追踪长程任务的子目标完成到哪一步。
RoboCasa-Shift基于RoboCasa365,每次只改变一个因素(光照、外部相机朝向、机器人底盘初始位姿、高斯模糊),各设三档强度。每次扰动运行都与其余设置相同的干净运行配对,按成功到成功、成功到失败、失败到成功、失败到失败分类,并由阶段追踪器读取仿真状态记录任务进度。
只有GR00T N1.5通过作者的基础能力门槛,在四项厨房长程任务上每个条件跑80组配对,干净成功率0.738。高斯模糊三档下成功率为0.550、0.225和0(降幅0.188、0.513、0.738),最高档出现59次成功到失败、0次失败到成功。底盘初始位姿扰动降幅为0.075、0.150、0.263,水槽冲洗任务降幅达0.55。相机朝向一档无变化、二档降0.188、三档反而只降0.138。光照变化为0.012、负0.025、0.025,均在误差内,但二档有12组结果翻转;相机一档则是4次成功变失败、4次失败变成功,净变化为零。
仅一个策略、四项任务、全部在仿真中完成,作者不主张跨模型结论,也未做真机验证。阶段标签来自经审核的仿真谓词,而非官方标注。每条件80组,小效应置信区间较宽。除GR00T N1.5外无策略通过门槛,本身也反映当前VLA在长程任务上的可靠性。
对英伟达及基于GR00T开发的企业,论文指出图像模糊(如镜头脏污、失焦)可让强模型归零,且总体成功率可能掩盖不稳定行为。智元、银河通用等国产具身智能企业及集成商在评估VLA模型时,应要求逐回合配对测试而非单一数字。方法可立即使用,结论尚待真机验证。
受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。