XGenAct: 교차 태스크 생성으로 기하 정보를 강화한 월드 액션 모델
이 논문은 arXiv에 공개된 프리프린트다. XGenAct는 RGB 관측, 로봇 행동, 계량 깊이, 표면 법선, 기능 역할 분할을 결정적 코덱으로 RGB 비디오로 변환해 하나의 비디오 확산 트랜스포머와 하나의 목적함수로 학습하는 월드 액션 모델이다. 학습에 포함되지 않은 RLBench 과제 5종에서 평균 폐루프 성공률 52%를 기록해 평가된 외부 정책 중 가장 높은 26%를 크게 웃돌았고, 구조적 인식 생성을 추가하면 RGB 단독 학습 대비 평균 성공률이 최대 28.75%포인트 올랐다.