MEKAWIRE
전문가arXiv

AFTER-WM, 빠른 보정과 오래 남는 기억으로 동역학 변화에 대응

Haoyi Zhang, Qi Zhang, Yunfan Ren, Yi Bin, Lei Zhu, Heng Tao Shen
30초 요약

프리프린트 논문은 로봇의 동역학 변화에 대응하는 월드 모델 AFTER-WM을 제안했다. 빠르게 사라지는 보정과 유지되는 보정, 예측 오차에 따른 전문가 가중치 조정을 결합해 시뮬레이션 데이터셋 5개에서 가장 강한 비교 모델보다 다단계 평균 예측 오차를 16.4%에서 33.7% 낮췄으며, 하중 변화나 구동기 고장 이후 계획의 정확도를 높일 가능성을 보였다.

연구 질문

월드 모델이 지속적인 동역학 변화에는 빠르게 반응하고 일시적인 교란에는 흔들리지 않으면서, 추가 관측 없는 예측 구간에서도 적응 결과를 유지할 수 있는지가 연구 질문이다.

문제

로봇이 알 수 없는 하중을 들거나 마찰과 구동기 상태가 바뀌면 기존에 학습한 동역학이 맞지 않게 된다. 관측 없이 자신의 예측을 다음 입력으로 사용하는 동안 오차가 누적돼 행동 계획을 왜곡한다. 적응을 빠르게 하면 짧은 충격도 지속적인 변화로 오인하기 쉽고, 보정을 빨리 지우면 실제 변화에 대한 적응까지 사라진다.

기존 접근

TD-MPC2에는 동역학 변화를 식별하는 전용 장치가 없으며, DreamerV3-style RSSM은 순환 상태를 갱신하지만 명시적인 동역학 적응 기능은 부족하다. GrBAL과 MOLe는 모델 파라미터를 조정하고 ReBAL은 최근 이력을 활용하지만, 단일 적응 시간척도에 의존해 반응성과 안정성이 충돌한다. MTS3는 빠른 변수와 느린 변수를 나누지만 느린 변수를 고정 간격으로 갱신해 변화 대응이 늦어진다.

새 접근

AFTER-WM은 사전 학습한 MLP 동역학 전문가 3개와 오차 기반 기억을 결합했다. 전문가와 라우터를 먼저 학습한 뒤 고정하고, 보정망과 기억 갱신망을 학습했다. 추론 시에는 경사 갱신 없이 예측 오차로 전문가 가중치, 감쇠하는 빠른 상태, 불확실성을 반영하는 느린 상태를 바꾼다. 매 예측마다 기억을 초기화하고 문맥 64스텝으로 재구성한다. 예측 구간 40스텝(2 s)에서는 전문가 가중치와 느린 상태를 유지하고 빠른 상태만 감쇠시킨다. 비교에 사용한 신경망 모델의 파라미터 수는 약 0.70M이다.

결과

MuJoCo 데이터셋 5개에서 학습 시드 5개로 비교 모델 10개를 평가했다. 다단계 평균 nMSE는 JSHC에서 0.124로 ReBAL의 0.166보다 25.7%, ESCP-HC에서 0.208로 ReBAL의 0.249보다 16.4% 낮았다. Panda는 0.0473으로 MOLe의 0.0711보다 33.5%, UR5e는 0.0435로 ReBAL의 0.0641보다 32.1%, Hopper는 0.0499로 MOLe의 0.0752보다 33.7% 낮았다. 이 지표는 학습 데이터로 표준화한 상태의 오차를 사용하며, 예측 길이 1, 5, 10, 20, 40까지의 누적 평균 오차를 다시 평균한다. 40번째 스텝 오차도 같은 비교 모델보다 21.9%에서 41.9% 낮았다. 실제 UAV 비행 기록인 ALFA에서는 시드 4개로 예측을 평가해 가장 가까운 비교 모델 MOLe보다 오차가 13.1% 낮았다. JSHC 관절 고장 제어 시뮬레이션에서는 동일한 cross-entropy-method 계획기를 사용하고 시드 5개와 시험 에피소드 48개로 평가했으며, 평균 수익 93.1로 MOLe를 13.8 앞섰다.

한계

폐루프 제어 평가는 시뮬레이션의 관절 고장 과제 하나에 한정됐다. 실제 환경 검증은 고정익 UAV의 기록된 비행 상태 예측이며 실시간 제어 실험은 아니다. 입력은 영상이 아닌 수치 상태이며, 영상 관측과 실물 로봇 적용은 후속 과제이다. 기억을 매 예측마다 유한한 문맥에서 재구성하므로 확인된 유지 능력은 예측 구간 안에서의 유지이며 무기한 온라인 학습은 아니다. 코드와 데이터 공개를 예고했지만 논문에서 공개 완료는 확인되지 않았다. 추론 지연과 연산 비용은 논문에 보고되지 않았다.

업계 영향

로봇 팔 통합업체, 적응 제어 솔루션 업체, UAV 자율비행 개발사는 지금 상태 추정값과 행동 이력을 제공하는 연구용 계획 시스템에서 이 방식을 검토할 수 있다. 제품 적용에는 실물 하드웨어의 폐루프 제어 검증, 신뢰할 수 있는 상태 관측, 허용 가능한 실행 비용이 필요하다. 상용화 시점은 논문에 보고되지 않았다.

이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.