FailBank, 런타임 CBF 피드백을 LoRA 정책 개선으로 바꾸는 4단계 자기진화 프레임워크
FailBank는 런타임 CBF 교정 신호를 관찰 전용으로 수집해 VLA 정책을 LoRA로 반복 개선하는 프레임워크다. VLA-Arena 정적 장애물 평가에서 π0.5 백본 기준 평균 성공률을 66.0%에서 74.5%로 8.5%p 높이고 정책 유발 누적 비용을 35.6% 줄였다. 런타임 차폐 AEGIS와 비교하면 성공률을 25.4%p 높였으며, 이 연구는 프리프린트이고 실물 로봇 실험은 보고되지 않았다.
런타임 안전 교정 신호를 학습 기록으로 바꿔 VLA 정책을 스스로 개선할 수 있는가?
복잡한 조작 환경에서 VLA 정책은 과업 성공과 비의도적 접촉 비용을 동시에 관리해야 한다. 런타임 차폐는 개별 행동만 고치고 정책을 바꾸지 않아 정책과 차폐 간 불일치가 반복되고, 좁은 공간에서는 반복 개입이 과업 완수를 막는 실패로 이어진다.
기존 런타임 차폐인 AEGIS는 시각 기반 CBF로 실행 전 행동을 투영해 안전 비용을 줄이지만 명목 정책은 고정되어 같은 행동 충돌이 반복된다. SafeVLA와 SAFE 같은 학습 기반 안전 적응도 있으나 런타임 교정을 지속적 정책 감독으로 바꾸지는 못했다.
FailBank는 4단계 자기진화 루프를 쓴다. 수집 단계에서 고정 CBF 교사가 관찰 전용으로 반사실 교정 제안을 기록하고 정책은 원래 행동을 실행한다. 결과 인지 선별은 유용한 교정 제안을 목표로 삼고, 성공한 무교정 행동을 조용한 앵커로 보존한다. 이 기록을 은행에 누적한 뒤 새 LoRA 어댑터를 학습하고, 홀드아웃 흐름 손실과 1차 행동 드리프트가 임계값을 넘지 않을 때만 수용한다. 배포 시에는 교사나 특권 기하 정보 없이 RGB와 고유감각만 사용한다.
VLA-Arena 정적 장애물 벤치마크의 Level 1과 Level 2, 10개 과제에서 π0.5와 π0 백본을 평가했다. π0.5 기준 평균 성공률은 66.0%에서 74.5%로 8.5%p, π0 기준 47.5%에서 54.4%로 6.9%p 올랐다. 정책 유발 누적 비용은 π0.5에서 47.76에서 30.76으로 35.6%, π0에서 10.62에서 8.09로 23.8% 줄었다. AEGIS와 비교하면 평균 성공률은 π0.5에서 49.1%에서 74.5%로 25.4%p, π0에서 44.9%에서 54.4%로 9.5%p 높았고 정책 유발 누적 비용은 비슷했다. 성공률과 비용이 기준 정책보다 동시에 개선된 과제 백본 조합은 FailBank가 8개, AEGIS가 3개였다.
저자는 연속 흐름 매칭 정책에만 구현했고 정적 장애물만 다뤘다고 밝혔다. 동적 장애물에는 시간적 예측과 교사 보정이 추가로 필요하다. VLA-Arena 시뮬레이션 평가만 보고되었고 실물 로봇 실험은 논문에 없다.
물류 피킹, 가정용 매니퓰레이터, 협동 로봇 등 VLA 기반 조작 시스템에서 런타임 안전 교정을 정책 개선으로 축적하려는 기업에 적용 가능하다. 다만 흐름 매칭 VLA와 수집 단계의 특권 기하 정보, 홀드아웃 가드 검증이 필요해 당장 생산 배포보다는 1년에서 3년 내 안전 강화형 VLA 파이프라인에 쓸 수 있다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.