Jenseits von Reward Hacking: Proxy-Divergenz in vier Ebenen einer gestuften Humanoid-Lernpipeline
Das Paper ist ein Preprint und entwickelt einen formalen Rahmen, der neben dem Reward auch Curriculum-Gates, Evaluationsstatistiken und Referenzbewegungen als Proxys analysiert. Die Autoren zeigen an einer simulierten, 1,91 m großen Humanoid-Policy, die über vier Stufen und 13.500 Iterationen mit PPO auf einer Laptop-GPU trainiert wurde, dass etwa ein über gemittelten Fehler getriggertes Gate bei jeder Prüfung vorrückte, obwohl die geprüfte Fähigkeit fehlte, und dass ein synchronisierter Pushtest einen 0,5-m/s-Stoß als gefährlicher einstufte als einen 2,0-m/s-Stoß. Für jede Ebene werden konkrete Reformulierungen vorgeschlagen, die ohne zusätzliches Training auskommen.