Глубокое обучение и обучение с подкреплением в воплощённых сценах

В этом разделе собраны учебные руководства по воспроизведению обучения с подкреплением, имитационного обучения и глубокого обучения в воплощённых сценах. Рекомендуем сначала разобраться в границах задач и симуляционных платформах, а затем переходить к конкретному коду и командам обучения.

Разделы

• Кооперативная переноска объектов гуманоидами (CooHOI): введение в совместную переноску гуманоидными роботами.
• Воспроизведение HIMLoco для четырёхногих роботов в Isaac Lab: от понимания статьи и диагностики старого стека Isaac Gym до smoke test на новом стеке Isaac Lab.
• Воспроизведение AGILE для гуманоидов: локомоция и манипуляции: понимание рабочего процесса AGILE, границ официальных задач, локальных видео в Isaac Sim 5.1 и цепочки оценки.
• Robots That Know What to Ask: восстановление рассогласованной награды: как ASQ по дисперсии признаков находит недоопределённые критерии и с помощью объяснений на естественном языке получает целевые демонстрации.
• Open Duck Mini и Microduck: обучение с подкреплением для двуногих роботов: различие двух поколений «утят», загрузка ассетов URDF/STL, обучение походки и удара по мячу с PPO, экспорт ONNX, инференс на RDK и MuJoCo WebAssembly.
• SMP: переиспользуемое априорное распределение движений на основе score matching: как диффузионные априорные распределения движений становятся наградой PPO через SDS, ESM, адаптивную нормализацию и GSI; исходный MimicKit и учебное воспроизведение для Unitree G1.
• UniCross: унифицированная связь навыков для ловкого манипулирования: как связать захват, перемещение, поворот и перенос в руке через единую постановку задачи с отношениями «рука — объект» и дистилляцию DAgger.

Рекомендуемый порядок

Если вы только начинаете изучать обучение с подкреплением для роботов, сначала посмотрите главу о HIMLoco: там объясняются базовые идеи проприоцепции, привилегированного критика и переноса из симуляции в реальность. Затем попробуйте Open Duck Mini / Microduck — это более компактная двуногая задача с понятными ассетами и командами. После этого перейдите к SMP, чтобы понять, как замороженную диффузионную модель движений превратить в повторно используемую награду за движение. Далее изучите UniCross, чтобы увидеть, почему единая постановка задачи позволяет одной политике совместно работать с несколькими контактными навыками. В конце рассмотрите AGILE: там разобраны полный конфигурационный конвейер гуманоидов, дистилляция teacher-student, отчёты оценки и проверка в MuJoCo.

Если вас интересуют VLA, посттренировка моделей мира или обучение по демонстрациям людей, то после ASQ (Robots That Know What to Ask) особенно полезно рассмотреть проблему рассогласования награды, неполноту признаков и исправление награды с участием человека.