Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

Стандарты реального физического контакта и доказательств

Критерии приёма видео

Эпизод захвата и укладки попадает в обучающий набор или в публичный результат только тогда, когда одновременно выполнены все условия:

  1. Открытый захват приближается к предмету, и кончики пальцев или поверхности захвата реально касаются предмета.
  2. После сжатия захвата поза предмета меняется вместе с подъёмом робота, а не устанавливается скриптом и не привязывается к руке.
  3. На этапе переноса предмет остаётся в ограничении захвата без проникновения, телепортации, полёта или следования за траекторией скрипта.
  4. После укладки захват разжимается, а предмет остаётся в целевой зоне.
  5. Видео, пошаговый журнал, конечная поза предмета и вывод об успехе согласованы между собой.

Что нужно сохранять

episode/
├── video_*.mp4              # не менее одного ракурса, на котором видны всё тело, цель и контейнер
├── keyframes.*              # ключевые кадры: подход, контакт, сжатие, подъём, перенос, укладка
├── steps.jsonl              # действие, этап, временная метка и краткая сводка наблюдений на каждом шаге
├── summary.json             # вывод об успехе, ошибка конечной позы и причина сбоя
├── config.yaml              # сцена, seed случайности, параметры управления
└── README.md                # команды запуска и границы доказательств

Если данные созданы учителем с истинными значениями, в summary.json нужно явно указать observation_source=oracle_teacher (учитель с истинными наблюдениями). Если использованы собственные камеры робота, нужно записать имя камеры, временную метку кадра и преобразование системы координат.

Типичные ложные успехи

  • bootstrap_object_follow=true (предмет следует за рукой): такой прогон позволяет проверить формат данных, но это не захват с контактом.
  • Прямое изменение позы предмета: можно получить красивое конечное состояние, но это не физический успех.
  • Записаны только траектории руки: нет данных о камере, захвате и предмете, поэтому замкнутый цикл не проверяется.
  • Есть только reward (награда): награда может означать лишь сближение, завершение этапа или ветку скрипта, но не то, что предмет уложен.
  • Есть только короткое видео: нельзя понять, не было ли телепортации или разрыва контакта посередине.

Ворота для обучающих данных

Перед попаданием в набор данных рекомендуется пройти четыре проверки:

  • проверка воспроизведения траектории: исходные действия воспроизводятся в той же среде;
  • физическая проверка: высота, поза предмета и состояние контакта соответствуют реальному контакту;
  • проверка видео: на каждом кадре нет телепортации, проникновения, чёрных кадров и пропусков ключевых этапов;
  • проверка протокола: во входах политики нет мировых координат, результатов оценщика и внешних камер.