Границы доказательств оценки

Что можно доказать

• Официальное определение задачи и границы наблюдений можно проверить по официальному репозиторию.
• Публичные справочные решения действительно содержат документы по поиску, навигации, фиксации концевым эффектором и классификации Task B; это проверяется по ссылкам на GitHub.
• Сторонняя камера окружения хорошо помогает наблюдать общее поведение, но не относится ко входам политики.
• Показатели близости, касания и контакта полезны для локализации неисправностей.

Что нельзя доказать только этими данными

• Один снимок с камеры окружения не доказывает, что политика использовала только допустимые сенсоры.
• То, что робот подошёл к объекту, не доказывает, что объект захвачен.
• Закрытие захвата не доказывает, что объект удерживается.
• Кратковременное перемещение объекта не доказывает, что он попал в мусорную корзину.
• Наличие демонстрационного кода во внешнем репозитории не доказывает его итоговый результат или то, что полный цикл подтверждён официальным оценщиком.

Минимальный набор доказательств полного успеха

1. Версия официального runner и оценщика прослеживаема.
2. Входы политики в журналах выполнения приходят только из допустимых observation.
3. После закрытия захвата объект поднимается вместе с концевым эффектором и удерживается.
4. Объект доставлен к мусорной корзине и отпущен.
5. После отпускания объект удовлетворяет официальному критерию размещения.
6. Сохранены исходные видео, пошаговые журналы, seed и официальный балл.