Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

Требования соревнования и границы задач

Направления задач

На публичной странице FCloud OmniBot 2026 указаны три направления:

  1. Самостоятельная навигация гуманоидного робота с обходом препятствий: планирование маршрута в сложной среде, обход препятствий и движущихся людей, прохождение нескольких промежуточных точек и возврат в начало.
  2. Уборка стола: распознавание и захват предметов на столе, укладка их в указанные зоны по правилам.
  3. Визуальное понимание и понимание естественного языка: использовать только собственные камеры робота, чтобы отвечать на вопросы о предметах и окружении.

Официальный алгоритм использует Isaac Sim (симулятор роботов) версии 5.0 и выше и Isaac Lab (фреймворк для обучения роботов) версии 2.0 и выше. Робот — по выбору Unitree G1 или Agibot G2; полноценные гуманоидные роботы получают повышающий коэффициент. Камеры ограничены собственными камерами робота: внешние камеры для прямого наблюдения за сценой не допускаются.

Границы оценки уборки стола

В публичных правилах сказано: предмет считается помещённым в нужную зону, если ошибка положения не превышает ±5 см, а ошибка ориентации — ±10°; рандомизация предметов должна выполняться через Replicator (инструмент рандомизации сцены). При отправке также требуются итоговый результат, журнал запуска, промежуточные выходы, шаги воспроизведения и полное видео инференса.

Это значит, что подходящее решение уборки стола должно одновременно обладать:

  • наблюдением с собственных камер робота;
  • распознаванием целей и оценкой их трёхмерной позы;
  • достижимой, безопасной от столкновений и непрерывной траекторией руки или всего тела;
  • захватом и отпусканием при реальном контакте в PhysX (физический движок);
  • проверкой конечной позы;
  • видео, журналами и конфигурациями, которые можно проверить.

Что не относится к допустимым входам

Следующее можно использовать для офлайн-отладки или генерации учебных данных, но нельзя выдавать за входы политики соревнования:

  • мировые координаты предметов, истинные значения суставов и функция успеха;
  • внешние камеры или сцену с внешнего вида;
  • установка позы предмета прямо в целевую зону;
  • прикрепление предмета к руке или скриптовое следование предмета за рукой;
  • логика ложного успеха, которая меняет статистику, но не физическое состояние.

Истинная поза (GT, ground truth) может использоваться, чтобы проверить, работают ли планирование и управление контактом сами по себе, но её нужно явно пометить в журнале как oracle_teacher (учитель с истинными значениями). Чтобы такой запуск был допущен к формальной оценке политики, истинную позу нужно заменить на собственную камеру робота.

Окружения

ОкружениеНазначениеМожно ли засчитывать как результат FCloud
FCloud OmniBotцелевое окружение соревнования и среда для итоговой отправкида, с соблюдением официального регламента
Официальный Isaac Lab от Unitreeпроверка интерфейса G1, Dex1, камер, сбора данных через Quest и задачного интерфейса Unitreeнет, не заменяет сцену FCloud
CAPX/B1Kнавигация в домашней среде, разбиение задач и справочное управление R1Proнет, не заменяет сцену FCloud
SIMPLEсправочные синтетические данные и конечный автомат для управления G1 всем теломнет, не заменяет сцену FCloud
Пример захвата фруктов в MuJoCoминимальный пример двухпалого захвата, времени действий и физического контактанет, не заменяет окружение Isaac Sim соревнования