FCloud OmniBot 2026: разбор после соревнования и открытый архив
В этом каталоге описаны открытые правила, разбиение окружений, план планирования и сбора данных для соревнования FCloud OmniBot 2026 по воплощённому ИИ, а также воспроизводимые инженерные наблюдения после соревнования. Соревнование уже завершено. Каталог не утверждает, что существует чемпионское решение, и не выдаёт диагностические видео или проверки интерфейса обучения за официальный результат.
Главные выводы
- Основное окружение соревнования — сцена FCloud OmniBot в Isaac Sim (симулятор роботов) / Isaac Lab (фреймворк для обучения роботов). Результаты CAPX/B1K или Unitree (официальное окружение Unitree) нельзя выдавать за результаты в этой среде.
- Задачи включают самостоятельную навигацию гуманоидного робота с обходом препятствий, уборку стола и визуальное понимание с natural language. Уборка стола требует реального захвата, переноса и укладки, а итог определяется ошибкой положения предметов и видеодоказательствами.
- Линия SIMPLE (фреймворк синтетических данных и конечных автоматов) с захватом G1 всем телом (наклон, захват, укладка) показывает, что маршрут «конечный автомат + планирование + реальный физический контакт + запись с нескольких камер» работает для генерации данных. Но это справочный материал для переноса, а не итоговый результат FCloud.
- Пример захвата фруктов в MuJoCo (физический симулятор) реально выполнил захват, подъём, перенос и укладку с физическим контактом; это минимальный учебный пример для двухпалого захвата и проверки видео. Он не относится к роботу соревнования или к его сцене.
- Цепочка сбора данных Unitree G1 Dex1 (версия G1 с двухпалым захватом) со шлемом Quest 3 (виртуальная реальность) запускалась: подключение, синхронизация и запись состояния проходили, но полный задачный сценарий соревнования не был подтверждён как стабильно успешные данные.
- Загрузка окружения CAPX/B1K, исправление хешей, LLM-агент и навигация у стола проверялись по отдельности; предварительный захват рукой и полный задачный эпизод не образовали действительного успешного эпизода.
Оглавление
| Содержание | Вход |
|---|---|
| Задачи соревнования, ограничения наблюдений и границы оценки | 01 Требования соревнования и границы задач |
| Связь FCloud, CAPX/B1K, Unitree и SIMPLE | 02 Три линии окружений и стратегия воспроизведения |
| Контроль реального физического контакта, видео и качества данных | 03 Стандарты реального физического контакта и доказательств |
| Проверенные результаты и причины сбоев | 04 Разбор после соревнования и границы воспроизведения |
| Публикация, загрузка и безопасная очистка | 05 Публичная публикация и очистка локальных файлов |
| Пояснение к лёгкому коду | code/README |
| Внешние проекты и границы лицензий | references/README |
Публичные ресурсы
- Учебник на GitHub: datawhalechina/every-embodied
- Архив на Hugging Face (платформа для моделей и данных): Datawhale/fcloud-omnibot-2026-reproducibility
- Официальный сайт соревнования: FCloud OmniBot 2026
Репозиторий на Hugging Face хранит более крупные снимки исходного кода, публичные манифесты, репрезентативные видео и записи экспериментов; на GitHub хранятся только учебные материалы, лёгкий код и границы воспроизведения. Пути, токены, пароли, закрытые адреса, кеши окружения, веса моделей и неразрешённые ассеты роботов не входят в публичные материалы.
Правила чтения результатов
В этом каталоге результаты разделены на три класса:
- Доказательства физического успеха: на видео видно контакт пальцев с предметом, предмет поднимается вместе с захватом, переносится и укладывается, а структурированные метрики соответствуют картинке.
- Доказательства инженерной цепочки: окружение, камера, интерфейс управления, формат данных или самооценка уже работают, но это не означает успешного выполнения задачи.
- Нерешённые проблемы: в логе или видео ясно видно сбой планирования, столкновение с опрокидыванием, отсутствие захвата или непрошедшую оценку.
Сначала смотрите видео и summary.json (структурированная сводка), и только потом читайте текстовые выводы. Нельзя признавать захват успешным только потому, что координаты предмета изменил скрипт, reward (значение награды) ненулевой или видео сгенерировалось без ошибок.