Разбор после соревнования и границы воспроизведения

Проверенные инженерные результаты

1. Многосидовый захват всем телом в SIMPLE

Пример захвата и укладки G1 всем телом (наклон) из SIMPLE на нескольких seed стабильно давал многоракурсные данные. Полезные наблюдения: фиксированная достижимая поза захвата, медленный перенос, сохранение сжатого состояния захвата, снижение скорости концевого эффектора перед укладкой и переключение на усиленное удержание или восстановление в зависимости от состояния в реальном времени.

Эти данные — учебный источник для переноса, а не официальный результат FCloud. При публикации архива для них явно указываются окружение, задача и назначение.

2. Захват фруктов в MuJoCo

Пример mujoco_fruits_picking с манипулятором KUKA и двухпалым захватом Robotiq 2F85 после ремонта изолированного окружения реально выполнил захват апельсина с контактом, подъём, перенос и укладку на тарелку. Это показало: при двухпалом захвате важны низкая высота контакта, сохранение сжатия и медленный перенос.

Этот пример служит только для проверки того, как доказывать физический захват и как просматривать видео. Он не относится к роботу или сцене FCloud.

3. Цепочка сбора данных Unitree Quest 3

Симуляционный сервис официального Isaac Lab от Unitree, три камеры робота, IK для G1, DDS для Dex1 и клиент телеуправления Quest 3 по отдельности запускались. Текущая публичная граница: «цепочка сбора запускается», но это не означает, что получены стабильные данные для захвата в соревновании.

Главные нерешённые вопросы — отображение движения локтя, калибровка координат концевого эффектора, величина сжатия захвата, шум рендеринга в реальном времени и качество полного демонстрационного движения.

4. Справочная линия CAPX/B1K

Проблемы CAPX/B1K — несовпадение хешей ассетов, загрузка сцены, LLM-агент и навигация у стола — были исправлены или локализованы. Предварительный захват рукой на высоте папки folder_231 в определённой позиции робота достиг ошибки конечной точки около 4 см. Однако дальнейшее движение руки то задевало предмет, то приводило к сбоям планирования, поэтому не получилось полного успешного захвата и укладки, которое можно было бы заявить.

Ценность CAPX — в разбиении задачи: подъезд к столу, стабильное наблюдение, работа с близкого расстояния, проверка результата. Заменить собой робота, камеры и сцену FCloud он не может.

Нерешённые проблемы

• Полный замкнутый цикл навигации G1/G2 всем телом и уборки стола в официальной домашней сцене FCloud не опубликован как стабильно высокий результат.
• Линия дообучения Pi0.5 (визуально-языковая модель действий) проверена только на интерфейс и формат данных; прежние данные с истинными значениями или со следованием предмета за рукой нельзя называть рабочим обучающим набором.
• SAM3 (модель сегментации), AnyGrasp (генерация позиций захвата) и cuRobo (библиотека планирования движения) не решают сами по себе калибровку координат, смещение концевого эффектора, столкновения и контакт захвата.
• Шум при рендеринге в реальном времени в Isaac Sim 4.5 на архитектуре Blackwell (новое поколение GPU) требует настройки рендеринга или перехода на Isaac Sim 5.x; основная причина — не кодирование видео.

Границы воспроизводимости

Публичные материалы позволяют воспроизвести: разбиение задачи, структуру кода, форматы данных, локальную самооценку, критерии приёма физического контакта и анализ сбоев. Однако они не гарантируют полного запуска соревновательного окружения только с помощью git clone или скачивания архива: нужны ассеты Isaac Sim, драйверы GPU, официальный пакет задачи и некоторые сторонние веса, которые имеют собственные ограничения на использование.