Три линии окружений и стратегия воспроизведения

Самая частая ошибка в этом проекте — смешивать три похожие, но разные среды в одну линию. Правильная связь такая:

SIMPLE / пример MuJoCo (учебные примеры)
        ↓ перенос конечного автомата, скоростей, удержания захвата и критериев доказательств
Официальный Isaac Lab от Unitree
        ↓ перенос интерфейса робота, камер и управления всем телом
Официальная сцена соревнования FCloud OmniBot

CAPX/B1K (домашняя базовая среда) — отдельная справочная линия. Её сильная сторона — разбиение задачи на этапы: подъезд к столу, стабилизация наблюдения, манипуляция на близком расстоянии, проверка результата. Однако её R1Pro (платформа робота), OmniGibson (симуляционная среда), ассеты и интерфейс действий нельзя напрямую заменить G1/G2 из FCloud.

Что можно перенести из линии SIMPLE

Успех линии SIMPLE определялся не одной моделью, а совместным соблюдением нескольких инженерных ограничений:

• сначала стабильная поза захвата и контакт с близкого расстояния;
• спуск, сжатие пальцев, удержание, подъём, перенос и укладка выполняются строго по этапам;
• после сжатия пальцев состояние захвата поддерживается на всём этапе переноса;
• скорость переноса ниже допустимого порога стабильности на этапе контакта;
• в зависимости от состояния в реальном времени выбирается конфигурация nominal (обычная), strong (усиленное удержание) или xrescue (экстренное восстановление);
• для каждого зерна случайности сохраняются многоракурсное видео и структурированная траектория, а не только итоговый балл.

Границы Unitree

Официальное окружение Unitree G1 Dex1 (версия G1 с двухпалым захватом) подходит для проверки:

• порядка действий 29 степеней свободы G1 и двухпалого захвата Dex1;
• встроенных камер головы и левого и правого запястий робота;
• интерфейсов DDS (система распространения данных), IK (обратная кинематика) и телеуправления через Quest 3 (виртуальная реальность);
• интерфейсов преобразования в LeRobot (формат данных и инструменты для обучения роботов) и GR00T (универсальный фреймворк политики для роботов).

Однако объекты, компоновка стола и внешние параметры камер в официальной задаче Unitree отличаются от FCloud. Действия, отработанные в Unitree, можно использовать только как справку по интерфейсу и временной структуре действий; их обязательно нужно заново проверить на физику и оценку в сцене FCloud.

Рекомендуемый порядок переноса в FCloud

1. Проверить захват одного предмета с реальным контактом, используя истинную позу предмета из сцены FCloud.
2. Перенести конечный автомат SIMPLE и правила медленного переноса в интерфейс действий FCloud.
3. Заменить истинную позу собственными камерами робота: добавить распознавание цели, сегментацию, обратную проекцию глубины и оценку позы.
4. Расширить до случайных предметов, случайных положений и нескольких целей, и собрать успешные данные с видео.
5. Только после прохождения проверки видео преобразовать данные в формат LeRobot и дообучить Pi0.5 (визуально-языковая модель действий) или другую политику.

На первом шаге не следует одновременно вводить новый сегментатор, детектор захвата и планировщик всего тела. Каждый раз нужно менять только один слой; только так удаётся определить, сбой возник в восприятии, калибровке координат, IK, планировании столкновений, контакте пальцев или в формате данных.