Указатель проектов по данным и оценке воплощённого ИИ
На этой странице собраны данные, задачи и инструменты оценки, которые дополняют тему раздела. Перед выбором проекта проверьте робота, пространство действий, протокол задачи, лицензию данных и доступность ресурсов для загрузки, и только потом решайте, сочетать ли его с текущим экспериментом.
RoboBenchMart
- Адрес проекта: emb-ai/RoboBenchMart
- Для чего подходит: поиск бенчмарков манипуляции роботов, определений задач, наборов данных и связанных ресурсов.
- Рекомендации по использованию: используйте его как навигационную точку входа в бенчмарки и не сравнивайте напрямую успешность, опубликованную разными проектами. У разных проектов могут отличаться робот, начальные состояния, максимальное число шагов и критерии успеха.
Open X-Embodiment
- Адрес проекта: Open X-Embodiment
- Для чего подходит: понять, как данные разных роботов приводятся к единому виду по наблюдениям, действиям и описаниям задач.
- Рекомендации по использованию: в первую очередь проверяйте соответствие роботов, размерности действий, статистику нормализации и лицензии данных.
LeRobot Dataset
- Адрес проекта: Hugging Face LeRobot
- Для чего подходит: единая структура каталогов для эпизодов, изображений, состояний, действий и текстов задач с подключением к инструментам обучения и визуализации.
- Рекомендации по использованию: при преобразовании существующих данных последовательно проверяйте частоту кадров, временные метки, формы признаков и границы эпизодов.
Чек-лист выбора бенчмарка
- Покрывает ли задача те измерения обобщения, которые действительно интересуют ваш проект?
- Есть ли фиксированные начальные состояния, скрипты оценки и критерии успеха?
- Есть ли данные и входы/выходы политики, совместимые с целевым роботом?
- Доступны ли вычислительные ресурсы, ассеты симуляции и веса моделей?
- Разрешает ли лицензия использование в учебных, исследовательских или коммерческих целях?
После выбора бенчмарка фиксируйте в журнале эксперимента подмножество задач, число эпизодов, максимальное число шагов и способ агрегирования результатов, чтобы разные модели сравнивались по одному протоколу.