Обзор VLA: сравнительная таблица мультимодальных моделей роботов
1. Полная сравнительная таблица VLA / VOA
| Модель | Класс | Визуальная основа (Vision Backbone) | Языковая и reasoning-основа (LLM / Reasoning) | Выходная голова (Output Head) | Число параметров | Есть ли языковое рассуждение |
|---|---|---|---|---|---|---|
| RT-1 | VLA | EfficientNet-B3 | Universal Sentence Encoder (только извлечение признаков) | Дискретные токены (классификационная голова, 256 корзин) | 35M | Слабо (только сопоставление инструкции, без логического вывода) |
| RT-2 | VLA | ViT-e (22B) или ViT-G (2B) | PaLI-X (55B) или PaLM-E (12B) | Дискретные токены (используется словарь LLM) | 12B, 55B | Очень сильно (появились здравый смысл и цепочки рассуждений) |
| RT-X | VLA/VA | Архитектура полностью совпадает с RT-1 или RT-2 | Архитектура полностью совпадает с RT-1 или RT-2 | Архитектура полностью совпадает с RT-1 или RT-2 | 35M, 12B, 55B | Сильно (общее название для универсальных весов разных роботов) |
| Octo | VA (VOA) | ViT-Patch (разбиение на патчи) | Без LLM (используется чистый Transformer-декодер) | Диффузионная голова (Diffusion) или непрерывный L1 | 27M, 93M | Нет (чисто управление действиями, диалог не поддерживается) |
| OpenVLA | VLA | DINOv2 (пространственные признаки) + SigLIP (семантические признаки) | Llama 2 (7B) | Дискретные action-токены (предсказание с потерей L1) | 7B | Сильно (очень сильная открытая обобщающая способность) |
| RoboFlamingo | VLA | CLIP (ViT-Large-14) | MPT или RedPajama | Явная голова политики (MLP, LSTM или Diffusion) | 3B, 4B, 9B | Сильно (сохраняет понимание мультикадровой истории текст + изображение) |
| SpatialVLA | VLA | SigLIP + позиционное кодирование Ego3D | PaLiGemma 2 (Gemma) | Адаптивная пространственная сетка действий (пространственные action-токены) | 3B | Сильно (есть восприятие реальной 3D-структуры пространства) |
| SmolVLA | VLA | Визуальный энкодер SigLIP | Языковой декодер SmolLM2 | Action Expert Transformer (эксперт по действиям) | 450M | Средне (ставка на предельную лёгкость, базовое понимание инструкций) |
| SwiftVLA | VLA | streamVGGT (4D-признаки) + визуальный слой SmolVLM | SmolVLM (с внешними обучаемыми Fusion Tokens) | Diffusion Action Expert (эксперт по действиям) | 450M | Средне (акцент на прогнозе пространственно-временных траекторий, при этом понимание инструкций сохраняется) |
| StarVLA | Фреймворк VLA | Визуальный экстрактор Qwen-VL (конфигурируется) | Языковая модель Qwen (конфигурируется) | Дискретные action-токены | 7B (QwenGR00T) | Сильно (основано на большом совместном обучении на изображениях и тексте) |
| GR00T N1.5 | VLA | Визуальная ветвь NVIDIA Eagle VLM | Текстовый энкодер Eagle VLM (заморожен) | Непрерывный Flow Matching-трансформер действий (16 слоёв) | 3B | Сильно (понимание языка и обобщение для разных воплощений) |
| GR00T N1.6 | VLA | SigLIP 2 + Cosmos Reason (исходное разрешение) | NVIDIA Cosmos Reason (reasoning-модель 2B) | Непрерывный Flow Matching-трансформер действий (32 слоя) | 3B | Очень сильно (многошаговые физические здравые рассуждения и глубокий вывод) |
| HoloBrain-0 | VLA (явное моделирование воплощения) | Grounding DINO или Qwen2.5-VL + Spatial Enhancer (SEM) | То же (версия QW обрезана до первого слоя, чтобы сохранить скорость вывода) | Диффузионный эксперт по действиям с учётом воплощения | 183.7M (версия GD), 1.1B (версия QW) | Сильно (иерархическая архитектура, сочетает семантическое понимание и явное физическое восприятие) |
2. Разбор 12 основных моделей в нескольких словах
Чтобы читателю и коллегам было легче понять эти холодные архитектурные описания, мы переводим их в «характеры», которые модели получили в академических кругах и в промышленности.
🏛️ Эпоха основателей: доминирование Google
- RT-1: первопроходец эпохи VLA. Он показал главное: не нужно проектировать сложные алгоритмы управления для каждого робота. Достаточно перевести действия манипулятора в «слова» дискретного словаря (токены) и обучить Transformer предсказывать их. Так робот учится выполнять работу.
- RT-2: мощный прорыв с эффектом emergence. Модель решила проблему отсутствия у роботов здравого смысла. Google напрямую подключила к роботу мультимодальную языковую модель на 55 миллиардов параметров. В результате робот не только понимает инструкции, но и демонстрирует рассуждения, похожие на человеческую цепочку мыслей: например, он понимает команду «выбрось испорченную еду» и сам находит на столе гнилой банан.
- RT-X: объединение данных разных роботов. Строго говоря, это не новая архитектура, а «универсальные веса и набор данных», созданные Google вместе с ведущими научными учреждениями мира. Она решает проблему, когда каждая лаборатория обучает модель только на своих данных, и робот «не умеет работать» при смене манипулятора. Так появляется реальное кросс-воплощённое управление (Cross-Embodiment).
🐙 Эпоха открытого кода: праздник академического мира
- Octo: чистый VOA для действий. Модель создана командами из Беркли и Стэнфорда для роботов, которым не нужен диалог. У неё нет громоздкой языковой модели; она опирается на очень лёгкий Transformer и диффузионную модель (Diffusion), которая смотрит на изображение и сразу выдаёт действие. В задачах чистого имитационного обучения это самый быстрый открытый эталон по скорости вывода.
- OpenVLA: универсал открытого сообщества без слабых сторон. Модель стала ответом на недостатки RT-2: тот закрыт и слишком велик. Она построена на Llama 2 уровня 7B, объединяет визуальную основу, которая понимает и семантику, и пространственную информацию, и сейчас это первый выбор большинства стартапов и исследовательских лабораторий как «мозг робота, который работает сразу».
- RoboFlamingo: мастер многокадровой памяти, избавленный от амнезии. Прежние модели работали с одним кадром (посмотрел на картинку — сделал одно действие), поэтому в многошаговых задачах робот часто забывал исходную цель. Модель подключает к концу сети явную голову политики, которая хранит историю из нескольких кадров. Поэтому она стабильно справляется с долгими задачами вроде «открой ящик, возьми яблоко, закрой ящик».
🚀 Эпоха узкой эволюции: решение конкретных проблем
- SpatialVLA: мастер 3D-восприятия, вышедший за пределы 2D. Модель решает проблему «плоского» восприятия мира у традиционных моделей. В сеть внедряется позиционное кодирование глубины Ego3D, а также впервые предложена адаптивная пространственная сетка действий. При задачах, где нужна высокая пространственная точность (вставка и точный захват), успешность заметно выросла.
- SmolVLA: лёгкое массовое решение. Hugging Face создала её для тех, у кого мало вычислительных ресурсов. Благодаря пропуску слоёв и сжатию признаков число параметров удалось удержать на уровне 450M. Модель снимает требование к серверным видеокартам для VLA и позволяет обычному человеку обучать небольшой домашний манипулятор на ноутбуке.
- SwiftVLA: предсказатель времени и пространственно-временной динамики. Когда целевой предмет движется (ловля мяча, захват предмета с конвейера), статическая VLA просто не успевает. Модель вводит 4D-признаки streamVGGT и стратегию маскированной реконструкции. При всего 450M параметров большая модель учится «предугадывать» будущую точку встречи манипулятора и объекта, сохраняя высокую адаптивность в динамических сценах и работая быстрее крупных моделей.
- StarVLA: арсенал совместного обучения изображений, текста и действий. Фреймворк предлагает элегантную базовую логику обучения, в которой разработчик может без швов соединить огромные массивы интернет-данных «изображение — текст» с дорогими данными действий реального робота и обучать их в одном процессе (Co-training). Это заметно снижает порог разработки универсальных роботов.
🟢 Эпоха промышленного внедрения: переосмысление от NVIDIA
- GR00T N1.5: опора для кросс-воплощённых задач на синтетических данных. Это промышленный «козырь» NVIDIA. Главное новшество — модель уже не так сильно зависит от реальных данных, которые люди собирают телеуправлением манипулятора, и широко использует «синтетические данные», которые автоматически генерируют в симуляторе NVIDIA Omniverse и GR00T-Dreams. Со стороны действий подключён плавный Transformer с 16 слоями Flow Matching, и движения получаются точными и устойчивыми.
- GR00T N1.6: глубокая физическая логика в высшей форме. Сейчас это вершина для гуманоидных роботов. Языковая основа заменена на Cosmos Reason — reasoning-модель, созданную NVIDIA специально для физического мира. Это даёт способность «медленного мышления» (System 2): на расплывчатую команду модель сначала проводит в уме моделирование с учётом физического здравого смысла, а затем передаёт намерение действия голове предсказания, которая стала вдвое глубже (32 слоя), и в итоге получаются сложные скоординированные движения всего тела гуманоида.
🏠 Эпоха промышленного освоения и инфраструктуры: полный стек Horizon Robotics
HoloBrain-0: универсальный «домашний управляющий», который понимает физическую структуру. Модель решает характерную проблему VLA — плохой перенос между разными аппаратными платформами роботов. В отличие от моделей, которые заставляют робота заучивать соответствие между пикселями и действиями, она явно подаёт на вход «скелет» робота (динамическое описание URDF) и «положение глаз» (внутренние и внешние параметры камеры). В сочетании с мощным «пространственным усилителем» она может планировать сразу в трёхмерной системе координат и хорошо переносится между разными воплощениями.
Ещё более серьёзна сопутствующая инфраструктура RoboOrchard («Роботизированный сад»). По циклу итеративного обновления данных, построенному на тестах, она не просто наращивает объём данных, а целенаправленно «дотренировывает» по провальным случаям. Благодаря этому её сверхлёгкая версия 0.2B, для которой нужно около 30 часов реальных данных, может плавно выполнять такие сложные длинные задачи, как складывание одежды и сборка картонных коробок, на китайских чипах для периферийных устройств стоимостью в несколько сотен юаней.