Вопросы для собеседования по воплощённому ИИ, набор 1

1. Архитектура и высокоточное управление

1. Разделение восприятия и исполнения. В вашем решении VLM отделена от диффузионной политики (Diffusion Policy). Почему выбрано такое разделение, а не полностью сквозная унифицированная архитектура? Если модель языка и зрения напрямую выдаёт координаты пространства действий, где обычно находится главное узкое место производительности в сценариях высокоточных микроопераций?
2. Замкнутая коррекция в реальном времени. Диффузионные модели обычно выдают действия в виде блоков (Action Chunk). Но в динамической среде или при нелинейно деформируемых объектах целевое состояние может сместиться до того, как выполнена вся последовательность действий. Как система эффективно выполняет замкнутую коррекцию в реальном времени?
3. Мультимодальное распределение планирования. Приведите пример того, как диффузионная модель работает с мультимодальным распределением (Multimodal Distribution) при планировании траектории. Если есть два одинаково разумных пути, как избежать «колебаний» на границе решения и выдачи бессмысленного усреднённого действия?

2. Моделирование длинных последовательностей (Transformer и Mamba)

1. Надёжность долгосрочной памяти. При выполнении длительных задач KV-кэш Transformer растёт квадратично с длиной последовательности, а Mamba решает проблему вычислений линейным сжатием, но это по сути сжатие с потерями. Как гарантировать, что после долгой работы модель по-прежнему точно помнит предыдущие логические узлы и не «галлюцинирует» из-за сжатия состояния?
2. Сравнение базовых структур. Подробно опишите основные различия архитектур Transformer и Mamba с точки зрения информационного узкого места и вычислительного потока.
3. Вывод вычислительной сложности. Почему сложность механизма внимания Transformer равна $O(N^2)$, а Mamba (модель пространства состояний, SSM) достигает линейной сложности $O(N)$?
4. Компромисс между точностью и производительностью. В ваших количественных экспериментах теряет ли Mamba в точности исполнения по сравнению с Transformer? Если да, как это компенсировано алгоритмической оптимизацией?

3. Высокоуровневое планирование и обучение модели

1. Архитектура иерархического планирования. Какова конкретная структура высокоуровневой модели планирования (High-level Planner)? Как она передаёт команды нижнему контроллеру?
2. Ограничения понимания контекста. Если высокоуровневая модель получает на вход только 3–5 предыдущих кадров, каким механизмом она обеспечивает связное понимание состояния всей длинной задачи?
3. Полный цикл обучения. Опишите конвейер (Pipeline) обучения высокоуровневой модели планирования: методы аугментации данных, конструкцию функции потерь и способ решения проблемы дисбаланса положительных и отрицательных примеров.
4. Механизм избирательного сканирования. В Selective Scan как модель учится, какую информацию забыть, а какую записать в вектор состояния? Если система пропустила важный мгновенный признак (например, очень малое смещение), какие механизмы отказоустойчивости есть на уровне системы?

4. Устойчивость и Sim-to-Real

1. Обработка визуальных окклюзий. Когда в рабочей зоне возникает сильная окклюзия (Occlusion) и визуальная обратная связь теряется, система способна работать «вслепую» по истории состояний или сразу переходит в безопасную приостановку?
2. Согласование физических параметров. Параметры динамики симуляции и реального физического мира (например, модуль упругости объекта, трение) часто сильно различаются. Какими техническими средствами вы уменьшали разрыв Sim-to-Real?
3. Инерция познания при распределении вне обучения (OOD). Обновление состояния Mamba рекуррентно. Если после долгой работы внезапно возникает аномалия, которой не было в обучающей выборке, не возникает ли инерция скрытого состояния (Hidden State): из-за «слишком тяжёлой истории» текущая аномалия насильно подгоняется под прошлую нормальную траекторию?
4. Оценка на реальной установке. Каков примерно процент успешного выполнения задач (Success Rate) у алгоритма в реальной сцене? Что сейчас является узким местом: точность восприятия или частота управления?

5. Математические основы и реализация алгоритмов

1. Геометрия вероятностей. Единичный отрезок (палочку длины 1) случайным образом ломают на три части. Какова вероятность того, что из них можно составить треугольник? Приведите логику вывода.
2. Графы и связность. В заданной двумерной сетке (матрица 0/1) как эффективно подсчитать количество отдельных связных областей?
3. Математические уравнения. Запишите дискретизированное выражение или уравнение обновления состояния для основного алгоритма вашей модели.