Обучение машины
В офлайн-бенчмарке машинного обучения датасет фиксируется до оценки. Классификатор читает отложенные примеры, взятые из заданного распределения данных (); его предсказание не меняет следующий сохраненный пример. Это полезное допущение тестирования ничего не говорит о развернутой модели, чьи выходы влияют на людей, последующие данные или физическое состояние.
Эндогенные данные
Инвариант: Действия физического агента выбирают его последующие наблюдения (), поэтому состояния, которые посещает развернутая политика, не обязаны быть состояниями, на которых она обучалась или тестировалась. Для обучения с подражанием худшая стоимость такого дрейфа может расти как квадрат горизонта Ross et al., 2011, как утверждает «квадратичный дрейф данных».
Следствие: Компетентность обученного инициатора — это утверждение о заявленной области состояний, установленное в замкнутом контуре с работающим путем разрешения. Состояния, которых данные никогда не касались, фиксируются как отсутствующие, а не предполагаются покрытыми, и конечные испытания за утверждением ограничивают его, а не доказывают.
Часть II следует за обученным инициатором — политикой, которая открывает дверь клетки с пружинной защелкой у складского мобильного манипулятора, — от демонстраций, записанных через путь разрешения в доменах часов протокола передачи, который построила Часть I, до свидетельств того, что она работает. Каждая глава сужает то, что может утверждать следующая.
- Физические данные («Физические данные»): Определяют, какие условия поддерживают демонстрации и сколько стоит их сбор, и создают протокол происхождения демонстраций, который перечисляет условия, не покрытые данными, как известные отсутствия.
- Обучение политики («Обучение политики»): Определяет, какой режим обучения подходит поддержке данных и какую область эксплуатационного назначения (ODD) может заявить полученная политика, и создает манифест политики.
- Оценка в замкнутом контуре («Оценка в замкнутом контуре»): Определяет, что конечный набор испытаний в замкнутом контуре поддерживает об инициаторе, и создает протокол оценки, чье утверждение остается внутри целевой ODD.
Часть II передает дальше протокол оценки: утверждение об обученном инициаторе, ограниченное целевой ODD, границу конечной выборки, которая его поддерживает, каталог не покрытых условий и мониторы времени выполнения, которые должна поставлять остальная машина. Этот протокол опирается на манифест политики из раздела «Обучение политики», чья заявленная ODD не может превышать поддержку, которую показывает протокол происхождения из раздела «Физические данные». Часть III доверяет инициатору не дальше, чем позволяет этот протокол, а ее путь разрешения построен для состояний, не покрытых оценкой.