О книге

Русский перевод тома IV учебника «Machine Learning Systems» (Physical AI Systems). Книга о машинах, в которых обученная модель предлагает действия, а независимый механизм решает, можно ли их выполнить: о каузальной границе, физических пределах, времени выполнения, оценке, выпуске в эксплуатацию и о том, что остается непроверенным.

Начните с предисловия. Структура книги — в оглавлении слева.

Условия использования и авторство описаны на страницах «Авторство и лицензия» и «Происхождение материалов».

Физический ИИ

Это действующий черновик. Физические системы ИИ начинаются там, где вычисления перестают быть символическими и становятся физической силой. Как только алгоритм дает команду двигателю, прощающие условности цифрового ПО уступают место механике, термодинамике и действиям, которые нельзя отменить.

Настоящий том закладывает системные основы для машин, в которых обученные модели действуют в физическом мире под ограничениями реального времени, пределами задержек и законами физики.

Чему вы научитесь

Книга начинается с введения, развивает свои положения в четырех частях и завершается заключением:

• Введение определяет каузальную границу — место, где разрешенная команда становится током, силой и движением, — и раскладывает машину на пять уровней, на которых строится вся остальная книга.
• Анатомия машины разрабатывает Тело, Мозг и Нервную систему, превращая необратимость физической работы в бюджеты времени, расстояния, момента, тепла и напряжения.
• Обучение машины развивает данные, обучение и оценку для систем, чьи собственные действия определяют, что они увидят дальше.
• Работа машины развивает восприятие, память, намерение, планирование, принудительное обеспечение и размещение на кремнии в масштабах времени, отделяющих рассуждение от управления моторами.
• Управление машиной развивает вмешательство, верификацию и выпуск в эксплуатацию, охватывая то, чего требует надежность, когда машина покидает лабораторию.
• Заключение возвращается к вопросу о том, что машина должна гарантировать до того, как обученное предложение станет физической работой, отвечает на него тем, что подтверждают свидетельства, и вносит каждую предпосылку, оставшуюся непроверенной, в реестр непроверенных утверждений.

Примечание о переводе. Настоящая книга — русский перевод тома IV «Physical AI: Machine Learning Systems That Sense and Act» профессора Виджая Джанапы Редди (Гарвардский университет). Библиографические ссылки и список литературы приведены на языке оригинала. Уведомление об авторстве и происхождение материалов — на страницах «Авторство и лицензия» и «Происхождение материалов».

Посвящение

Моим студентам, которые задают вопрос, о котором я еще не подумал, и исследователям и системным инженерам, принимающим вызов — дать машинам безопасные и умелые руки в открытом физическом мире.

Заметка автора

Когда сервер возвращает ошибку на запрос страницы, читатель может повторить попытку. Робот, приближающийся к препятствию, продолжает движение, пока его компьютер решает, тормозить ли. Перезапуск вычисления не может вернуть уже пройденное расстояние.

В традиционных вычислениях программное обеспечение работает за стеклом: необработанное исключение или запоздавший результат оставляют запись в журнале, потерянный кадр или кнопку повтора. В физическом ИИ программное обеспечение командует материей, импульсом и энергией. Единица инженерной работы — действие, пересекающее каузальную границу. Задержка оплачивается миллиметрами, а отказ оборачивается треснувшим композитом, сгоревшими обмотками двигателя или физическим вредом.

Чтобы построить машины, выживающие в этой реальности, мы должны отказаться от мысли, что высокоемкая сеть может напрямую управлять физическим объектом управления. В машине, которую строит эта книга, обученная модель предлагает; разрешает только путь разрешения, и только пока держатся его свидетельства.

Я пишу эти главы как действующий системный исследователь, изучающий, как законы вычислений пересекаются с законами ньютоновой механики, теплового рассеяния и функциональной безопасности. Конкретные системные задачи, аппаратные измерения и прикидки от первых принципов ведут наше продвижение; формальные выводы непрерывного управления и доказательный аппарат дают необязательную глубину в приложениях.

Эта книга — открытая рабочая тетрадь. Перешагните со мной через каузальную границу, и давайте исследовать, как проектировать машины, которые воспринимают, действуют и выживают в физическом мире.

— Vijay Janapa Reddi
Cambridge, Massachusetts
2026

Об авторе

Vijay Janapa Reddi (Виджай Джанапа Редди) — профессор Gordon McKay по электротехнике и компьютерной инженерии Гарвардского университета и приглашенный профессор ETH Zurich в Лаборатории интегрированных систем (Integrated Systems Laboratory, IIS), D-ITET. Он — соучредитель и вице-президент MLCommons и автор открытого справочного текста Machine Learning Systems.

Его исследования лежат на пересечении компьютерной архитектуры, систем машинного обучения и периферийной робототехники (edge robotics), фокусируясь на том, как вычислительное оборудование и обученное программное обеспечение совместно проектируются для взаимодействия с физическим миром. На протяжении последнего десятилетия его работа была сосредоточена на демократизации прикладных систем через открытое образование и воспроизводимые бенчмарки, напрямую связывающие кремниевые ограничения от первых принципов с доступным обучением, проверенным на стенде.

Зачем я пишу эту книгу: системная позиция от первых принципов

Каждый учебник отражает интеллектуальную родословную, предубеждения и оптику своего автора. Я хочу явно обозначить точку зрения, стоящую за этой книгой.

Я не классический теоретик управления и не специалист по механической кинематике и не притворяюсь им. Я приношу перспективу архитектора компьютерных систем и исследователя систем машинного обучения (MLSys), идущего к первым принципам.

Моя интуиция в этой области восходит к моему выпускному проекту по мехатронике. Будучи студентом электротехнической и компьютерной инженерии, в этом проекте я впервые должен был собрать все воедино — аналоговые схемы, обработку сигналов датчиков, микроконтроллеры, драйверы двигателей, механические передачи и встроенное программное обеспечение — в единую работающую машину. Именно тогда я осознал, что программное обеспечение нельзя проектировать в отрыве от физической реальности: обмотки двигателя нагреваются, силовые шины проседают при резком ускорении, а измерения датчиков стареют в тот самый миг, когда происходит физическое преобразование.

Более двадцати лет — от архитектуры производительности мобильных систем на кристалле (SoC) и периферийного ИИ-кремния в Google до соучреждения MLCommons/MLPerf для установления стандартов эмпирического бенчмаркинга ИИ-ускорителей и работа у истоков движения TinyML по сжатию нейронных сетей до микроваттных микроконтроллеров, — моя работа обитала на физической границе, где программные биты встречаются с физическим кремнием и энергетическими ограничениями.

Физический ИИ возвращает меня по кругу к тому мехатронному проекту, но с глубоким поворотом. В классической мехатронике мы замыкали контур с помощью составленной вручную детерминированной логики: ПИД-регуляторов, конечных автоматов и аналитических моделей. В физическом ИИ мы встраиваем высокоемкие стохастические нейронные сети — фундаментальные модели, диффузионные политики и обученные декодеры — в тот самый непрощающий контур. Инженерная задача уже не просто заставить машину двигаться; она в том, как безопасно замкнуть контур вокруг непроверенного стохастического мозга, используя детерминированные системы и принципы безопасности.

Этот бэкграунд формирует то, что я хочу, чтобы студенты поняли. Предложенное моделью действие должно пройти через вычислительную систему, прежде чем физическая машина сможет его выполнить. Я хочу, чтобы читатели проследили этот путь и спросили, что может помешать действию быть выполненным так, как задумано. Тайминг вычислений, возможности тела и предпосылки, лежащие в основе проверок команд, все важны для этой оценки. Пояснения должны сделать эти взаимодействия понятными до того, как потребуется специализированная математика или детали реализации.

Этот учебник — моя попытка поделиться этой фундаментальной системной перспективой с новым поколением инженеров, робототехников и компьютерных ученых. Это книга, которую я хотел бы дать своим собственным студентам, когда они мостят путь от систем машинного обучения к физическому миру.

Интеллектуальная родословная и системная траектория

Эта системная траектория от первых принципов охватывает три крупные эпохи:

• Кремниевая реальность и мобильная архитектура: Обоснована компьютерной архитектурой, маломощными микроархитектурами и проектированием мобильных систем на кристалле (SoC) (включая архитектуру производительности периферийного ИИ-кремния в Google). Эта работа обращалась к физическим реальностям вычислений: конкуренцию за шину памяти при высокопропускных камерных потоках, снижение частоты из-за перегрева в жестких огибающих рассеиваемой мощности и задержки прерываний при предельных сроках жесткого реального времени.
• Системы ML и движение TinyML: Мост между алгоритмическими абстракциями машинного обучения и исполнением на кремнии. Он соучредил MLPerf для установления глобального стандарта бенчмаркинга оборудования и программного обеспечения ML и стоял у истоков движения TinyML, разработав учебную программу Harvard CS249r и программу HarvardX TinyML (охватившую более 100 000 учащихся по всему миру), чтобы перенести глубокие нейронные модели на микроваттные микроконтроллеры.
• Замыкание контура восприятия и действия в физическом ИИ: Расширение этой системной перспективы на машины, чьи обученные модели предлагают физические действия. Фокус — на том, как взаимодействуют восприятие, вычисления и отклик тела, и на условиях, при которых предложенное действие может быть исполнено.

Разработка комплекта и лабораторных работ

Разработка практических лабораторных работ со стендом и опорной аппаратной платформы (Physical AI Kit на базе Arduino UNO Q Dual-Brain) ведется совместно с доктором Andrea Mattia Garavagno, постдокторским исследователем Лаборатории интегрированных систем (IIS), D-ITET при ETH Zurich.

Эта работа ставит целью перевести системные идеи книги в упражнения по прошивке и программному обеспечению, которые студенты и практики могут воспроизвести и изучить на стенде.

Руководство для читателя и необходимая подготовка

Системы физического ИИ написана как самостоятельный, самодостаточный учебник для старших студентов, аспирантов-исследователей и практикующих системных инженеров, которые хотят строить машины, безопасно связывающие обученный интеллект с физической материей и энергией.

Читатели придут с разными сильными сторонами в машинном обучении, встроенных системах или механике. Книга вводит концепции, необходимые для рассуждений об их взаимодействиях, не требуя специальной подготовки в каждой из сопутствующих дисциплин. Это руководство разграничивает общую стартовую базу и материал, вводимый в тексте, и подсказывает, где читателям с разным бэкграундом стоит сосредоточить внимание.

Технический минимум

Основной текст предполагает общую базу в программировании, машинном обучении и базовой математике. Следующая подготовка позволяет читать пояснения и следить за короткими расчетами:

• Программирование и системы: Читатель должен уметь читать и писать функции на Python, прослеживать данные через программу и осознавать, что исполнение занимает время и использует память. Знакомство с C или C++, указателями и выделением памяти полезно для необязательной работы по реализации.
• Интуиция машинного обучения: Читатель должен уловить разницу между обучением модели и ее использованием для предсказаний и знать массивы или тензоры как входы и выходы модели. Опыт с какой-либо конкретной библиотекой не требуется.
• Базовая физика и математика: Читателю должны быть удобны основы алгебры, векторы и матрицы и математический анализ одной переменной (скорости изменения). Физический ИИ прямо опирается на первокурсную ньютонову механику:
  • Второй закон Ньютона для линейных и вращательных систем ($F=ma$, $\tau =I\alpha$).
  • Прикидки кинетической энергии и остановочного пути ($E_k=\frac{1}{2}m{v}^2$, $d_{\text{stop}}\approx v{\tau }_{\text{delay}}+\frac{v^2}{2a_{\text{brake}}}$).
  • Основы электрической мощности и нагрева ($P=I_{\text{phase}}^2{R}_{\text{phase}}$). Продвинутая дифференциальная геометрия, теория непрерывного управления на группах Ли и формальный анализ достижимости сознательно не требуются; их математические изложения собраны в приложениях тома.

Эта подготовка позволяет рассуждать о полной системе. Специализированная теория управления, детальная математика робототехники и владение низкоуровневыми реализациями не входят в стартовые требования для основного изложения.

Дисциплинарные маршруты чтения

Читатели подходят к физическому ИИ из разных инженерных традиций. Опубликованная последовательность развивает общую системную перспективу; читатели могут уделить дополнительное внимание тем взаимодействиям, которые менее всего знакомы им по их собственному бэкграунду:

• Практикам машинного обучения: Сосредоточьтесь на физических последствиях вычислений. Машина продолжает движение, пока ее модель обрабатывает наблюдение. Обратите особое внимание на раздел «Физическое тело» — ограничения движения и торможения, «Физические данные» и «Обучение политики» — эндогенную обратную связь и нарастающий дрейф ($\mathcal{O}(T^2ϵ)$), «Оценка в замкнутом контуре» — реальность замкнутого контура, «Обеспечение безопасности» — проверку предложенных действий до исполнения, и «Размещение на кремнии» — вычислительные ресурсы, влияющие на тайминг.
• Архитекторам встроенных систем и кремния: Сосредоточьтесь на том, как обученные вычисления вносят вклад в решения, которые машина должна выполнить вовремя. Обратите особое внимание на раздел «Каузальная граница» — границу предложения, «Сенсорное восприятие» — как сенсорные наблюдения питают решения, «Пространственная память» — представления пространственной оценки, «Обоснованное намерение» и «Планирование траекторий» — синтез траекторий, и «Размещение на кремнии» — конкуренцию за шину памяти системы на кристалле (SoC) и тепловые пределы.
• Робототехникам и инженерам по управлению: Сосредоточьтесь на замыкании физического контура вокруг обученных моделей. Обратите особое внимание на раздел «Каузальная граница» — пределы того, что может командовать модель, «Нервная система» — тайминг и обмен между компонентами, «Вмешательство супервизора» — рукопожатия человеческих полномочий и передачу без разрыва, «Верификация» — внедрение отказов с аппаратурой в контуре, и «Выпуск в эксплуатацию» — структурированные свидетельства, нужные для суждения о готовности к выпуску.

Эти акценты дополняют последовательное чтение, а не заменяют его, потому что аргумент книги состоит в том, как каждая дисциплина связывается с остальной машиной.

Что вводит книга

Книга начинается с физических и вычислительных соотношений, необходимых для объяснения поведения системы. Специализированные концепции входят через задачи, которые они помогают решать, с явными предпосылками и пределами. Основной текст развивает следующие идеи из этой общей базы:

• Предложения и разрешение действовать: Текст объясняет, как обученная модель может предлагать действие, тогда как отдельный компонент определяет, может ли это действие дойти до тела.
• Проверки в условиях физических пределов: Пояснение связывает предложенные действия с доступным пространством и движением машины, формулируя предпосылки, при которых проверка может помочь.
• Тайминг между компонентами: Текст развивает то, как компоненты, работающие на разных частотах, обмениваются результатами и координируют работу, и почему задержки важны для физического отклика.
• Наблюдения и движение: Пояснение соотносит положения и направления, описываемые датчиками и моделями, с движениями тела, включая то, как внезапные изменения командуемого движения влияют на механический отклик.
• Свидетельства для выпуска: Текст объясняет, как связать утверждение о поведении системы с подтверждающими свидетельствами и определить, что эти свидетельства оставляют нерешенным.

Детальные доказательства, специализированные обозначения и схемы реализации дают необязательную глубину. Основное изложение сохраняет механизм, предпосылки и инженерное следствие, чтобы слежение за системным аргументом не зависело от преследования этих деталей.

Как читать числа

Каждое число в этой книге несет одну из пяти меток: четыре категории свидетельств и одну для проектных решений, и его метка определяет, для чего оно может быть использовано.

• Измеренное: Калиброванное наблюдение конкретной машины. Оно называет свой прибор, условия эксплуатации, число выборок и, для распределения, процентиль, который оно сообщает. Только измеренное число или число, выведенное из измеренных, может обосновать запас безопасности.
• Выведенное: Вычислено из измеренных чисел через заявленную физическую или статистическую модель. Оно несет предпосылки этой модели и распространенную неопределенность ее входов.
• По документации: Номинальное значение производителя в условиях производителя. Оно говорит, чего ожидать и что испытывать, и не является свидетельством об экземпляре на стенде.
• Иллюстративное: Выбрано, чтобы показать арифметику или масштабирование. Оно не обосновывает ни запас, ни тайм-аут, ни решение о выпуске.

Бюджет или требование, такие как длительность аренды или запас свободного расстояния, не относятся ни к одной из четырех категорий. Это проектное решение с меткой выбранное, и оно что-то значит, только когда сверено с измеренным или выведенным числом, в которое оно должно вписаться, подобно тому как выбранная аренда сверяется с выведенным потолком задержки до торможения.

Разобранный проект в этой книге показывает процедуру решения. Когда его входы иллюстративны, достигаемое им решение тоже иллюстративно. Оно показывает, как устанавливались бы скорость, аренда или вердикт машины, и связало бы реальную машину только после того, как названные им входы будут измерены.

Когда число что-то решает — например, ограничение скорости, тайм-аут или выпуск, — книга хранит его как протокол пределов с шестью элементами: значение или распределение; условия эксплуатации, в которых оно держится (груз, температура, напряжение питания, поверхность, сопутствующая нагрузка, прошивка); неопределенность измерения; инженерный запас между рабочей целью и порогом разрушения; детектор, улавливающий отклонение, пока машина работает; и его происхождение, то есть его метку и прибор или модель, которые его породили. Предел держится только в заявленных условиях. Когда износ, нагрев, новый груз или новая сборка меняют их, предел должен быть установлен заново до его повторного использования.

Разобранные примеры метят категорию каждого числа один раз, при первом использовании. Результат держится в пределах предпосылок, заявленных вместе с его примером, и больше нигде. Граница из конечного числа испытаний держится в пределах своих выборочных предпосылок и не доказывает ничего сверх них, а измеренный процентиль описывает испытанную нагрузку, а не худший случай. В аргументе выпуска каждая предпосылка также имеет статус: установленная (измеренная или выведенная), предполагаемая, решенная ответственным суждением, необоснованная или находящаяся вне модели угроз. Разделы «Выпуск в эксплуатацию» и «Эпистемическая граница» используют эти статусы.

Что мы сознательно опускаем

Книга фокусируется на том, как работают вместе обученные вычисления, физические механизмы и системы исполнения. Этот фокус ограничивает глубину рассмотрения в соседних областях:

• Исчерпывающие выводы робототехнической кинематики: Основной текст не развивает длинные выводы для каждой конфигурации манипулятора. Существенная системная забота — какие движения машина может совершать и какие физические пределы их ограничивают.
• Теория глубокого обучения: Книга не дает комплексного математического изложения ландшафтов функций потерь и оптимизации. Механизмы обучения важны здесь через поведение, которое они порождают, и требования, которые они предъявляют к физической системе.
• Руководства по библиотекам и инструментам: Книга не обучает каким-либо конкретным промежуточным системам робототехники, симуляторам или фреймворкам обучения. Программное обеспечение важно здесь через его влияние на тайминг, память и свидетельства.

Эти границы оставляют существенные механизмы и их следствия в системном аргументе. Они ограничивают исчерпывающее специалистское рассмотрение, не делая знакомство с ним предпосылкой для слежения за книгой.

Благодарности

ЗАГЛУШКА. Благодарности к этой книге еще будут написаны — в них будут названы люди, чья экспертиза, интервью и сотрудничество с индустрией сформировали ее развитие.

Заметка об использовании ИИ

Каждая глава этой книги исследована, написана и переписана мной. Я также пользовался инструментами ИИ на протяжении всей работы. Далее следует нечто большее, чем раскрытие информации, которого MIT Press требует от авторов, использующих ИИ. Это честное описание того, как я пользовался этими инструментами, образец того, как студенты и практики могут ответственно взаимодействовать с ними, и утверждение о том, что значит авторство, когда машинное обучение выступает одновременно усилителем силы и проверочным собеседником.

В моих предыдущих томах системы и вычислительная инфраструктура были моей родной интеллектуальной средой. Но Physical AI вытолкнул меня через каузальную границу на незнакомую территорию: классическая кинематика, нелинейные функции барьера управления, термодинамика обмоток двигателей и конкуренция высокочастотных шин реального времени. Самой трудной задачей при написании этой книги оказался не черновик прозы; ею стало исчерпывающее междисциплинарное обзорное исследование литературы и синтез областей, которые редко разговаривают друг с другом. Я широко использовал большие языковые модели как интерактивных исследовательских партнеров, чтобы обозреть разрозненную литературу, исследовать незнакомую динамику, мозговым штурмом набросать структурные рамки и дистиллировать фундаментальные первые принципы. Эти модели превосходны в дистилляции первых принципов — а именно так я естественно мыслю о компьютерных системах.

Однако дистилляция — лишь первоначальное предложение. Поскольку эти концепции обитают в физическом мире, где ошибки несут кинетические последствия, я сильно полагался на людей-экспертов — как академических исследователей в робототехнике и теории управления, так и практикующих инженеров в компаниях с автономными системами, — чтобы критиковать, проверять и оспаривать разработанные здесь архитектуры. Эта книга не претендует на то, чтобы быть окончательным, завершенным трудом; это действующая открытая итерация, развивающаяся вместе с быстро прогрессирующей дисциплиной.

Стандарт остается неукоснительной прослеживаемостью. Каждая выведенная метрика, временной бюджет и энергетический расчет в этих главах вычисляется непосредственно исполняемыми ячейками Python, исходный код которых поставляется с книгой. Количественные системные симуляции опираются на движок моделирования инфраструктуры MLSysIM. Непрерывный набор pre-commit-проверок верифицирует размерные единицы, целостность цитирования и якоря ссылок при каждом изменении. Инструменты ИИ сделали механически осуществимым прохождение крутой междисциплинарной кривой обучения; наша инфраструктура верификации делает эту работу воспроизводимой и аудируемой.

Авторство — это мышление. Решать, какие концепции принадлежат этому курсу, а какие нет; выстраивать главы так, чтобы каждая абстракция оправдывала свое место; определять, где студенты споткнутся, потому что я видел, как они спотыкаются в моей собственной аудитории, — это суждения, которых не может вынести никакой инструмент. Идеи и архитектурный синтез — мои; первоначальную прозу часто набрасывали, расширяли или перестраивали с помощью ИИ, после чего она подвергалась жесткому переписыванию и верификации.

Системы машинного обучения нельзя сертифицировать так, как традиционную детерминированную логику. Этот разрыв верификации с равной силой относится и к написанию текстов с помощью ИИ. Стандарт, которому я подчинил эту книгу, — это стандарт, которого мы должны требовать от каждой воплощенной машины, которую мы развертываем: инструмент может предлагать, инструмент может обучать, но только человек-инженер может утвердить и взять на себя ответственность.

Обозначения

Системы машинного обучения охватывают машинное обучение (информатику и статистику) и системы (архитектуру компьютеров и аппаратное обеспечение). Каждая область независимо развила собственную нотацию, и многие символы означают разное в разных сообществах и публикациях. Это столкновение создает реальную путаницу, когда дисциплины сливаются. Приведенные ниже соглашения устанавливают единую нотацию, устраняющую эту неоднозначность.

Рассмотрим простое утверждение: «Увеличение $B$ улучшает пропускную способность.» Для исследователя машинного обучения $B$ означает размер батча. Для аппаратного инженера $B$ означает пропускную способность. Оба прочтения верны в своих областях, но в системах машинного обучения нам нужны оба понятия в одном уравнении — отсюда необходимость в едином, непротиворечивом соглашении.

Железный закон систем машинного обучения

Для последовательно исполняемых фаз разложение производительности по железному закону имеет вид:

$$T=\underset{\text{Время памяти}}{\underbrace{\frac{D_{\text{vol}}}{\text{BW}}}}+\underset{\text{Время вычислений}}{\underbrace{\frac{O}{R_{\text{peak}}\cdot {\eta }_{\text{hw}}}}}+\underset{\text{Накладные расходы задержки}}{\underbrace{L_{\text{lat}}}}$$

Каждая переменная выбрана осознанно, чтобы избежать столкновения со стандартной терминологией машинного обучения.

Почему эти выборы важны

Без тщательной нотации предложения становятся неоднозначными:

«Уменьшение $D$ улучшает производительность.»

У этого предложения два возможных прочтения:

• Уменьшение размера набора данных (меньше обучающих сэмплов) может ускорить обучение, но способно снизить точность.
• Уменьшение перемещаемого объема данных (например, сжатием или квантизацией) может ускорить инференс, а влияние на точность зависит от метода и калибровки.

С нашей нотацией мы можем записать точно:

«Уменьшение $D_{\text{vol}}$ квантизацией FP32-to-INT8 сокращает трафик параметров в памяти до одной четверти, тогда как $D$ (обучающие данные) остается неизменным.»

Наша нотация устраняет эту неоднозначность: «$\text{BW}$ ограничивает пропускную способность» имеет лишь одно прочтение.

Варианты с индексами

Прямой корень называет величину, а индекс — какой именно ее экземпляр имеется в виду. Соглашение разводит тесно связанные измерения, вместо того чтобы схлопывать их в один символ:

• ${\text{BW}}_{\text{disk}}$, ${\text{BW}}_{\text{network}}$, ${\text{BW}}_{\text{accelerator}}$: пропускная способность в трех точках тракта данных
• $D_{\text{vol}}$, $R_{\text{peak}}$, $L_{\text{lat}}$, ${\eta }_{\text{hw}}$: слагаемые железного закона, каждое отведено от распространенного символа МО
• $E_{\text{move}}$, $E_{\text{compute}}$, $E_{\text{total}}$: один энергетический бюджет, разделенный на обмениваемые части

Таким образом, индекс несет часть утверждения. Пропускные способности диска и ускорителя различаются на порядки, поэтому величина воспроизводима лишь тогда, когда индекс указывает, где она была измерена.

Уравнение деградации

Уравнение деградации — подогнанная локальная модель. Одного расхождения недостаточно, чтобы определить направление изменения точности, поэтому $\lambda$ оценивается по размеченным исходам. Некоторые символы ниже, такие как $\tau$, встречаются в тексте глав, а не в уравнении. $$\text{Accuracy}(t)\approx {\text{Accuracy}}_0-\lambda \cdot \mathcal{D}(P_t\Vert P_0)$$

Энергетическое следствие

При заданных эффективных стоимостях на байт и на операцию энергия рабочей нагрузки приближенно равна: $$E_{\text{total}}\approx D_{\text{vol}}\times E_{\text{move}}+O\times E_{\text{compute}}$$

Обозначения глубокого обучения

Эта книга следует стандартным соглашениям глубокого обучения Goodfellow et al., 2016 с явным разрешением неоднозначности для системных переменных.

Латинские матрицы и векторы набираются жирным ($\mathbf{W}$, $\mathbf{x}$); скаляры, размерности, индексы и отдельные элементы матриц остаются курсивными ($N$, $d$, $i$, $W_{ij}$). Общий символ параметров $\theta$ — единственное общепринятое исключение и остается курсивным. Локальная матричная алгебра следует тому же правилу жирного начертания: матричные операнды жирные ($\mathbf{A}$, $\mathbf{B}$, $\mathbf{C}$), как в общем матричном умножении (GEMM) $\mathbf{C}=\alpha \mathbf{AB}+\beta \mathbf{C}$. Жирное начертание помечает матричный операнд и отличается от курсивного скалярного размера батча $B$, который в скалярных контекстах остается размером батча.

Обозначения производительности, обслуживания и памяти

Повторно используемые величины производительности и обслуживания следуют тому же правилу избегания столкновений, что и железный закон. Для производительности используются $R$ или описательные греческие символы; число запросов обозначается $Q_{\text{req}}$, а не перегруженным $N$; загрузка очереди использует $\rho$ с индексом, чтобы голый $\rho$ оставался доступен для других моделей отношений.

Единицы и точность

• Физические единицы: В этой книге повсеместно используются единицы СИ (метрическая система), включая метры, килограммы, секунды, ватты и °C, в соответствии со стандартной инженерной и научной практикой. Там, где исходные данные первоначально приводились в имперских единицах, книга пересчитывает их в СИ и приводит исходные значения в скобках. Между числом и единицей всегда ставится пробел (например, 100 ms, 2 TB/s).
• Данные и память: В этой книге используются только десятичные префиксы СИ: KB = $10^3$ bytes, MB = $10^6$, GB = $10^9$, TB = $10^{12}$. Единицы с двоичными префиксами в тексте не встречаются; все емкости, пропускные способности и размеры моделей приводятся в десятичных единицах (например, 80 GB, 2 TB/s, 102 MB).
• Вычисления: Нотация различает число операций и производительность. Для суммарной работы используются FLOPs (например, GFLOPs, TFLOPs), тогда как для пропускной способности — FLOP/s с десятичными префиксами (например, GFLOP/s, TFLOP/s).
  • 1 TFLOP = $10^{12}$ FLOPs
  • 1 TFLOP/s = $10^{12}$ FLOPs в секунду
  • Арифметическая интенсивность по соглашению использует FLOP/byte как отношение единиц (операции с плавающей запятой на перемещенный байт). Это отношение единиц, а не символ суммарной работы и не символ пропускной способности.
• Валюты: Денежные суммы используют знак доллара ($); если не указано иное, затраты в долларах выражены в долларах США (USD).
• Точность:
  • FP64: двойная точность (8 bytes)
  • FP32: одинарная точность (4 bytes)
  • TF32: TensorFloat-32 (19-битный режим вычислений Tensor Core; входы и хранение остаются FP32)
  • FP16: половинная точность (2 bytes, стандартный диапазон)
  • BF16: Brain float (2 bytes, широкий динамический диапазон)
  • FP8: восьмибитная точность (1 byte, формат E4M3 или E5M2)
  • FP4: 4-битный формат с плавающей запятой
  • INT8: 8-битное целое (1 byte)
  • INT4: 4-битное целое; более низкие целые точности следуют тому же шаблону с заглавными INTn (например, INT3, INT2)

Краткий справочник: разрешение столкновений

Распространенные точки столкновений в литературе по системам машинного обучения:

Как общее правило, для одиночных букв приоритет имеют соглашения машинного обучения, тогда как системные концепции получают индексы или многосимвольные обозначения. Это отражает основную аудиторию (практиков машинного обучения, изучающих системы) и сохраняет совместимость с обширной литературой по машинному обучению.

Обозначения физического ИИ и воплощенных систем

Физический ИИ и воплощенные системы машинного обучения совмещают три различные технические традиции:

1. Машинное обучение и глубокое обучение (статистическая оптимизация, трансформеры, диффузионные политики, обучение с подражанием, авторегрессия, Action Chunking with Transformers).
2. Робототехника, механика и классическое управление (динамика многотельных систем, группы Ли $SE(3)$, кинематика твердого тела, устойчивость по Ляпунову, функции барьера управления, механика контакта, физика привода актуатора).
3. Встроенные системы и архитектуры реального времени (межсоединения системы на кристалле, конкуренция за кеш и шину памяти, аппаратная задержка прерываний, механизмы seqlock, CAN-FD/EtherCAT, аренды намерения, аварийные блокировки).

Поскольку каждая дисциплина десятилетиями независимо развивала свою математическую запись, их сочетание создает жесткие столкновения символов — «традиционные изъяны» киберфизической инженерии. Например, запись ${\nabla }_{\theta }{\pi }_{\theta }(\mathbf{a}\mid \mathbf{q})$ в ситуации, когда $\theta$ также обозначает углы шарниров, или запись ${\mathbf{a}}_t$ для действия, когда $\mathbf{a}$ обозначает декартово ускорение или ограничения барьера, смешивает пространственную механику с оптимизацией параметров и полномочиями исполнения управления.

Ниже мы формализуем междисциплинарный контракт разрешения неоднозначности, формулируем определяющие соотношения воплощенных систем и таблично представляем канонические символы, используемые на протяжении всей книги.

Междисциплинарное разрешение неоднозначности и традиционные изъяны

Когда динамика физического объекта управления встречается с глубокими нейронными сетями и встроенным аппаратным обеспечением реального времени, обычная математическая краткая запись перестает работать. Соглашения ниже систематически разрешают эти междоменные столкновения:

Определяющие соотношения

Воплощенный интеллект действует в условиях термодинамических, механических, кинематических и коммуникационных ограничений. Соотношения ниже формулируют эти ограничения символами, которые используют главы.

1. Бюджет задержки от восприятия до исполнения команды

Задержка превращается в ход еще до начала любой тормозящей силы. Суммарная предтормозная задержка ${\tau }_{\text{delay}}$ идет от обнаружения до тормозящей силы, и остановка, которую она оставляет, должна уложиться в свободное расстояние:

$${\tau }_{\text{delay}}=t_{\text{age}}+T_{\text{lease}}+T_{\text{tick}}+T_{\text{bus}}+T_{\text{act}}$$

$$v{\tau }_{\text{delay}}+\frac{v^2}{2a_{\text{eff}}}+{\delta }_{\text{loc}}+{\delta }_{\text{margin}}+{ϵ}_{\text{track}}\le D_{\text{clear}}$$

Время инференса расходуется на стороне предложения границы предложения. Оно увеличивает возраст свидетельств, лежащих в основе предложения, которые путь разрешения сверяет с истечением предложения, но оно не является ни слагаемым ${\tau }_{\text{delay}}$, ни частью периода контура разрешения $T_{\text{tick}}$, поскольку резервирование не ждет инициатора.

2. Ритм потоковой передачи фрагмента действий

Когнитивные нейронные политики не способны исполняться на килогерцовых частотах из-за пределов пропускной способности памяти. Фрагментирование действий предсказывает траекторию действий горизонта $H$ на более низкой когнитивной частоте $f_{\text{policy}}$, тогда как путевые точки фрагмента потребляются с частотой $f_{\text{exec}}$. Задержка потоковой передачи памяти должна оставаться ограниченной окном исполнения фрагмента:

$$t_{\text{stream}}=\frac{M_{\text{weights}}}{{\text{BW}}_{\text{mem}}}\le \frac{H}{f_{\text{exec}}}-t_{\text{compute}}$$

3. Динамические инварианты остановки, торможения и безопасного множества

Прямая инвариантность безопасного множества $\mathcal{C}$ требует, чтобы машина могла погасить все движение до достижения границы. Остановочный путь объединяет ход во время предтормозной задержки с тормозным путем, а его запасы добавляются в неравенство бюджета задержки выше:

$$d_{\text{stop}}(v)=v{\tau }_{\text{delay}}+\frac{v^2}{2a_{\text{eff}}}$$

4. Фазовый запас при дискретной выборке с удержанием нулевого порядка (ZOH)

Удержание дискретных команд управления неизменными в течение периода выборки $T_s=1/f_s$ вносит эффективную транспортную задержку в полпериода выборки, разъедая запасы устойчивости обратной связи:

$${\tau }_{\text{ZOH}}=\frac{T_s}{2},\Delta {\Phi }_{\text{total}}={\omega }_c\left({\tau }_{\text{comp}}+{\tau }_{\text{bus}}+\frac{T_s}{2}\right)\le {\text{PM}}_{\text{margin}}$$

5. Электромеханические инварианты актуатора и инварианты нагрева

Актуаторы ограничены нагревом медных обмоток, просадкой шины постоянного тока и магнитным насыщением. Поддерживаемый выходной момент определяется связанным электромеханическим балансом:

$$V_{\text{bus}}=L\frac{di}{dt}+R(T)i+K_e{\omega }_m,C_{\text{th}}\frac{dT}{dt}=I^{2}R(T)-\frac{T-T_{\text{amb}}}{R_{\text{th}}},\mathbf{\tau }=\eta N_{\text{gear}}{K}_{t}I$$

6. Архитектура защиты от опасностей и статистическая граница наработки

Интенсивности катастрофических отказов в воплощенных системах нельзя сертифицировать одним лишь стохастическим тестированием. Детерминированный защитный экран ограничивает суммарный риск системы, тогда как число испытаний без отказов следует правилу трех:

$$p_{\text{system}}=p_{\text{brain}}(1-c_{\text{shield}})\le p_{\text{target}},n\ge \frac{-\ln {\alpha }_{\text{sig}}}{p}$$

1. Состояние физического объекта, исполнение команд и кинематическая топология

2. Механика контакта твердого тела, конусы трения и центроидная динамика

3. Геометрия, пространственные преобразования и проекции восприятия

4. Классическое и современное управление (пространство состояний, наблюдатели, CBF-QP)

5. Глубокое обучение для робототехники (диффузионные политики, ACT, VLA)

6. Встроенные системы, кремниевое реальное время, тепловые вопросы и аппаратная безопасность

Предисловие

Кому эта книга

Этот учебник предназначен студентам компьютерных наук и инженерных специальностей, исследователям машинного обучения, инженерам-робототехникам и архитекторам встроенных систем, которые хотят строить воплощенные интеллектуальные системы, безопасно воспринимающие, рассуждающие и действующие в физическом мире.

Рекомендательная модель заканчивается на дисплее или человеческом решении, поэтому ее вычисление можно повторить или отменить до того, как что-либо за пределами компьютера отреагирует на результат. Ее ошибки все еще могут причинить вред, но только через того или то, кто или что отвечает на них.

В физическом ИИ программное обеспечение управляет материей, импульсом и энергией. Когда зрительно-языковая модель предлагает движение для мобильного основания или шарнирной роботизированной руки, исполнение пересекает каузальную границу в непрерывную ньютонову физику. Если команда исполнения превышает предел текучести редуктора или предел теплового рассеяния инвертора, физическое оборудование ломается. Как только кинетическая энергия высвобождена или материал поддается деформации, программное обеспечение не может отменить этот переход состояния.

Построение систем, выживающих в этой реальности, требует общей системной инженерной дисциплины, и читатели приходят к ней с трех направлений:

• Практики машинного обучения: Переход от точности на статическом тестовом наборе, оцениваемой на сохраненных датасетах. В физическом ИИ действия через замкнутый контур обратной связи меняют будущие сенсорные наблюдения ($s_{t+1}\sim P(s\mid s_t,a_t)$), поэтому политика уносится прочь от состояний, на которых ее обучали, а худший случай стоимости этого дрейфа растет с квадратом горизонта («Четыре фундаментальных закона»). Практики учатся формулировать политики непрерывных действий, оценивать выживаемость в замкнутом контуре и подавать непривилегированные предложения в независимый путь разрешения.
• Инженеры-робототехники и специалисты по управлению: Дополнение классических контуров обратной связи высокоемкими нейронными фундаментальными моделями. Современные модели зрение–язык–действие (VLA) обеспечивают семантическое понимание сцены с открытым словарем и мультимодальную генерализацию, но они суть обученные инициаторы, работающие на десятках герц с переменной задержкой, поэтому независимый путь разрешения, чья частота следует из бюджета остановки объекта управления, обязан проверять то, что они предлагают. Инженеры по управлению учатся строить этот путь, включая фильтры безопасности, такие как функции барьера управления, на кремнии реального времени.
• Архитекторы встроенных систем и кремния: Управление многотактным исполнением на гетерогенных платформах системы на кристалле (SoC). Архитекторы учатся изолировать высокопропускные нейронные ускорители от микроконтроллера безопасности, на котором работает путь разрешения, не допуская, чтобы конкуренция за коммутатор шины памяти, голодание прямого доступа к памяти (DMA) и просадка напряжения питания нарушали жесткие физические предельные сроки.

Зачем учебник по системам физического ИИ

Эта книга подходит к физическому ИИ с системной перспективы от первых принципов. Ее охват яснее всего виден рядом с двумя соседними видами книг, которыми она не является.

• Это не книга по классической теории управления: Мы не развиваем подробно преобразования Лапласа в непрерывном времени, контурные интегралы или доказательства устойчивости по Ляпунову. Формальные доказательства непрерывного управления и выводы достижимости собраны в приложениях тома для необязательного углубления.
• Это не традиционная книга по кинематике робототехники: Мы не разбираем параметрические матрицы Денавита–Хартенберга, каталоги передач прямой кинематики или специализированные эвристики механического проектирования.

Вместо этого мы рассуждаем от физических принципов (сохранение энергии и импульса, кинематика остановки, тепловое рассеяние и трение Кулона) и от архитектуры вычислительных систем (многотактные контуры исполнения, конкуренция за шину памяти, асинхронные очереди сообщений и пути разрешения, проверяющие обученные предложения).

Механизмы — до той глубины, которая меняет бюджет

Эта книга не рассматривает обученные модели или блоки управления как черные ящики, но и не обозревает их внутренности. Механизм появляется в основном тексте на той глубине, на которой он меняет число, которое машина должна закладывать в бюджет: задержку, след в памяти, запас хода или свидетельства, на которых может покоиться утверждение. Декодер фрагмента действий проявляется через горизонт, который он поставляет, и время, которое занимает новый фрагмент. Представление сцены проявляется через память, которую оно занимает, и возраст свидетельств, которые оно хранит. Барьерный фильтр проявляется через предпосылки, в которых нуждается его гарантия, и предельный срок, который он должен выдержать. Внутренние детали, не сдвигающие ни одного такого числа, включая арифметику патчевой токенизации и внимания, функции потерь декодера и методы восстановления поверхностей, вынесены в приложения по машинному обучению и управлению для желающих читателей.

Задержка — это расстояние

Машина продолжает движение, пока она воспринимает, принимает решения и ждет свои тормоза. Каждая миллисекунда между наблюдением и моментом, когда нарастает тормозная сила, расходуется как ход навстречу тому, чего машина не должна достигнуть, поэтому рабочая скорость, задержка, запас хода и тормозная способность образуют один бюджет, а не четыре отдельных спецификации. Книга строит этот бюджет для одной машины, добавляя каждое слагаемое в главе, которой оно принадлежит, начиная с остановочного пути тела в разделе «Кинетический импульс». Время вывода обученной модели попадает в бюджет только через возраст свидетельств, которые она передает дальше, потому что каждый такт решает, можно ли продолжать движение, путь разрешения, а не модель.

Что обещает эта книга

Эта книга не обещает машину, доказуемо безопасную. Никакая конечная кампания испытаний, фильтр времени выполнения или схема сертификации не дают этого для обученной системы в открытом мире, и главы говорят так всюду, где это важно. Книга учит нечто более узкое. Она показывает, как построить машину, чьи обученные предложения не могут санкционировать собственное движение, чей путь разрешения решает по свидетельствам известного возраста в пределах запаса, который задержка еще не израсходовала, и чья каждая гарантия записана вместе с предпосылками, на которых она покоится. Барьерный фильтр защищает объект управления, только пока держатся его модель, его оценка состояния, его полномочия актуатора и его предельный срок. Выпуск в эксплуатацию оправдан только для условий, которые покрывают его свидетельства. Предпосылка, которую свидетельства не могут урегулировать, ограничивает то, что машина может делать, вместо того чтобы быть выброшенной через предположение. Заключительная глава возвращается к вступительному вопросу с этим ответом. Гарантия условна, и инженерное дело — знать ее условия и фиксировать их.

Машина в пяти уровнях

Машина в этой книге имеет пять уровней. В Мозге обитают обученные инициаторы, которые пересматривают цели на нескольких герцах и выдают короткие последовательности действий на десятках герц. Ниже границы предложения Нервная система держит путь разрешения, который допускает, изменяет или отклоняет каждое предложение по свежему состоянию и владеет резервированием. Тело — это объект управления под его приводами, Граница — это место, где команды становятся током, а мир становится измерением, а Мир — это все, чем машина не владеет. Управление окружает все пять уровней как огибающая жизненного цикла, решая, кто может командовать машиной и какие свидетельства дают ей право работать. Мозг предлагает; разрешает только путь разрешения. Раздел «Машина в пяти уровнях» дает полную модель и ее частоты.

Три класса машин

Чтобы системные концепции оставались конкретными, этот учебник обосновывает свои принципы на трех классах машин из раздела «Три класса машин»:

1. Класс 1 · Мобильность, доминируемая массой (AMR и квадрупеды): Плоские транспортные основания и ногопоходные платформы (такие как Spot от Boston Dynamics), навигирующие по открытым объектам и пересеченной местности. Управляются импульсом транспортного средства, трением Кулона шина — дорога и стопа — грунт, кинематическими огибающими остановочного пути и конвейерами восприятия с несколькими камерами / лидаром в условиях искажений скользящего затвора.
2. Класс 2 · Манипуляция, доминируемая контактом: Многозвенные роботизированные руки, выполняющие сложные контактные задачи. Управляются нелинейной динамикой руки, приведенной инерцией ротора ($J_{\text{ref}}=N^2{J}_{\text{rotor}}$), податливостью циклоидного редуктора и сдерживанием контактной силы.
3. Класс 3 · Технологические и энергетические системы, доминируемые потоком: Высоконапорные гидравлические контуры, химические периодические реакторы и тепловые установки. Управляются энтальпийным обменом, динамикой жидкости в трубах, переходными процессами давления и необратимыми термодинамическими фазовыми переходами.

Сквозь всю книгу идет одна машина — складской мобильный манипулятор из раздела «Три класса машин», — и каждая глава добавляет в бюджеты этой машины то, чем она владеет. Каждая часть завершается проверкой своего закона на гуманоиде, который связывает все три класса на одном шасси.

Как читать эту книгу: последовательная дуга против модульного выбора

Этот учебник поддерживает два режима чтения:

Для последовательных читателей (накопительная учебная дуга)

Читатели, идущие от обложки до обложки, проходят введение, четыре части и заключение, и каждую часть ведет один из четырех законов книги. Раздел «Архитектура этой книги» прослеживает цепь протоколов, которые главы передают друг другу.

• Введение («Каузальная граница») спрашивает, что должна гарантировать машина, прежде чем предложение обученной модели превратится в физическую работу.
• Часть I: Анатомия машины превращает первый закон, необратимость, в бюджеты времени, расстояния, момента, тепла и напряжения.
• Часть II: Обучение машины спрашивает, на чем покоится компетенция обученного инициатора по второму закону, эндогенным данным, когда его собственные действия выбирают, что он увидит следующим.
• Часть III: Работа машины строит время выполнения вокруг третьего закона: предложение — не разрешение.
• Часть IV: Управление машиной применяет четвертый закон, свидетельства ограничивают полномочия, чтобы решить, кто может командовать машиной и при каких условиях она может работать.
• Заключение («Эпистемическая граница») отвечает на вступительный вопрос тем, что подтверждают свидетельства.

Для выборочного чтения и модульных курсов

Преподавателям и практикам часто нужно изучать одну тему изолированно, например конвейеры DMA датчиков, фрагментирование траекторий или функции барьера управления. Чтобы поддержать модульное использование без путаницы с необходимой подготовкой:

• Ориентация в начале каждой главы: Каждая глава начинается с раздела ориентации, который обрамляет основную проблему и формулирует ее физические ставки, а стек в начале каждой главы отмечает уровень, над которым работает глава.
• Явный базовый контекст: Всякий раз, когда глава опирается на ключевое понятие, установленное ранее (такое как граница предложения, бюджет остановки или три класса машин), текст дает немедленную встроенную пояснительную ориентацию и точную перекрестную ссылку на раздел.
• Самодостаточные разобранные примеры: Каждая глава содержит самостоятельные аналитические выводы, исполняемые расчеты на Python и промышленные разборы случаев, которые можно изучать независимо.

Стек упорядочен по частоте управления и полномочиям, а не только по программным зависимостям.

Стек без выделенного уровня обозначает главы об управлении, потому что управление — это огибающая вокруг всех пяти уровней, а не один из них.

Главы о теле, нервной системе и мозге выделяют свой уровень на стеке: «Физическое тело», «Нервная система» и «Когнитивный мозг».

Заметки на полях

На полях размещаются небольшие безнумерные визуальные заметки рядом с отрывком, где связь, разрыв масштаба или порог видны лучше всего. Это пособия для чтения, а не рисунки для цитирования, и они бывают пяти видов.

• Лестницы охватывают порядки величин (такие как частоты исполнения от переключения инвертора вниз до пересмотра моделью намерения или пропускные способности приема данных датчиков).
• Изломы порога отмечают точку, за которой тенденция перестает держаться (такую как приведенная инерция ротора, ограничивающая ускорение шарнира, рост силы с жесткостью контакта или рост хвостовой задержки с конкуренцией за шину памяти).
• Огибающие бюджета сопоставляют конкурирующие требования с предельным сроком (такие как времена шумоподавления диффузии против периодов управления или бюджеты цикла полевой шины).
• Полосы последовательности показывают многотактный тайминг (такой как рукопожатия полномочий, окна фрагментов скользящего горизонта или шаги, запечатывающие протокол).
• Каузальные цепи прослеживают, как распространяется отказ и как далеко он достигает (такое как путь от незамоделированного артефакта симулятора до поврежденной детали).