Об авторе
Vijay Janapa Reddi (Виджай Джанапа Редди) — профессор Gordon McKay по электротехнике и компьютерной инженерии Гарвардского университета и приглашенный профессор ETH Zurich в Лаборатории интегрированных систем (Integrated Systems Laboratory, IIS), D-ITET. Он — соучредитель и вице-президент MLCommons и автор открытого справочного текста Machine Learning Systems.
Его исследования лежат на пересечении компьютерной архитектуры, систем машинного обучения и периферийной робототехники (edge robotics), фокусируясь на том, как вычислительное оборудование и обученное программное обеспечение совместно проектируются для взаимодействия с физическим миром. На протяжении последнего десятилетия его работа была сосредоточена на демократизации прикладных систем через открытое образование и воспроизводимые бенчмарки, напрямую связывающие кремниевые ограничения от первых принципов с доступным обучением, проверенным на стенде.
Зачем я пишу эту книгу: системная позиция от первых принципов
Каждый учебник отражает интеллектуальную родословную, предубеждения и оптику своего автора. Я хочу явно обозначить точку зрения, стоящую за этой книгой.
Я не классический теоретик управления и не специалист по механической кинематике и не притворяюсь им. Я приношу перспективу архитектора компьютерных систем и исследователя систем машинного обучения (MLSys), идущего к первым принципам.
Моя интуиция в этой области восходит к моему выпускному проекту по мехатронике. Будучи студентом электротехнической и компьютерной инженерии, в этом проекте я впервые должен был собрать все воедино — аналоговые схемы, обработку сигналов датчиков, микроконтроллеры, драйверы двигателей, механические передачи и встроенное программное обеспечение — в единую работающую машину. Именно тогда я осознал, что программное обеспечение нельзя проектировать в отрыве от физической реальности: обмотки двигателя нагреваются, силовые шины проседают при резком ускорении, а измерения датчиков стареют в тот самый миг, когда происходит физическое преобразование.
Более двадцати лет — от архитектуры производительности мобильных систем на кристалле (SoC) и периферийного ИИ-кремния в Google до соучреждения MLCommons/MLPerf для установления стандартов эмпирического бенчмаркинга ИИ-ускорителей и работа у истоков движения TinyML по сжатию нейронных сетей до микроваттных микроконтроллеров, — моя работа обитала на физической границе, где программные биты встречаются с физическим кремнием и энергетическими ограничениями.
Физический ИИ возвращает меня по кругу к тому мехатронному проекту, но с глубоким поворотом. В классической мехатронике мы замыкали контур с помощью составленной вручную детерминированной логики: ПИД-регуляторов, конечных автоматов и аналитических моделей. В физическом ИИ мы встраиваем высокоемкие стохастические нейронные сети — фундаментальные модели, диффузионные политики и обученные декодеры — в тот самый непрощающий контур. Инженерная задача уже не просто заставить машину двигаться; она в том, как безопасно замкнуть контур вокруг непроверенного стохастического мозга, используя детерминированные системы и принципы безопасности.
Этот бэкграунд формирует то, что я хочу, чтобы студенты поняли. Предложенное моделью действие должно пройти через вычислительную систему, прежде чем физическая машина сможет его выполнить. Я хочу, чтобы читатели проследили этот путь и спросили, что может помешать действию быть выполненным так, как задумано. Тайминг вычислений, возможности тела и предпосылки, лежащие в основе проверок команд, все важны для этой оценки. Пояснения должны сделать эти взаимодействия понятными до того, как потребуется специализированная математика или детали реализации.
Этот учебник — моя попытка поделиться этой фундаментальной системной перспективой с новым поколением инженеров, робототехников и компьютерных ученых. Это книга, которую я хотел бы дать своим собственным студентам, когда они мостят путь от систем машинного обучения к физическому миру.
Интеллектуальная родословная и системная траектория
Эта системная траектория от первых принципов охватывает три крупные эпохи:
- Кремниевая реальность и мобильная архитектура: Обоснована компьютерной архитектурой, маломощными микроархитектурами и проектированием мобильных систем на кристалле (SoC) (включая архитектуру производительности периферийного ИИ-кремния в Google). Эта работа обращалась к физическим реальностям вычислений: конкуренцию за шину памяти при высокопропускных камерных потоках, снижение частоты из-за перегрева в жестких огибающих рассеиваемой мощности и задержки прерываний при предельных сроках жесткого реального времени.
- Системы ML и движение TinyML: Мост между алгоритмическими абстракциями машинного обучения и исполнением на кремнии. Он соучредил MLPerf для установления глобального стандарта бенчмаркинга оборудования и программного обеспечения ML и стоял у истоков движения TinyML, разработав учебную программу Harvard CS249r и программу HarvardX TinyML (охватившую более 100 000 учащихся по всему миру), чтобы перенести глубокие нейронные модели на микроваттные микроконтроллеры.
- Замыкание контура восприятия и действия в физическом ИИ: Расширение этой системной перспективы на машины, чьи обученные модели предлагают физические действия. Фокус — на том, как взаимодействуют восприятие, вычисления и отклик тела, и на условиях, при которых предложенное действие может быть исполнено.
Разработка комплекта и лабораторных работ
Разработка практических лабораторных работ со стендом и опорной аппаратной платформы (Physical AI Kit на базе Arduino UNO Q Dual-Brain) ведется совместно с доктором Andrea Mattia Garavagno, постдокторским исследователем Лаборатории интегрированных систем (IIS), D-ITET при ETH Zurich.
Эта работа ставит целью перевести системные идеи книги в упражнения по прошивке и программному обеспечению, которые студенты и практики могут воспроизвести и изучить на стенде.