Введение в системы машинного обучения

Русский перевод первого тома учебника «Machine Learning Systems» (Harvard University) целиком: шестнадцать глав, четыре вводных части, приложения, глоссарий и список литературы вместе с рисунками, диаграммами и комментариями в коде. Перевод прошел сквозную вычитку: текст, формулы, рисунки, диаграммы, комментарии в коде и ссылки.

• Введение: зачем инженерии нужны принципы, отличные от традиционных, и как менялось узкое место в развитии ИИ.
• Системы машинного обучения: облачные, периферийные, мобильные и микроконтроллерные системы, а также стена памяти.
• Рабочий процесс машинного обучения: жизненный цикл ML от постановки задачи до мониторинга, распространение ограничений и пример скрининга диабетической ретинопатии.
• Инженерия данных: данные как исходный код, гравитация данных и налог на подачу, каскады качества, разметка, хранение и хранилища признаков, а также пример распознавания ключевых слов.
• Вычисления в нейронных сетях: от логики к арифметике, перцептрон и функции активации, обратное распространение ошибки, память при обучении и выводе, а также история распознавания рукописных цифр.
• Архитектуры нейронных сетей: MLP, CNN, RNN, трансформеры и DLRM как физические контракты с аппаратурой: паттерны данных, индуктивные смещения, арифметическая интенсивность, маячные модели и схема выбора архитектуры.
• Фреймворки машинного обучения: фреймворк как компилятор для кремниевого контракта, три проблемы (исполнение, дифференцирование, абстракция аппаратуры), стратегии исполнения и слияние ядер, автоматическое дифференцирование и контрольные точки, модули и тензоры, развертывание от облака до микроконтроллеров.
• Обучение моделей: железный закон производительности обучения, конвейер обучения и выявление узких мест, смешанная точность, FlashAttention, накопление градиентов и масштабирование на несколько ускорителей и машин.
• Отбор данных: отношение информации к вычислениям, статическое прореживание и дедупликация, динамический отбор с учебным планом и активным обучением, полуконтролируемое и самоконтролируемое обучение, синтетические данные и доменный разрыв, модели стоимости и распределенный отбор.
• Сжатие моделей: прореживание, дистилляция, квантование и квантование с учетом обучения, поиск нейронной архитектуры, структурные аппроксимации, слияние операторов, адаптивные вычисления, разреженность и выбор техники под физические ограничения.
• Аппаратное ускорение: специализация аппаратуры, примитивы вычислений ИИ, тензорные ядра и систолические массивы, тайлинг и числовая точность.
• Бенчмаркинг: рамка бенчмаркинга, системные бенчмарки и уровни детализации, компоненты бенчмарка, измерение энергопотребления и MLPerf.
• Обслуживание моделей: парадигмы обслуживания, бюджет задержки, архитектура системы обслуживания, теория очередей и хвостовая задержка.
• MLOps: технический долг, конвейеры CI/CD и хранилища признаков, мониторинг дрейфа и стоимость наблюдаемости, развертывание и откаты, A/B-тестирование, Edge AI, дежурство и управление, пример ClinAIOps.
• Ответственная инженерия: ответственность как инженерное ограничение, оценка справедливости по подгруппам и компромиссы с точностью, объяснимость и регуляторные требования, стоимость владения и углеродный след, управление данными, родословная и аудит.
• Заключение: синтез тринадцати количественных принципов, маячные модели, каскад ограничений, будущие направления и горизонт от узла к парку.
• Принципы основ, Принципы построения, Принципы оптимизации, Принципы развертывания: введения к четырем частям книги с формулировками принципов.
• Приложения: Таксономия D·A·M, Основы данных, Основы алгоритмов, Основы машины, Системные допущения; Глоссарий и Список литературы (записи, которые цитируются в томе, на языке оригинала).
• Предисловие и служебные разделы: Посвящение, Предисловие, Заметка автора, О книге, Благодарности, Примечание об использовании ИИ, Обозначения.

Сведения об авторстве и лицензии — на странице Уведомление об авторстве. Что изменено при переносе и как переведены рисунки — на странице Происхождение материалов.