Масштабирование систем машинного обучения

Русский перевод тома II учебника «Machine Learning Systems» (Harvard University) целиком: семнадцать глав, четыре страницы с принципами частей, вводные материалы, семь приложений, глоссарий и список литературы вместе с рисунками, диаграммами и комментариями в коде. Том посвящен тому, как системы машинного обучения переходят от одной машины к парку серверов: вычисления, сеть, хранение, распределенное обучение, отказоустойчивость, инференс, эксплуатация, безопасность и ответственная инженерия. Перевод прошел заключительную вычитку: терминология, формулы, ссылки между главами и приложениями, подписи и содержимое рисунков.

• Введение: почему принципы, которые работают на одной машине, ломаются в масштабе; момент масштаба, стены памяти, сети и энергии; разрыв надежности; законы масштабирования; таксономия C³ и закон парка.
• Вычислительная инфраструктура: спектр ускорителей, стена памяти и HBM, модель Roofline, узел, стойка и под, подача энергии и охлаждение, складской вычислитель и технологии, сдвигающие стены.
• Сетевые фабрики: назначение, магистраль синхронизации, почему сети ML переворачивают допущения дата-центров, пятиуровневая модель (провод и канал; RDMA и модель производительности α-β; коммутаторы и топология; управление перегрузкой и инкаст; проектирование кластеров, оптика и мониторинг), заблуждения и итоги.
• Хранение данных: иерархия хранилищ от HBM до архива, обрывы пропускной способности, уравнение конвейера данных, GPUDirect Storage, контрольные точки и экономика хранения.
• Распределенное обучение: зачем нужно распределение, физика кластера, шаг распределенного обучения, параллелизм по данным, ZeRO и FSDP, эффективность масштабирования и сходимость, параллелизм модели (тензорный, конвейерный, по последовательности и контексту), серверы параметров, смесь экспертов, FP8, гибридный 3D-параллелизм, Blackwell, RLHF и DPO, сравнение стратегий, заблуждения и итоги.
• Коллективные коммуникации: модели стоимости α-β и LogP, примитивы AllReduce, AllGather, ReduceScatter и AllToAll, кольцевой, древовидный и двойной древовидный алгоритмы, иерархическая коммуникация и SHARP, маршрутизация с учетом топологии, сжатие градиентов, перекрытие вычислений и коммуникационные библиотеки.
• Отказоустойчивость: анализ отказов в масштабе, закон MTBF и кривая ванны, аппаратные и программные отказы, тихое повреждение данных, инъекция неисправностей, контрольные точки с оптимальным интервалом Янга–Дэйли, обнаружение отказов и восстановление, эластичное восстановление, отказоустойчивость обслуживания, постепенная деградация, распределенная отладка и наблюдаемость, разборы случаев, заблуждения и итоги.
• Оркестрация парка: проблема планирования, распределенная сложность и отказы в масштабе, цели и их конфликты, упаковка и фрагментация, gang-планирование и взаимные блокировки, парадигмы Slurm и Kubernetes, планирование с учетом топологии, эластичное планирование, оптимизация стоимости, специализированные планировщики для ML, управление ресурсами обслуживания, многоарендность и квоты, отладка загрузки кластера.
• Инженерия производительности: назначение, железный закон производительности, стена памяти и модель Roofline, режимы обслуживания, слияние операторов и CUDA-графы, FlashAttention, инженерия точности, компиляция графов, спекулятивное декодирование и смесь экспертов, перекрытие коммуникации и вычислений, системное профилирование, измерения в масштабе и руководство по оптимизации на примере LLM на 70 млрд параметров.
• Инференс в масштабе: назначение и экономика инференса, когда обслуживания на одной машине недостаточно, налог на обслуживание, фундаментальная инверсия обучения и инференса, иерархия обслуживания, измерения архитектуры обслуживания, стратегии батчинга, управление памятью и декодированием, шардирование модели, балансировка нагрузки, многопользовательский режим, автомасштабирование, квантование весов, примеры из практики, заблуждения и итоги.
• Граничный интеллект: назначение, парадигма граничного обучения, ограничения проектирования, адаптация модели, эффективность данных, федеративное обучение, непрерывная адаптация, интеграция в продакшн, инженерные задачи, заблуждения и ловушки, итоги.
• Эксплуатация ML-систем в масштабе: назначение, портфель и плоскость управления, проблема N моделей, экономика парка и загрузки, управление состоянием и изменениями, CI/CD для ML в масштабе, мониторинг в масштабе, платформенная инженерия, эксплуатация хранилища признаков, организационные паттерны, кейсы платформ, отладка в продакшене и реагирование на инциденты, заблуждения и ловушки, итоги.
• Безопасность и приватность: назначение, расширенная поверхность атаки, уроки из нарушений безопасности, системный анализ угроз, векторы атак на модели (кража, отравление данных, состязательные атаки) и на LLM, аппаратные уязвимости, защитные архитектуры, дифференциальная приватность, модель зрелости и итоги.
• Надежный ИИ: назначение, проблема тихого отказа, реальные сбои надежности (облако, граничные устройства, встроенные системы), единая схема надежности, три опоры, диагностика маскировки, общие принципы надежности, матрица оценки и интеграция по конвейеру ML; изменения среды (сдвиг распределения и дрейф концепта, мониторинг и адаптация, количественное обнаружение дрейфа, селективное и конформное предсказание, надежность генеративного ИИ); состязательные атаки и отравление данных, защиты от состязательных атак и отравления, заблуждения и ловушки, итоги.
• Устойчивый ИИ: энергетический потолок, измерение энергии и моделирование, расчет углеродного следа, энергия дата-центров и потребление ресурсов (PUE, WUE), энергия обучения и инференса, жизненный цикл оборудования и электронные отходы, смягчение последствий, политика и регулирование, заблуждения и ловушки, итоги.
• Ответственный ИИ: императив управления, базовые принципы и жизненный цикл машинного обучения, ответственный ИИ в разных средах развертывания, обнаружение смещения и мониторинг справедливости, приватность, разобучение и средства устойчивости, объяснимость и интерпретируемость, социотехническая динамика, трудности внедрения и безопасность ИИ, заблуждения и ловушки, итоги.
• Заключение: синтез распределенных ML-систем, шесть принципов тома, полная производственная система, освоенные компетенции, дисциплина стека парка, инженерный интеллект в масштабе, заблуждения и ловушки, итоги.
• Принципы частей: Принципы парка, Принципы распределенного ML, Принципы развертывания в масштабе, Принципы ответственного парка.
• Приложения: Основы D·A·M, Таксономия C³, Основы парка, Коммуникация, Основы надежности, Основы инференса, Допущения системы; Глоссарий и Список литературы.
• Вводные материалы: Посвящение, Заметка автора, Предисловие, Благодарности, Примечание об использовании ИИ, Обозначения.

Сведения об авторстве и лицензии — на странице Уведомление об авторстве. Что изменено при переносе и как переведены рисунки — на странице Происхождение материалов.

Оригинал: mlsysbook.ai/vol2.