Заметка автора

Когда объявляют новую модель, мир смотрит на модель. На парк он почти никогда не смотрит.

За многими передовыми моделями, однако, стоят тысячи ускорителей, которые работают в жесткой синхронности через сеть, где одно медленное соединение может остановить весь запуск; которые охлаждаются системами, отводящими мегаватты тепла; которые поддерживаются в рабочем состоянии протоколами, которые считают отказ не исключением, а плановым событием. Ничто из этого не помещается в объявление. Модели достается статья. Парку достается сноска, и то не всегда.

Эта книга — аргумент в пользу того, что парк заслуживает большего, чем сноска. Огромные распределенные системы мы строили и раньше, но ни одна не была похожа на эту, потому что ни одной из них не требовалось быть правой сразу в двух вещах. Телефонная сеть должна была оставаться доступной; сходиться ей не требовалось. Интернет должен был доставить пакет; сохранять градиент внутри него ему не требовалось. Парк должен делать и то и другое. Он обязан перемещать данные, как любая распределенная система, и при этом сохранять в целости математику обучения. Выбывший узел стоит не только мощности: он может сломать синхронизацию, от которой зависит шаг обучения, и вынудить откат, из-за которого пропадает работа с момента последней контрольной точки. Эта двойная обязанность, вычислительная и статистическая, которую приходится выдерживать в масштабе небольшого кампуса, и есть та инженерия, которую делает видимой эта книга.

Обязанность не заканчивается вместе с обучением. Модель, которую нельзя обучить, — идея, а не система. Модель, которую нельзя обслуживать, — результат исследования, а не продукт. Модель, которой нельзя управлять, — обуза, а не актив. На каждом этапе, от первого выделенного узла до последнего обслуженного запроса, именно парк решает, что возможно, а что остается воображаемым.

Проблема, лежащая под каждой главой, формулируется легко и решается трудно: что нужно, чтобы построить не одну систему машинного обучения, а тысячу, заставить их работать как одну и эксплуатировать их ответственно. Я считаю это определяющей инженерной задачей нашего поколения, а тех, кто за нее берется и кому редко достаются заголовки, — заслуживающими книги, которая относится к ней именно так.

— Vijay Janapa Reddi
Кембридж, Массачусетс
2026