Принципы развертывания в масштабе
Части I и II построили парк и обучили модель. Теперь испытанием операционной ответственности становится промышленное развертывание. Часть III смещает фокус с одного огромного запуска обучения на глобальный парк инференса: тысячи географически распределенных серверов и миллиарды граничных устройств, которые в реальном времени отдают пользователям результаты модели. Переход от обучения к промышленной эксплуатации в корне меняет инженерные ограничения: вместо максимизации пропускной способности на статичном наборе данных задача состоит в минимизации задержки на динамичном потоке запросов, и все это в рамках физики глобального обслуживания.
В этом режиме инженерия превращается в переговоры с пользовательским опытом. Система может оптимизироваться под высокую пакетную пропускную способность в дата-центре, но рискует нарушить бюджет задержки пользователя. Развертывание модели на границе устраняет сетевую задержку, но вводит жесткие ограничения по памяти и мощности мобильного оборудования и оборудования интернета вещей (IoT). Эти принципы управляют инженерией производительности и операционной экономикой развертывания интеллекта в масштабе.
Первое ограничение накладывает сама механика генерации.
Принцип «авторегрессивное узкое место»
Инвариант: при декодировании плотных трансформеров с малым батчем пропускная способность ограничена пропускной способностью памяти, потому что веса модели приходится прогонять через устройство для каждого сгенерированного токена. Большие батчи амортизируют потоковую загрузку весов, а трафик кэша ключей и значений (KV) смещает определяющее ограничение при длинном контексте.
Следствие: сначала пропускная способность растет вместе с размером батча, потому что чтения весов амортизируются между запросами, пока ограничивающим потолком не станут бюджеты задержки на устройство, емкость KV-кэша или устойчивые вычисления. Поэтому системам обслуживания нужны политики батчинга, управления кэшем и раскладки памяти, которые сохраняют полезность пропускной способности без нарушения SLO по задержке.
Тот же учет переходит от пропускной способности устройства к экономике парка.
Принцип «закон доминирования стоимости обслуживания»
Инвариант: для промышленных моделей с высоким трафиком суммарная стоимость инференса за время жизни модели может превышать разовую стоимость обучения в 10–100.
Следствие: эффективность инференса часто становится главной целью оптимизации жизненного цикла. Усилия по оптимизации (квантование, дистилляция, разреженность) следует направлять на путь инференса, когда объем трафика, срок жизни продукта и частота переобучения делают стоимость обслуживания доминирующей.
В масштабе политика маршрутизации становится еще одним рычагом защиты задержки.
Принцип «сила двух выборов (P2C)»
Инвариант: в идеализированном процессе, где независимых запросов последовательно размещаются по репликам, а каждый запрос выбирает реплики независимо и равновероятно, опрос двух реплик и выбор менее загруженной снижает максимальную нагрузку с границы одного выбора до с высокой вероятностью.
Следствие: простые рандомизированные алгоритмы балансировки нагрузки дают резко более низкие границы максимальной нагрузки при накладных расходах координации . При допущениях теории очередей обслуживания меньшая максимальная нагрузка превращается в снижение хвостовой задержки в масштабе.
Часть III переносит обученную модель из кластера в мир. Путь начинается с инженерии производительности, где выбор точности, поведение ядер и компиляция определяют, какую долю теоретической мощности железа система реально способна использовать. Затем следует инференс в масштабе, где батчинг запросов, управление кэшем, маршрутизация и шардинг превращают эффективность одного устройства в управление задержкой на уровне парка. Граничный интеллект переносит ту же дисциплину на устройства с гораздо меньшими бюджетами памяти, мощности и связности, а эксплуатация в масштабе замыкает цикл: она отслеживает развернутый парк, согласует владение платформой и реагирует, когда поведение в промышленной эксплуатации расходится с проектными допущениями. Вместе эти главы развивают операционную дисциплину, которая превращает обученную модель в устойчивую промышленную систему.