Принципы развертывания

Код может быть корректным, а бенчмарки отличными, и все же система может отказать. Часть IV переходит от контролируемой среды к эксплуатации, где ML-системы сталкиваются с дополнительной угрозой — тихим распадом. ML-система может продолжать выдавать уверенные, хорошо оформленные и ошибочные ответы по мере того, как мир уходит от распределения ее обучения. При развертывании среда данных выходит из-под контроля инженера и может нагрузить обученный алгоритм и обслуживающую машину так, как не предусмотрел ни один тестовый набор. Поэтому надежность — это непрерывный контур управления совместным проектированием D·A·M, а не ворота однократного выпуска. Принципы здесь определяют требования и диагностические модели для этой надежности.

Разрыв верификации

Инвариант: статистическая верификация действительна только на заданной популяции развертывания $P_{\text{deploy}}$, при заданном расстоянии задачи $d$, допуске $\tau$ и целевой ошибке $ϵ$, оцениваемых конечно-выборочной процедурой с заявленным уровнем доверия: $$\underset{(x,y)\sim P_{\text{deploy}}}{\mathrm{Pr}}\left[d(f(x),y)\le \tau \right]\ge 1-ϵ$$

Следствие: развертывание — не одностороннее перенесение; это контур управления. Поскольку никакой набор тестов не может покрыть каждый возможный реальный вход, производственные системы должны отслеживать собственную неопределенность и корректно отказывать, когда выходят за пределы известной области производительности.

Разрыв верификации означает, что конечная оценка может лишь приблизительно определить поведение на заданной популяции с неопределенностью. Эти границы могут размываться, когда эксплуатационные данные расходятся с данными, на которых их устанавливали.

Диагностика статистического дрейфа

Инвариант: расхождение между эксплуатационным и базовым распределениями само по себе не определяет, меняется ли точность; на измеренном диапазоне развертывания размеченные исходы могут подчиняться локальной линейной зависимости: $$\text{Точность}(t)\approx {\text{Точность}}_0-\lambda \cdot \mathcal{D}(P_t\Vert P_0)$$ где $P_0$ — базовое распределение, ${\text{Точность}}_0$ — производительность модели на $P_0$, $\mathcal{D}(P_t\Vert P_0)$ — статистическое расхождение между текущим и базовым распределениями, а $\lambda$ подгоняется по размеченным исходам, а не выводится из одного лишь расхождения. Рассмотрим модель кредитного скоринга, обученную на поведении заемщиков 2020 года. Через два года растут инфляция, меняются процентные ставки и кредитная политика. Система по-прежнему выдает баллы, но статистическая связь между входами и исходами могла измениться; мониторинг размеченных исходов определяет, упала ли реальная точность, в то время как обычные журналы ошибок молчат. В отличие от многих традиционных программных сбоев, которые обычно обнаруживаются по падениям, исключениям или явным сигналам о состоянии сервиса, ML-системы могут отказывать незаметно, потому что среда меняется, даже когда код и инфраструктура остаются прежними. Эта линеаризация первого порядка применима только в пределах измеренного диапазона; зависимость зависит от модели и при сильном дрейфе может быть нелинейной.

Следствие: наблюдаемость должна выходить за рамки системных метрик (задержки, ошибки) и сочетать сигналы статистического дрейфа с размеченными исходами. Система может оставаться работоспособной, пока качество предсказаний меняется, но один лишь мониторинг дрейфа не устанавливает деградации.

Внешний дрейф — не единственная угроза. Даже когда мир неподвижен, сам конвейер обслуживания может расходиться с моделью, проверенной офлайн.

Диагностика перекоса обучения и обслуживания

Инвариант: пути кода обучения и обслуживания могут расходиться на одинаковых входах, и это расхождение измеримо без меток. Для скалярных оценок модели определим расхождение обучения и обслуживания как ожидаемую абсолютную разницу между двумя функциями на заданном распределении сравниваемых входов: $$S_{\text{skew}}=\mathbb{E}[|f_{\text{serve}}(x)-f_{\text{train}}(x)|]$$ Точная связь между $S_{\text{skew}}$ и точностью зависит от функции потерь, геометрии границы решения и эксплуатационного распределения. Необъясненное расхождение ослабляет предположение, что офлайн-валидация оценивает поведение в эксплуатации, и может вызывать незаметную потерю точности, но $S_{\text{skew}}$ — не универсальное уравнение потери точности. Такое расхождение возникает из-за несогласованной логики предобработки, различий в реализациях библиотек, устаревших значений признаков или изменений состояния среды между двумя путями кода.

Следствие: согласованность признаков — архитектурное требование, а не просто хорошая практика. Хранилища признаков — больше чем кэши; они могут уменьшить перекос, централизуя определения признаков и их выдачу. Командам все равно нужна валидация свежести, корректности на момент времени, а также паритета предобработки, среды выполнения модели и постобработки. Даже тонкие различия (изменение размера в PIL против OpenCV, нормализация в FP64 против FP32) могут накапливаться и порождать незаметную деградацию точности, которую стандартный мониторинг может не обнаружить.

Под всеми этими проблемами надежности лежит неотъемлемое ограничение: время. Система медицинской визуализации, которая обнаруживает опухоли с точностью 99 процентов, но тратит 30 секунд на снимок, может не уложиться в сроки рабочего процесса. Модель восприятия беспилотного автомобиля, которая правильно классифицирует препятствия, но реагирует за 200 мс вместо 50 мс, может не уложиться в срок торможения. Правильный результат может не иметь эксплуатационной ценности, если прибудет слишком поздно. Развернутые модели с чувствительной к задержке работой действуют под дедлайном, и его превышение может функционально равняться отсутствию предсказания.

Принцип бюджета задержки

Инвариант: при последовательном учете пути запроса сквозная задержка равна сумме задержек сети, предобработки, вывода, постобработки и очереди, а развертывание укладывается в свой срок только на заявленной квантили завершения: $$L_{\text{lat,total}}=L_{\text{lat,net}}+L_{\text{lat,pre}}+L_{\text{lat,infer}}+L_{\text{lat,post}}+L_{\text{lat,queue}},\mathrm{Pr}[L_{\text{lat,total}}\le D]\ge q$$

Следствие: в обслуживании, чувствительном к задержке, продукт выбирает дедлайн и приемлемую квантиль завершения, например 0,95, 0,99 или 0,999, а пропускная способность оптимизируется в рамках этого ограничения. Системы обслуживания должны реализовывать средства управления хвостовой задержкой (например, динамический батчинг с ограниченной задержкой или хеджированные запросы). Системы обслуживания должны быть готовы пожертвовать общей пропускной способностью ради того, чтобы уложиться в срок самого старого запроса в очереди.

Система может выполнять свои SLO по задержке, обнаруживать измеренные сдвиги распределения и поддерживать согласованность обучения и обслуживания и при этом систематически наносить вред. Предыдущие принципы касаются незаметных сбоев корректности и качества обслуживания; этот принцип касается сбоев, которые ухудшают справедливость через незаметное усиление.

Модель смещения обратной связи

Инвариант: когда выходы влияют на будущие входы, сегодняшнее неравенство становится входом следующего цикла обучения, поэтому неравенство эволюционирует как динамическая система, а не остается неизменным. Пусть ${\Delta }_g(k)\ge 0$ обозначает величину неравенства для группы $g$ относительно заданной опорной группы после $k$ фиксированных интервалов обратной связи. Без эффективного вмешательства и при примерно постоянном безразмерном коэффициенте обратной связи ${\alpha }_{\text{fb}}>0$ неравенство может эволюционировать так: $${\Delta }_g(k)\approx {\Delta }_g(0)\cdot {\alpha }_{\text{fb}}^k$$ где ${\Delta }_g(0)$ — начальная величина неравенства относительно этой опорной группы, а ${\alpha }_{\text{fb}}$ подгоняется для каждого интервала обратной связи. Рассмотрим модель одобрения кредитов, которая чаще отказывает заявителям из исторически недообслуживаемых сообществ. Получившие отказ не могут создать кредитную историю, из-за этого будущие заявки становятся слабее, а доля отказов растет. Точность модели на ее обучающем распределении остается стабильной, но население, которое она обслуживает, изменено ее собственными решениями. При ${\alpha }_{\text{fb}}>1$ в этих допущениях петля обратной связи самоусиливающаяся; при ${\alpha }_{\text{fb}}\le 1$ моделируемая динамика устойчива или затухает. Реальные развертывания могут быть также нелинейными, насыщающимися или меняться из-за вмешательства.

Следствие: справедливость — не постэксплуатационный аудит; это ограничение устойчивости контура управления развертыванием. Там, где значимое воздействие оправдывает это, а сбор или использование групповых атрибутов законны и обоснованы, системы должны отслеживать метрики производительности с разбивкой по релевантным демографическим группам с той же строгостью, что и перцентили задержки, потому что регресс смещения может быть невидим для совокупной точности так же, как нарушение хвостовой задержки невидимо для средней задержки.

Вместе пять принципов задают контур управления развертыванием: он устанавливает, что подтверждают данные, наблюдает за работающей системой и средой, действует только тогда, когда измеренный сбой оправдывает вмешательство, и переоценивает соответствующий критерий сервиса, предсказания или подгруппы. Они отделяют диагноз от реакции. Сигнал сужает расследование, но не предписывает автоматического вмешательства и не доказывает, что качество уже деградировало.

Часть IV делает этот контур конкретным. Обслуживание моделей создает инфраструктуру, которая укладывается в бюджеты задержки при переменном трафике. MLOps обнаруживает дрейф и перекос, сохраняя доказательства, нужные для диагностики и реакции. Ответственная инженерия рассматривает справедливость и обратную связь как измеримую динамику развертывания, а не как разовую проверку соответствия. Книга замыкает эти эксплуатационные механизмы контроля на количественных границах и моделях, разработанных в предыдущих частях.