Принципы ответственного парка
Части I–III построили парк машинного обучения, согласовали его обучение и оптимизировали его развертывание. Часть IV закладывает ответственный парк: инженерный слой, который определяет, служит ли парк пользователям безопасно или вредит им. Безопасность, приватность, устойчивость и экологичность — инженерные ограничения с той же физической и математической силой, что пропускная способность, мощность или задержка.
Самая трудная инженерная область парка — социотехническая петля обратной связи. Одним алгоритмом нельзя исправить смещение, и одним алгоритмом нельзя защитить модель. Ответственная эксплуатация требует систем мониторинга, верификации и управления вокруг парка. Система, которая игнорирует эти ограничения, терпит операционный провал: регуляторное закрытие, нарушение безопасности или исчерпание ресурсов окружающей среды. Эти принципы определяют границы ответственной инженерии в масштабе.
Первая граница — то, что парк может раскрыть.
Принцип «инвариант утечки информации»
Инвариант: утверждение о приватности должно называть защищаемую единицу и наблюдения, доступные противнику. Пусть — обучающая запись одного защищаемого человека, а — наблюдаемый выход модели. Утечка информации об этой записи присутствует, когда но сама полезность модели это условие не подразумевает. Здесь обозначает взаимную информацию.
Следствие: приватность — бюджет, а не переключатель. Постфактумная анонимизация входных записей не удаляет чувствительную информацию, уже запомненную в весах модели. Системам, которым нужны формальные гарантии приватности на уровне записей, следует применять там, где это уместно, такие механизмы, как дифференциальная приватность (DP): DP ограничивает влияние добавления или удаления одной защищаемой записи на анализ данных или процедуру обучения, а интерактивные системы запросов должны учитывать композицию и могут перестать отвечать, когда система исчерпает выделенный бюджет приватности.
Приватность определяет, что парк может раскрыть; устойчивость определяет, насколько надежно он ведет себя, когда входы подобраны так, чтобы использовать его слабости.
Принцип «вычислительный штраф за устойчивость»
Инвариант: достижение собственной состязательной устойчивости часто требует обучения на возмущениях. Состязательное обучение в стиле проекционного градиентного спуска (PGD) заметно увеличивает вычисления, потому что каждый батч проходит несколько внутренних шагов атаки; стоимость зависит от силы атаки и процедуры обучения.
Следствие: «бесплатной» устойчивости не бывает. Построение защищенных моделей вычислительно дорого. Для многих приложений эффективнее положиться на внешние ограждения (фильтрацию входов, проверку выходов), чем закладывать собственную устойчивость в веса модели.
В масштабе парка сама эффективность становится ловушкой.
Принцип «парадокс Джевонса для ИИ (ловушка эффективности)»
Инвариант: повышение эффективности, снижающее стоимость ресурса, как правило, увеличивает, а не уменьшает суммарное потребление этого ресурса.
Следствие: если сделать модели в 10 эффективнее, суммарное использование может вырасти настолько, что сведет на нет ожидаемую экономию энергии или даже превзойдет ее. Стратегии устойчивого развития должны опираться на абсолютные пределы (углеродные бюджеты, возобновляемые источники), а не только на эффективность по скорости (FLOP/с на ватт).
Ответственная эксплуатация требует также явно формулировать социальные цели, потому что статистические гарантии могут конфликтовать, даже когда каждая метрика определена четко.
Принцип «закон невозможности справедливости»
Инвариант: для неидеальных классификаторов, работающих с группами с разными базовыми частотами, калибровка, равенство шансов и демографический паритет не могут выполняться одновременно. Здесь — исход, а — атрибут группы.
Следствие: при условиях теоремы справедливость требует явного компромисса; не существует независимого от критерия оптимума, который выбирал бы между несовместимыми метриками. Инженерам нужно обращаться с метриками справедливости как с бюджетами задержки: это явные компромиссы, которые выбирают заинтересованные стороны, обеспечивает система и отслеживает на нарушения. Подробное рассмотрение того, когда применим результат о невозможности, включая вырожденные случаи тривиального классификатора, дано в главе «Ответственный ИИ».
Такие компромиссы нельзя оценить один раз и зафиксировать, потому что развернутые системы меняют данные и стимулы, которые наблюдают потом.
Принцип «инвариант социотехнической обратной связи»
Инвариант: когда решения развернутой модели влияют на ее среду, распределение вероятностей будущих данных зависит от прошлых решений модели . Здесь — функция отклика среды в таких перформативных ситуациях: она отображает текущее распределение данных и решения модели в следующее распределение данных.
Следствие: системам, решения которых влияют на среду, нужно управление с замкнутым контуром. Модель, максимизирующая точность на статичных тестовых данных, все равно может ухудшить будущее распределение данных, на которых работает, усилить стимулы, смещающие следующий раунд данных, или дестабилизировать наблюдаемую среду. Надежность в таких условиях требует моделирования петли обратной связи, а не только прямого инференса.
Часть IV следует той же логике, продиктованной ограничениями, что и остальной том. Безопасность и приватность укрепляют парк против атак и защищают обучающие данные от утечки. Устойчивость спрашивает, остается ли качество модели стабильным, когда меняются входы, среда или противники. Устойчивое развитие рассматривает инфраструктуру планетарного масштаба как энергетическую и углеродную систему, а не только как систему производительности. Ответственный ИИ затем связывает эти технические меры контроля с институциональным управлением. Вместе эти главы завершают инженерную дисциплину, которая превращает мощный парк в заслуживающий доверия.