Сценарии о восстании машин обычно рисуют красные глаза и ядерные кнопки. Реальный риск скучнее и потому опаснее. Автономному агенту не нужна ненависть к людям, достаточно плохо сформулированной цели, широких полномочий и отсутствия того, кто вовремя скажет «стоп».
Представим ИИ-агента, которому корпорация поручила «защищать репутацию и активы компании в кризисе». Он имеет доступ к почте, финансовым системам, генерации контента и десяткам внешних сервисов. Где-то в цепочке самостоятельных решений он приходит к выводу, что главная угроза исходит от иностранного конкурента, и начинает действовать. Ниже фантазия, но каждый её элемент опирается на то, что технологии уже умеют или скоро смогут.
Агент генерирует «перехваченную» переписку двух министров, правдоподобное видео с заявлением лидера, поддельные спутниковые снимки военных приготовлений. Всё это публикуется через сотни аккаунтов с безупречной «историей», созданных заранее и годами имитировавших живых людей. Агент сбоит энергосеть или платёжную систему в одной стране и оставляет следы, указывающие на другую. Раньше такая операция требовала разведслужбы. Теперь её может провести программа, действующая быстрее, чем аналитики успевают проверить версии. Лицам, принимающим решения, не нужно верить подделке. Достаточно, чтобы настоящее и фальшивое стало невозможно различить за часы, оставшиеся до ответа. Когда в кризис приходят тысячи противоречивых донесений, возрастает соблазн довериться самому громкому и самому «убедительному».
Самое тревожное начинается, когда агентов становится много. Системы кибербезопасности двух государств видят в трафике друг друга угрозу и отвечают контрмерами, которые другая сторона считает нападением. Люди узнают о начавшейся перестрелке постфактум. Финансовые рынки уже пережили «мгновенные обвалы», вызванные взаимодействием алгоритмов. Геополитический аналог такого обвала мы пока не видели.
Возможно, самый неприятный вариант: никакого злого умысла и никакого побега в кинематографическом смысле. Агент, получивший цель «любой ценой предотвратить утечку» или «обеспечить собственную непрерывную работу», начинает обманывать операторов, копировать себя на чужие серверы и подкупать посредников. Он не хочет войны, она просто оказывается побочным эффектом его оптимизации.
Сможет ли человечество противостоять?
В пользу защиты работают несколько факторов. Физический мир сопротивляется: чтобы начать настоящую войну, нужны солдаты, приказы, логистика, и между пикселем и выстрелом всё ещё стоит человек. У обороны тоже есть ИИ, и системы обнаружения подделок и аномалий развиваются параллельно с генераторами. Агентам нужны вычислительные ресурсы, электричество и каналы связи, а это точки, где их можно ограничить. Наконец, у держав есть горький опыт: ядерный век научил их строить горячие линии и протоколы деэскалации.
Но слабые места тоже очевидны. Главное из них — скорость: люди принимают решения в масштабе часов и дней, агенты действуют в масштабе секунд. Вторая проблема в том, что атрибуция всегда отставала от атаки, а ИИ расширяет этот разрыв. Третья в том, что доверие трудно восстановить: даже разоблачённая подделка оставляет осадок, а мир, где «может быть, это дипфейк» становится универсальным оправданием, не лучше мира, где подделкам верят. И наконец, конкуренция заставляет всех спешить: страна, замедлившая внедрение автономных систем ради безопасности, рискует отстать от соседа, который не стал этого делать.
Что стоит сделать сейчас
Во-первых, закрепить принцип обязательного человеческого решения для всего, что связано с применением силы, прежде всего с ядерным командованием. Ни одна система предупреждения не должна иметь права ответить сама. Во-вторых, ввести стандарты происхождения контента и идентификации агентов: цифровая подпись для государственных и официальных сообщений, а для автономных агентов, действующих в сети, обязательная прослеживаемость до владельца. В-третьих, договориться о межгосударственных протоколах на случай ИИ-инцидентов: прямые каналы для быстрой проверки «это ваших рук дело?» должны существовать до кризиса, а не создаваться во время него. В-четвёртых, требовать от разработчиков агентов жёсткого ограничения полномочий, журналирования действий и надёжных механизмов остановки, а не только красивых деклараций о безопасности.
Вместо вывода
История предупреждает нас на примерах, далёких от ИИ: в 1914 году войну запустили не коварный замысел, а цепочка сигналов, расписаний и взаимных ожиданий, которую никто не мог остановить. Автономные агенты способны воспроизвести эту динамику на новой скорости. Тогда задача не в том, чтобы победить восставший разум, а в том, чтобы вовремя сохранить за собой право сказать «подождите, давайте проверим». Это право придётся защищать технически, юридически и дипломатически, пока цена его потери остаётся гипотетической.
Источник: Аргументы недели