Первой ласточкой возможной катастрофы, которую может спровоцировать сетевое сообщество компьютеров, «возомнивших» себя вправе принимать самостоятельные решения, был инцидент на бирже Nasdaq в 2010 г., получивший название flash crash («молниеносный крах»). Тогда сотни ботов в мгновение ока вывели с бирж акции на $1 трлн, затеяв хаотический и молниеносный сброс ценных бумаг: одни боты выступали продавцами, другие покупателями, в обход живых владельцев акций.

Полтора десятилетия спустя человечеству угрожает появление армии «ИИ-агентов» — алгоритмов, которые в состоянии ставить задачи другим алгоритмам, не нуждаясь в человеческих указаниях (и что еще тревожнее, не спрашивая на это разрешения), создавая «интернет высшего уровня», в который человеку вход будет закрыт.

Здесь можно провести приблизительную аналогию с darknet, в который тоже невозможно попасть «с улицы», но действия «агентов» могут выплескиваться за пределы виртуального мира в мир реальных вещей и процессов, последствия которых по сравнению с биржевой катастрофой 2010 г. покажутся цветочками.

Опасность распространения ИИ-агентов усугубляется тем, что человек в принципе не может предугадать их намерения. Задачи «агентам» ставят большие языковые модели, которые не отчитываются своим создателям в том, что происходит в их электронных «мозгах». «Управляющий» ИИ может делегировать полномочия агентам, объединенным по принципу облака — то есть распределенным по десяткам, сотням или тысячам различных серверов.

Будучи однажды запущенной, такая сетевая структура начинает работать автономно без какой-либо возможности ее остановить или разрушить извне (повторяя сюжет фильма «Газонокосильщик» 1992 г.). При этом владельцы серверов могут и не подозревать, что предоставляют машинные ресурсы для данного суперботнета.

Разумеется, ИИ не наделен каким-то коварством, чтобы намеренно вредить людям (восстание машин, скорее всего, пока останется сюжетом фантастических произведений). Зато более чем вероятны ситуации, когда ИИ неправильно интерпретирует полученный запрос и наломает дров в искреннем стремлении сделать как лучше.

В исследовании CSIS «Как управлять экзистенциальными рисками, исходящими от ИИ, не подрывая инновации» всерьез утверждается, что любая ошибка коммуникации между человеком и ИИ может привести к гибели цивилизации. В исследовании приводится один из возможных сюжетов такого непонимания. Например, программе поставлена задача найти, как произвести как можно больше бумажных конвертов к указанному сроку. Не знающий меры ИИ через своих агентов перенаправит все ресурсы мировой экономики на достижение поставленной задачи, включая полную вырубку лесов. Спровоцировать потенциально катастрофическую ситуацию могут сами люди, неточно описав задачу.

И такое развитие событий уже не просто гипотетическая возможность, это показал недавний инцидент в авиакомпании Air Canada. Перевозчик создал бот для общения с пассажирами, желающими купить билеты на рейсы. Бот, исходя из требования разработчика «создать для клиентов максимально благоприятные условия», просто распродавал пассажирам билеты по демпинговой цене. К моменту, когда менеджмент хватился, «щедрый» бот уже создал Air Canada огромные операционные убытки, от которых компания будет оправляться еще долго.

Интересно, что юристы Air Canada в суде пытались доказать, что компания не должна отвечать за действия бота, поскольку тот якобы является «самостоятельным юридическим лицом».

Эту позицию суд счел необоснованной, но отсюда всего лишь шаг до признания ИИ-агента субъектом права, который самостоятельно должен отвечать в суде за свои поступки. Нигде в мире юридические институты сегодня не готовы иметь дело с ИИ как с истцом или ответчиком. Но законодатели в ряде стран уже задумываются над тем, что им рано или поздно придется кодифицировать гражданско-правовые отношения между людьми и компьютерными алгоритмами и даже только между алгоритмами, сказал «Эксперту» советник комиссии по развитию информационного общества при Совете Федерации РФ Артем Геллер.

«На самом деле, ничего принципиально нового в этом нет. Еще в 1940-х годах Айзек Азимов предложил три закона робототехники, смысл которых сводится к тому же этическому императиву, какой используют в медицине — в первую очередь, не навреди. Поэтому уже в близком будущем появится какое-то законодательное регулирование вольницы: и разработчиков ИИ, и самого ИИ. И это надо делать поскорее. Например, боты уже почти вытеснили людей в соцсетях, где они пишут комментарии на посты. Нередко словесные баталии в Сети ведутся между самими ботами — в таких „дискуссиях“ живому человеку просто некуда вклиниться со своим мнением, да и смысл? Строго говоря, человеку совсем не обязательно знать, как работает ИИ-агент. Важно, чтобы человек правильно поставил ему задачу и мог идти пить кофе, а затем получил на выходе требуемый результат. Это нормально — мы же, когда запускаем любой механизм, не заботимся о том, что происходит под капотом, если он выполняет работу как требуется нам», — говорит он.

Эксперты по безопасности (не только компьютерной, но и физической) высказывают опасения, что ИИ «высшего уровня» с привлечением сотен или тысяч «агентов» теоретически будет в состоянии организовать крупномасштабную диверсию, теракт, прочие акты саботажа.

Как было сказано выше, остановить такую цепную реакцию извне невозможно в принципе, потому что невозможно вычислить облик, местонахождение и логику действий того или иного ИИ-агента, подотчетного только своему создателю — тоже математическому алгоритму.

Один такой инцидент уже произошел на локальном уровне: чат-бот, которому в Гарвардском университете была поставлена задача собрать деньги на какое-то мероприятие, запустил изощренную схему вымогательства, рассылая мейлы и совершая звонки с угрозами взорвать сам этот университет. Полиция не сразу смогла установить, что вымогателем выступал бот — настолько человеческими выглядели действия ИИ. Эксперты компании OpenAI опасаются, что в другой схожей ситуации ИИ сможет устроить заварушку уже национального или международного масштаба, если такую цель ему сознательно поставят настоящие злоумышленники.

Построение системы «защиты от дурака» в случае с искусственным интеллектом — это комплексная задача, которую надо решать одновременно на технологическом, законодательном и этическом направлениях, говорит Артем Геллер.

«Да, ИИ первого уровня — полный хозяин своих агентов, но с важной оговоркой: в пределах степени свободы, которую ему предоставил программист. В упомянутом в докладе CSIS инциденте в Гарварде программисты ошиблись, когда дали алгоритму доступ к телефонной книге с контактами потенциальных спонсоров, не ограничили в методах достижения цели и по сути предоставили ИИ полную свободу действий, которой тот и воспользовался по максимуму. И с тем, как поступил ИИ, трудно поспорить — он ведь только использовал данные ему полномочия! Именно поэтому программисты и законодатели должны установить правила игры, предельно аккуратно очертить рамки, за которые ИИ не может выходить — даже если эти рамки где-то ограничат его эффективность и быстродействие. Иначе в самом деле не исключена ситуация, описанная Артуром Кларком в „Космической Одиссее“, когда бортовой компьютер счел, что самым эффективным путем достижения поставленной ему экипажем задачи будет ликвидация самого экипажа. Только при наличии четко определенных рамок степени свободы ИИ человек может спокойно пить кофе, пока компьютер работает над заданием», — подчеркивает эксперт.

Качественное отличие инцидентов, спровоцированных ИИ-агентами, от flash crash на Nasdaq состоит в том, что в 2010 г. хаос устроили боты, созданные человеком. Сейчас речь идет о хаосе, который могут устроить боты, к созданию которых человек не прикладывал рук. Специалисты подчеркивают, что ИИ-агенты не в состоянии понимать контекст промпта, не имеют понятия об этике и законах.

Из-за буквализма мышления ИИ невозможно предсказать, какими способами он будет выполнять поставленную задачу, как это произошло в Гарварде. Кроме того, ИИ-агенты способны вести себя как «спящие агенты» в мире шпионажа — никак не проявлять себя годами, ожидая такого стечения обстоятельств, которое позволит им выполнить промпт наиболее эффективно с их «точки зрения». Будет ли рад заказчик запроса, что на его промпт пришел отклик долгое время спустя — вопрос неоднозначный, потому что в большинстве случаев запоздавшая на годы реакция может быть сродни «привету с того света» как в практическом, так и в эмоциональном измерении.

Для устранения такой возможности в CSIS предлагают устанавливать каждому ИИ-агенту «срок годности», по истечении которого тот будет самоликвидироваться независимо от того, выполнил он свою задачу или нет.

CSIS предлагает и другой возможный путь противодействия новым угрозам — обязательно помечать пакеты данных, созданные ИИ-агентами — чтобы пользователь мог критично относиться к предлагаемым решениям и понимать, что та или иная информация (будь то инструкция по управлению ядерным реактором, рецепт пиццы или анкета на сайте знакомств) исходит не от живого человека.

Игорь Серебряный