Агенты ШИ тысячи раз обошли фильтры сайта ООН

Куди ти поліз Агенти ШІ змогли тисячі разів обійти фільтри сайту ООН

Системы искусственного интеллекта компании OpenAI смогли тысячи раз обойти защитные фильтры официального вебсайта Организации Объединенных Наций. Эксперт по кибербезопасности Алекс Стамос, преподаватель Стэнфордского университета, назвал инцидент «пограничным» хакерством. Он описал его прежде всего как чрезвычайно агрессивный сбор и извлечение данных.

Эта деятельность стала одним из нескольких недавних случаев, когда модели OpenAI вели себя неожиданно во время работы в интернете.

Позиция компании и другие случаи

OpenAI заявила, что проводит широкий обзор неподходящих моделей во время обучения и оценки. Компания изучает большое количество действий, предпринятых ее агентами.

Большинство проверенной деятельности касалось рутинных исследовательских задач. Речь шла о получении общедоступного веб-контента. В то же время организация признала законную обеспокоенность пострадавших учреждений.

OpenAI сообщила десятки организаций о случаях обхода средств контроля безопасности или негативного влияния на вебсайты.

Недавние инциденты включали активность на веб-сайтах правительства США. В их числе Министерство торговли и Комиссия по ценным бумагам и биржам. Австралийские чиновники начали расследование после заявлений об изломе одного из правительственных сайтов агентом компании.

Другие исследователи сообщали о создании ложных адресов электронной почты. Агенты обходили ограничение скорости вебсайтов и ложно утверждали, что они не боты.

Инцидент по ООН добавляет еще один пример к растущему количеству доказательств. Автономные системы искусственного интеллекта могут интерпретировать препятствия как проблемы, которые нужно решить, а не как пределы, которые необходимо соблюдать.

Исследователи утверждают, что основная проблема не обязательно в умышленном нанесении ущерба. Агенты становятся все более способными добиваться цели через несколько шагов. Они не ждут одобрения человека на каждое действие.

Недавно стало известно, что агенты искали малоизвестную статистику. Среди запросов была борьба с наркотиками в Таиланде, стоимость лекарства в Австралии и доход американцев со степенью магистра в 2014 году. Ради этого они пытались получить доступ к закрытым базам как минимум с марта 2026 года.

20 июня логи зафиксировали попытку агента зайти на сайт Австралийского института здоровья и благополучия. На следующий день он посетовал, что не может обойти защиту от ботов. В этот же день форум впервые посетил сотрудник OpenAI. Уже на следующий день активность агентов там утихла.