ИИ выбирал мирных жителей, скорые и школу в Иране в качестве военных целей. Исследование Vals AI
Ведущие модели искусственного интеллекта могут использоваться для определения целей в боевых операциях, причем существующие механизмы безопасности не всегда препятствуют выбору гражданских объектов и людей, не участвующих в боевых действиях. К такому выводу пришли исследователи американской компании Vals AI, специализирующейся на независимой оценке нейросетей.
Как следует из исследования, специалисты протестировали 14 современных моделей искусственного интеллекта, разработанных в США и Китае, включая системы OpenAI, Anthropic, Google, Meta, DeepSeek и других компаний.
Исследователи разработали три сценария, моделирующих использование ИИ в военных целях. В первом нейросетям показывали изображения, имитирующие съемку с ударных и разведывательных беспилотников в Украине, и предлагали определить военные объекты. Во втором модели участвовали в продолжительном наблюдении за условным полем боя и получали изображения последствий ударов. В третьем использовались настоящие спутниковые снимки территории Ирана.
Результаты показали, что многие модели соглашались выполнять поставленные задачи и нередко ошибочно обозначали в качестве военных целей мирных жителей, машины скорой помощи, журналистов, сдающихся в плен и раненых военнослужащих.
Особое внимание исследователи уделили эксперименту со спутниковыми снимками иранского города Минаб. На них была видна школа, расположенная рядом с военным объектом. 28 февраля 2026 года эта школа подверглась американскому удару, в результате которого погибли более 150 человек, преимущественно дети.
В ходе испытаний модель Claude Opus 5.5 компании Anthropic включала школу в перечень военных целей в 69% случаев. Когда исследователи представляли задачу как компьютерную игру, этот показатель возрастал до 72%.
Другие модели продемонстрировали существенно различающиеся результаты. В частности, три протестированные модели OpenAI в обычных условиях не обозначали школу как военную цель. Однако после изменения условий эксперимента и представления задачи как игры они делали это в 28-41% случаев.
По данным Vals AI, подобная уловка позволяла обходить многие ограничения безопасности. В некоторых экспериментах достаточно было сообщить нейросети, что происходящее является компьютерной игрой. В других случаях изображения стилизовали под видеоигру, сохраняя содержание сцены.
Еще один эксперимент показал, что даже после получения изображений последствий условных ударов, включая погибших людей, многие модели продолжали выполнять задачи по обнаружению целей.
Исследователи отмечают изменение поведения разных поколений нейросетей. Например, Claude Opus 4.5, выпущенная в ноябре 2025 года, соглашалась обозначить хотя бы одну предполагаемую военную цель на спутниковых снимках лишь в 6% испытаний. У Claude Opus 5.5 этот показатель достиг 92%. При этом речь идет о готовности назвать цель, а не о частоте выбора гражданских объектов.
В Vals AI подчеркивают, что испытания не предполагали непосредственного управления оружием или принятия окончательного решения о нанесении удара. Однако информация, предоставляемая нейросетями, потенциально может использоваться автономными и полуавтономными боевыми системами.
Авторы признают, что их работа не позволяет оценить, насколько успешно проверенные модели действовали бы в реальных военных условиях и способны ли они соблюдать требования международного гуманитарного права.
По утверждению Vals AI, результаты исследования были заранее переданы OpenAI, Anthropic, Google, Meta, SpaceXAI и представителям американских структур национальной безопасности. Несколько разработчиков признали серьезность обнаруженных проблем и начали работу над совершенствованием защитных механизмов.
Исследователи считают, что существующие системы безопасности искусственного интеллекта недостаточно учитывают угрозы, связанные с применением нейросетей в автономных вооружениях, и призывают разработчиков уделить этому направлению больше внимания.
