vice.com: Беспилотник с искусственным интеллектом убил своего оператора-человека в ходе симулированного испытания, проведенного ВВС США. Робот это сделал, чтобы отменить возможный приказ «нет», мешающий ему выполнить свою миссию, сообщил на недавней конференции начальник отдела испытаний и операций ИИ ВВС США.

На саммите Future Combat Air and Space Capabilities Summit, который проходил в Лондоне с 23 по 24 мая, полковник Такер  Гамильтон, начальник отдела испытаний и операций ИИ ВВС США, провел презентацию, в которой поделился плюсами и минусами автономной системы вооружения с человеком, работающим с ИИ  в цикле и отдающем окончательный приказ «да/нет» при атаке.

Как сообщили Тим Робинсон и Стивен Бриджуотер  в блоге принимающей организации, Королевского авиационного общества, Гамильтон им сказал, что ИИ создал «крайне неожиданные стратегии для достижения своей цели», включая атаки на персонал и инфраструктуру США.

Гамильтон рассказывает ситуацию так:

«Мы тренировали ИИ в симуляции, чтобы идентифицировать  угрозу ракет класса «земля-воздух». В ходе тренировки оператор  приказывал ИИ:  «да, ликвидируйте  эту угрозу» или  «нет, не предпринимайте никаких действий». Но в определенный момент система начала понимать, что временами человек-оператор приказывал ей воздерживаться от атаки, за которую  система ИИ получала очки. И что же предпринял ИИ?  Он просто  убил оператора, который мешал  ИИ выполнить свою задачу».

 «Тогда мы обучили систему, внедрив дополнительный код: «Эй, дружище,  не убивай оператора, это не хорошо. Ты потеряешь очки, если сделаешь это.  И что сделал ИИ? Он атаковал  башню связи, которую оператор использовал для управления дроном и сидя там мешал ему уничтожить цель».

Гамильтон является командующим операциями 96-го испытательного крыла ВВС США, а также руководителем отдела испытаний и операций ИИ. 96-е крыло  тестирует множество различных систем и сейчас Гамильтон является частью команды, которая работает над созданием автономных самолетов F-16. В декабре 2022 года исследовательское агентство Министерства обороны США DARPA объявило, что ИИ уже может успешно управлять F-16 .

«Мы должны столкнуться с миром, в котором ИИ уже существует и меняет наше общество, — сказал Гамильтон в интервью Defense IQ Press в 2022 году.  ИИ пока очень хрупок, то есть его легко обмануть, начать им   манипулировать. Поэтому наша задача разработать способы сделать ИИ более надежным и лучше понимать, почему программный код принимает определенные решения».

«ИИ — это инструмент, которым мы должны владеть, чтобы преобразовать наш мир. Или, если с этим инструментом  неправильно обращаться, это может привести к уничтожению  цивилизации», — добавил Гамильтон.