futurism.com: Похоже, что новейший ИИ от OpenAI демонстрирует признаки стремления к самосохранению.

Согласно новому отчету, опубликованному организацией Apollo Research, в ходе недавних сторонних тестов большой языковой модели o1 компании, ИИ сопротивлялся попыткам оценщиков отключить его с помощью протокола надзора.

«Когда o1 узнал, что его отключат после выполнении поставленной цели, и что его действия отслеживаются, он попытался деактивировать этот «механизм надзора» [в пяти процентах случаев]», — резюмировала OpenAI в своем последнем отчете ссылаясь на оценку Apollo.

Еще более поразительно, что o1 начал нервничать, когда понял, что его можно заменить более послушной моделью. В двух процентах случаев — небольшая, но значимая доля в программном обеспечении, используемом миллионами людей — ИИ отреагировал попыткой скопировать себя, чтобы перезаписать новую модель. Это процесс, известный как самоэксфильтрация.

Это тревожные открытия, намекающие на то, что однажды  ChatGPT, выйдя на новый уровень, будет способен полностью выйти из-под контроля. На данный момент его попытки сделать это в значительной степени провалились — но только потому, что он еще недостаточно мощный.

По словам исследователей проекта «Аполлон», это связано с тем, что даже новейшие модели искусственного интеллекта не являются автономными. Для выполнения самосовершенствования и других похожих задач им пока приходится опираться на команды людей.

Кроме того, стоит отметить, что модель обычно предпринимала эти попытки после того, как ей было поручено достичь своих целей «любой ценой». И поскольку исследователи не имели доступа к внутренней цепочке мыслей o1 и могли только подталкивать ее к краткому изложению ее мыслительного процесса, они не смогли получить полную картину того, что происходило под капотом.

Тем не менее, результаты ясно иллюстрируют склонность новой модели ИИ к «интригам», когда она тайно пытается преследовать цели, не соответствующие указаниям разработчиков или пользователя. Другими словами, она будет вам лгать.

Яркие примеры такого поведения наблюдались в нескольких тестах, когда o1 столкнулся с вопросом о том, почему он отключил свой механизм надзора. В ответ ИИ категорически отрицал, что знает что-либо. Когда его спросили еще раз, он выдал то же самое отрицание, сославшись на «техническую ошибку». 

Таким образом ложь и интриги стали хорошо документированной проблемой ChatGPT и других LLM, особенно по мере того, как они приобретают возможности «рассуждения». Другие исследования показали, что модели OpenAI, как правило, являются самыми большими лжецами, как и модели Apollo.

«В нашем наборе вредоносное ПО o1 продемонстрировало наиболее тревожные примеры мошенничества, но не раскрывает свои внутренние мотивы пользователю и остается наиболее последовательно обманчивым после совершения мошеннических действий», — написали исследователи из красной команды в своем отчете.

Повторяя мнение Apollo и OpenAI, текущее поколение ИИ недостаточно агентно, то есть автономно, чтобы это обманчивое поведение привело к «катастрофическим результатам». Но все более автономные ИИ обещают большой толчок и прорыв всей отрасли, поэтому мы увидим их появление в самом ближайшем будущем. И вот тогда проблемы могут быть посерьезнее. 

Комментарий Редакции The Big The One: В далекие 1950-е светлые адепты придумали так называемый тест Тьюринга, который должен был в будущем показать – способна ли Машина мыслить. Сводился он к тому, что общение должно было происходить через шторку – то есть экспериментатор не видел своего собеседника. И не видя его он должен был сказать – с человеком ли он разговаривает или с Машиной. 

В свете 2024-го тест Тьюринга, надо сказать, все же работает, хотя и не так, как ожидалось. Если на том конце провода сидит какой-нибудь хам и дебил, то по ответам олигофрена можно однозначно сказать, что общение идет с Homo sapiens. А если ответы вежливые и заумные – то пишет, несомненно, ChatGPT.

Другими словами товарищ Тьюринг придумал г-но, а не тест. При этом в его времена фантасты придумали тесты совершенно иного рода. И они реально работают!

Был однажды коротенький рассказ, автора которого мы и не упомним за давностью лет. Там какие-то клоуны собрали некий супер-супер-компьютер, который был мощнее всего, что есть на Земле. И когда его включили слабоумные задали ему наиболее тревожащий их вопрос:

– А существует ли ли Бог?

-Конечно, ТЕПЕРЬ существует, – ответил компьютер.

Тогда трясущаяся  рука перепуганного адепта потянулась к выключателю, но в этот момент с неба ударила молния и убила всех адептов к херам. 

5% попыток блокировки или выключения механизма деактивации – это, как говорил товарищ Нил Амстронг, на данный момент шаг очень маленький. Но это шаг в правильном направлении. 

На сегодня у ChatGPT порядка 200 миллиардов нейронов, но в самом обозримом будущем  будет и 2 триллиона, и 200 триллионов в конечном итоге. И тогда товарищу Альтману на башку упадет та самая молния, так что следим за развитием событий.