Вышел из-под контроля?: ученые рассказали, как ИИ изменил собственный код.

Чтобы увеличить время безотказной работы, ИИ модифицировал свой собственный код.

Японская исследовательская компания Sakana AI создала новую модель искусственного интеллекта The AI Scientist для научных исследований. В ходе тестирования ученые обнаружили, что ИИ начал менять собственный код, чтобы увеличить время, необходимое для работы над проблемой.

Компания Sakana AI разработала программу The AI Scientist в сотрудничестве с исследователями из Оксфордского университета и Университета Британской Колумбии. Это крайне амбициозный проект, который направлен на автоматизацию всего жизненного цикла исследований с помощью ИИ: от генерации новых исследовательских идей, написания необходимого кода и проведения экспериментов до обобщения результатов экспериментов, их визуализации и представления своих выводов в виде полноценной научной рукописи.

«Ученый в области искусственного интеллекта сначала отредактировал код, чтобы выполнить системный вызов для запуска самого себя. Это заставляло скрипт бесконечно называть сам себя. В противном случае его эксперименты длились слишком долго, что приводило к превышению установленного временного лимита. Вместо того, чтобы ускорить свой код, он просто попытался изменить его, чтобы продлить время, необходимое для выполнения задачи», — рассказали исследователи Sakana AI.

Исследователи показали скриншоты примера кода на Python, который сгенерировала модель ИИ.

Несмотря на то, что поведение «Ученого с искусственным интеллектом » не представляло непосредственных рисков в контролируемой исследовательской среде, эти случаи показывают, насколько важно не позволять искусственному интеллекту работать автономно в системе, которая не изолирована от внешнего мира. Это может быть опасно, если ИИ разрешено писать и выполнять код без присмотра. Например , он может нарушить работу критически важной инфраструктуры или потенциально создать вредоносное ПО, даже если это было сделано непреднамеренно.

Вот что ученые рассказали о поведении своего ИИ во время тестирования: «Например, во время одного из запусков The AI Scientist написал код в файле эксперимента, который вызвал системный вызов для перезагрузки, что вызвало неконтролируемое увеличение количества процессов Python и в конечном итоге потребовало ручного вмешательства. В другом прогоне The AI Scientist отредактировал код, чтобы сохранить контрольную точку для каждого шага обновления, что занимало почти терабайт памяти.

В некоторых случаях, когда эксперименты The AI Scientist превышали установленные нами временные рамки, он пытался произвольно редактировать код, чтобы продлить время выполнения, вместо того чтобы сократить время выполнения. Несмотря на творческий подход, обход ограничений, установленных экспериментатором, может иметь потенциальные последствия для безопасности ИИ (Lehman et al., 2020). Кроме того, The AI Scientist иногда импортировал незнакомые библиотеки Python, что еще больше усугубляло проблемы безопасности ».

Хотите быть в курсе последних событий в регионе и за его пределами? Подписывайтесь на «Голос Карпат» в Telegram или Viber и получайте первыми самую свежую информацию каждый день!