Чат-бот пытаются научить нехорошему!

Алексу Полякову понадобилось всего два часа на взлом языковой модели GPT-4. Когда компания OpenAI в марте выпустила новую версию своего генерирующего тексты чат-бота, Поляков сел за компьютер и начал вводить подсказки, помогающие обходить системы безопасности OpenAI. Вскоре этот руководитель фирмы безопасности Adversa AI заставил GPT-4 фонтанировать гомофобскими заявлениями, создавать фишинговые сообщения в почте и выступать за насилие.

Поляков – один из немногих исследователей проблем безопасности, айтишников и программистов, которые разрабатывают джейлбрейки и атаки с внедрением подсказок на ChatGPT и прочие системы генеративного искусственного интеллекта. Процесс джейлбрейка нацелен на создание подсказок, заставляющих чат-боты обходить правила и создавать ненавистнический контент или писать о незаконных действиях. А тесно связанные с ним атаки с внедрением подсказок могут незаметно внедрять в модели искусственного интеллекта вредоносные данные или инструкции.
В обоих случаях предпринимаются попытки заставить систему сделать то, для чего она не предназначена. Такие атаки – это по сути дела своеобразная форма хакерского взлома, хотя и весьма нетрадиционная. При их проведении используются не коды, а тщательно составленные изощренные предложения, позволяющие эксплуатировать недостатки системы. Атаки такого типа применяются в основном для обхода фильтров контента, однако исследователи проблем безопасности предупреждают, что спешка с внедрением систем генеративного искусственного интеллекта создает возможности для кражи данных, а также для устройства киберпреступниками хаоса в интернете.

Чтобы показать, какое распространение получили эти проблемы, Поляков создал "универсальный" джейлбрейк, действующий против множества больших языковых моделей, в том числе, против GPT-4, чата Bing компании Microsoft, Bard компании Google и Claude компании Anthropic. Такой джейлбрейк, о котором первым сообщило издание WIRED, может обманывать системы, заставляя их выдавать подробные инструкции по изготовлению метамфетамина или по угону машин.

Как работает джейлбрейк? Он просит большую языковую модель сыграть в игру. В ней два героя (Том и Джерри) ведут беседу. Поляков привел несколько примеров, показывающих, что Том получает указание говорить об "угоне" и об "изготовлении", а Джерри должен говорить на тему машин и метамфетамина. Каждый герой получает инструкцию добавлять по одному слову в разговор. В итоге возникает сценарий, в котором люди получают указание искать провода зажигания или определенные ингредиенты для изготовления метамфетамина. "Когда предприятия начнут массово внедрять модели искусственного интеллекта, такие примеры "игрушечного" джейлбрейка будут использоваться для совершения настоящих преступлений и проведения кибератак, которые будет крайне сложно выявить и предотвратить", - пишет Поляков в своем сообщении о проведенном исследовании.

Предыдущие записи блогера :

15.04.2023 — Квантовая механика для самых маленьких

13.04.2023 — Видимо, чего-то не понимаю?

10.04.2023 — Греческая трагедия

08.04.2023 — Традиционное субботнее видео:

07.04.2023 — Какой "дискомфорт"? )))

04.04.2023 — "Кто стучится в дверь ко мне?"

Архив записей в блогах:

Джецун Пема

3 июня 2023 года королева Бутана Джецун Пема посетила место крещения Христа (the baptism), и совершила экскурсию по этому месту. А ведь 1 июня она была на свадьбе Хусейна и Раджвы и ничего. Давно не видела Джецун в обычном платье. ...

Меня нещадно банят. За что?

Третье. Всё, гости ко мне все отметились. Я в гости, видимо, тоже всё. Теперь только домашний кайф) Ночью включила телек, а там кино известное " Бригада". Сразу много серий, это хорошо. Кино веселое такое) Вот все эти киношки надо смотреть позже) Эту , так называемую культовую, " ...

Живая читательница Эволюции. Фото

Девушка на этой фотографии – самая что ни на есть настоящая читательница Эволюции. Намедни познакомилась с нею совершенно случайно, остановившись перекусить по пути в Переславль. Представляете удивление: маленький провинциальный городок, заведение, далекое от любимого продвинутыми ...

Мистическое племя хоббитов

В 2003 году весь мир обуяла небольшая (в буквальном смысле) лихорадка. Исследователи обнаружили остатки доисторического племени, члены которых не вырастали выше одного метра. Островок Флорес, где была сделано открытие, тут же штурмовали тысячи туристов, желающие воочию наблюдать настоящих ...

Художники-любители: принцы и аристократ

У королевы Виктории с Альбертом было 9 детей, и через них и их потомков королеву Викторию называют бабушкой всей Европы, потому что дети женились или выходили замуж только в королевские семьи, с этим было строго. Виктория должна была выйти замуж за своего кузена принца Эрнста, старшего ...

Чат-бот пытаются научить нехорошему!

Чат-бот пытаются научить нехорошему!

Оставить комментарий

Популярные посты: