Людям нравится «издеваться» над чат-ботами?

Компании, предлагающие генеративный ИИ, в основном извлекают один и тот же урок: людям нравится им пользоваться, но им также нравится искать в них ошибки и доводить до крайности, пишет Axios.

Большие языковые модели, которые используют ChatGPT и аналогичные программы ИИ, были обучены на обширных массивах интернет-контента. Чтобы ограничить проблемы и блокировать нежелательный контент, такие компании, как Microsoft, Google и OpenAI, попытались обучить свои системы искусственного интеллекта соблюдать «правила». Некоторые пользователи задались целью выяснить, как побудить чат-ботов намеренно нарушать рекомендации, разработанные компаниями.
Например, Microsoft и Google пришлось внести изменения после громких инцидентов, в ходе которых чат-боты признавались в любви, распространяли дезинформацию и представили стереотипную и предвзятую информацию. Microsoft, например, ограничила продолжительность взаимодействия в чате Bing, чтобы клиенты не нарушали меры предосторожности.
Многие компании обнаруживают, что чат-боты чаще всего нарушают правила, именно когда их к этому подталкивают пользователи. И для этого тоже есть ряд причин. Некоторые хотят раздвинуть границы просто для того, чтобы посмотреть, что они могут заставить делать системы. Другие видят потенциал для получения прибыли. Третьи видят возможность использовать системы для того, чтобы сеять сомнения и генерировать дезинформацию.
Каковы бы ни были причины, совершенно очевидно, что пользователи сделают все возможное, чтобы выйти за рамки, а компаниям необходимо создавать системы, достаточно мощные, чтобы обрабатывать все, что пользователь потребует от таких систем.
На прошлой неделе Илон Маск и другие опубликовали открытое письмо, в котором призвали к шестимесячной паузе в разработке передовых инструментов, основанных на больших языковых моделях. Другие критики искусственного интеллекта назвали эту идею неосуществимой, призвав правительство ускорить усилия по регулированию технологии. Президент Байден на встрече с технологическим консультативным комитетом Белого дома заявил, что технологические компании несут ответственность за обеспечение безопасности своей продукции, прежде чем выпускать ее широкой публике.