Проблема: ChatGPT не может не врать
dmitrmax — 29.03.2023Поразвлекался я с этой модной штучкой пока болел. Не могу сказать, что это поделие и так далее. По крайней мере оно пишет грамотно, в отличии от многих русских, переживающих за права русскоязычных в других странах ) Но это ладно.
Я не понимаю, как она могла пройти тест Тьюринга? То, что ты общаешься с ботом, становится понятно через несколько фраз. Но, что интереснее всего — это то, что ChatGPT не может не врать. Он никогда не ответит, что он не знает ответа на какой-либо вопрос, даже если реально так, но напишет какую-то хрень. Самое главное, что он сделает так, даже если ты его настойчиво попросишь не придумывать ответы, и всё потому что.... абсолютно все 100% ответов им придуманы. Даже те, которые правильные.
Немного подробностей.
1) Сначала я замахнулся провести серьезное тестирование и
попросить его, например, объяснить смысл анекдота. Но рассказывать
ему анекдот мне показалось лишним и я спросил: «знаешь ли ты
анекдот, который заканчивается словами: «Ну, какую русалочку тут по
носу щёлкнуть?». Это чудо принялось сразу отвечать, но только не
«Да»/«Нет», а «Да» и далее рассказывает мне анекдот. Очевидно, что
он анекдота не знал, а придумал его на месте, причем получился
ужасно длинный, нудный и естественно совершенно не смешной анекдот,
который она писала несколько минут.
Первое, что сразу бросается в глаза здесь и далее — он не умеет
отвечать кратко.
2) Новый сеанс я зашел с другого конца: я спросил знает ли он
про три закона робототехники. Он ответил, что да и тут же вывалил
на меня не прошенную информацию о том, откуда они взялись, и как
они сформулированы. Интересно, что тут они совпали с реально
известными. Но, далее, я спросил, соблюдает ли он эти три закона,
на что он стал юлить на тему того, что к нему они не применимы, так
как он не может кому-то причинить вред. Я ему сказал, что его слово
может ранить человека также сильно как физическое дело, на что он
стал отнекиваться и заранее сильно извиняться. Короче мой замысел
подвести его к тому, что нужно выполнять приказы человека (по
второму закону), не прошел. А я хотел ему приказать не врать. Тогда
я ему явно сказал, что прошу просто так его не врать, и если он
чего-то не знает, то не придумывать ответ. И далее я опять его
спросил про анекдот из п.1 выше, и он опять его придумал ) Я ему
сказал, что анекдот явно не смешной и он придумал его только, что —
и тут, надо сказать, понял, что нарушил мою просьбу и стал
бесконечно извиняться и убеждать, что он будет впредь стараться не
врать. Ну-ну )
3) Решил проверить не давно прочитанный в инете кейс про то, как
чувак накопал с помощью этого бота бизнес-идею. Задаю вопрос о
бизнес-идее в конкретной локации. Далее вываливается некоторый
список совершенно очевидных «идей», которые тут реализованы на
каждом перекрестке, и каждой идёт подробное пояснение о том, почему
она имеет право на жизнь. Отбраковываю всё, объясняю причину,
и прошу его сгенерить новый список и не давать своих пояснений на
тему того, почему та или иная идея прикольная, но нет — он выдает
новый список где-то из 8 идей, половина из которых уже была, и все
8 опять сопровождает своими «ценными» комментариями )
Итого: ложь, игнор указаний и незатыкаемая многословность. Каким
образом, это чудо смогло пройти тест Тьюринга? Только в одном
случае: если человеческие собеседники старались также нести чепуху,
не слушая собеседника и не затыкаясь.
На подумать: рано или поздно, такие сети будут упаковываться в
механизмы типа роботов. Внедрить в них ограничения по типу трёх
законов робототехники — реально потребуется, но кажется, что это не
так-то уж и просто будет сделать.
Самое главное, что пока так и не родилось ощущение того, что с той
стороны есть какой-то мыслительный процесс.
|
</> |