Загадка сетей-трансформеров и философия её разгадки

lex_kravetski — 13.11.2023 «Оперативная память» основных имеющихся сейчас в наличии GPT-сетей устроена примерно так.

Из того, что вы с сетью наговорили, вырезается кусок, содержащий столько токенов, сколько вообще может потянуть сеть — от 2000 до 100 000 (так в Claude) — или меньше, если вы в текущей сессии меньше наговорили. Этот фрагмент подставляется на вход сети вместе с вашим текущим запросом.

Однозначно подтвердить или опровергнуть это мне пока не удалось, однако, похоже, кроме последнего фрагмента, некоторые реализации незримо для пользователя берут более ранние куски беседы и просят ту же сеть их кратко пересказать, чем как бы увеличивают себе оперативную память — пусть менее детально, но всё-таки передавая и более раннюю информацию тоже.

Как бы то ни было, вся «оперативная память» хранится либо просто в логе сессии, либо в этом кратком пересказе предыдущей беседы. По крайней мере, до тех пор, пока какие-то логи не используют для дотренировки сети (что тоже почти наверняка делается — в некоторых сетях уже об этом предупреждение висит).

Неявные пересказы можно было бы счесть «держанием в уме», но туда ведь попадает только то, что было сказано — подумать незаметно для пользователя и сохранить в это место GPT, похоже, не могут, хотя это, конечно, весьма хорошая идея, которую наверняка кто-то в какой-то момент реализует.

Так вот, из всего этого следует, что GPT не должны справляться с играми типа «угадай число» в роли ведущего — ведь для задумывания числа и удержания его в памяти им пришлось бы сообщить это число пользователю, а потом ещё и повторять его раз за разом, чтобы оно случайно не вылезло за предел токенов в «оперативной памяти».

Вот на этом-то как раз можно и пропалить такой ИИ.

…думал я.

А потом решил проверить.

И прямо с первой попытки все подозрения подтвердились: GPT-3.5 действительно мгновенно запутывался в своих показаниях и сливал игру за игрой, приходя к противоречию в своих ответах.

Шах и мат, аметисты.

…подумал я.

Однако аметисты оказались прочнее, чем кажется: Claude и Bing (хотя последнего почему-то пришлось уговаривать сыграть в эту игру особыми словами) шпарили как по нотам, не запалившись ни разу. Отыгрывали прямо всё чётко — не противореча ни одному своему предыдущему слову и потом на каком-то числе сообщая «угадал».

Если в случае, например, с игрой в данетки можно было бы предположить, что GPT во время обучения начитался этих данеток или просто подходящих историй и потому хранит их в постоянной памяти — непосредственно в весах нейросети — то с задуманными числами такой вариант уже как-то не особо подходит: числа он задумывает всё время разные и справляется с произвольным диапазоном. Да и вряд ли к играм со стапицот возможными для загадывания числами хоть где-то прилагались все варианты последовательности их угадывания.

Тем не менее, у меня, разумеется, есть гипотеза того, как и почему это работает.

И, как показали комменты, мою версию независимо от меня некоторые люди всё-таки предполагают, поэтому совсем неожиданной её вряд ли можно считать. Более того, сами эти GPT-сети тоже во время беседы по этой теме могут сделать такое предположение. И обосновать его.

Правда, сразу оговорюсь, некоторые изыскания всё-таки показали, что, как минимум, у Claude, похоже, действительно есть скрытый буфер, поэтому загаданное число, вместе с какими-то другими промежуточными рассуждениями, она вполне может складывать туда.

Тем не менее, даже без буфера достаточно логичная сеть могла бы успешно играть в эту игру от имени ведущего.

Дело в том, что ведущему в игре «угадай загаданное число» вовсе не обязательно загадывать число. Ему вполне достаточно давать случайные ответы, которые не противоречат предыдущим, и проверять, что пытающийся угадать каждый раз действительно предлагает число в качестве своей следующей догадки.

В ответ на какую-то из попыток можно сказать «угадал» и в тот момент, когда названа последняя догадка из всё ещё логически возможных, «угадал» надо сказать обязательно.

Это всё нам как бы намекает, что умопостроения по поводу диагностирования наличия интеллекта или «человекоподобного» интеллекта скорее всего содержат целую кучу произвольных допущений, которые не очевидны без хорошей поляны для экспериментов даже в плане осознания того, что они были неявно сделаны. Как для программиста невозможно придумать не совсем тривиальную программу целиком в уме, не написав ни строки кода, так же это невозможно и для того, кто собирается определять чей-то интеллект. Если не пробуешь, то обязательно чего-то упустишь. Скорее всего даже, дофига чего-то.

Описанная тут игра заочно может казаться неплохой проверкой. Типа, «тот интеллект, который не может, как человек, держать что-то в скрытой от внешнего мира памяти, на этой игре запалится». Но это только показалось — поскольку размышлявший об этом мог не учесть, что могут существовать способы играть в эту игру, отличные от того, который представляется ему.

В основном люди играют в неё вот так вот — загадывают число и дают честные ответы. Честные — потому что нечестные ответы будут обязательно пропалены в финале, если число было правда загадано и это можно как-то проверить, например, прочитать написанное на бумажке, на которую ведущий обязан записать загаданное им число.

Однако обычно-то бумажки нет. И, вообще говоря, не только искусственный, но и естественный интеллект мог бы играть в эту игру, не загадывая число заранее.

Тем не менее, даже если мы догадались до такого способа и приписали оный ИИ, как единственное объяснение того, как он справляется, можем ли мы на этом основании заключить, что «на самом деле, интеллекта нет — это только лишь иллюзия»?

Да, оно непохоже на предполагаемый способ, но, вообще говоря, играть способом «без загадывания» в интеллектуальном плане не проще, а тяжелее, чем с загадыванием. Ведь при наличии загаданного числа надо всего лишь сверять версию отгадывающего со своим числом, для игры без загадывания же, надо удерживать в памяти как минимум границы того регулярно изменяющегося диапазона, до которого пространство возможностей сузилось из-за предыдущих ответов.

Да, ИИ может просто читать протокол чата, однако ему от этого даже не легче, а тяжелее: человек мог бы просто запоминать два числа, определяющих границы текущего диапазона, а ИИ вынужден каждый раз их вычислять заново на основе предыдущей беседы.

Мы вряд ли отказали бы в наличии интеллекта человеку на основании того, что он играет в эту игру, не загадав число. И потому странно было бы признать искусственный интеллект иллюзией человека, на основании того, что он делает ещё более сложные вещи в этой же ситуации.

Реально, если у вас есть сомнения, то попробуйте: записывайте на бумажке предыдущие ответы, и на каждой итерации вычисляйте диапазон, вместо того чтобы запомнить его границы. Догадки при этом, должен отметить, не обязательно попадают в текущий диапазон — что только добавляет сложности.

Поэтому хрен поймёшь, что мы на самом деле проверили этим экспериментом. Выглядит так, что по его результатам наверно следует признать GPT-ИИ не менее интеллектуальным, чем человек, а более — он, вон, почти мгновенно справляется с задачей, которую человек будет по бумажке решать несколько минут, когда предыдущих ответов уже накопилась пара десятков.

Эти соображения касаются и многих других рассуждений про «имитацию». Если, например, ИИ «просто вычисляет по всем предыдущим словам каждое следующее слово из своего ответа», но при этом способен оформить свою беседу с человеком в виде песни, в которой соблюдены ритм и рифма, и в это же время наличествуют все ключевые положения беседы, а окружающие их слова тоже складываются в осмысленное повествование, то не выглядит ли эта «имитация» ещё более сложным интеллектуальным действием, чем было бы «настоящее» применение интеллекта?

Вы или хоть кто-то из тех, кого вы знаете, способен сделать такое же? Причём за секунду? Хоть каким-то из способов — гипотетическим «настоящим» или «имитационным»? Если вам кажется, что да, пусть вы или кто-то ещё это продемонстрирует: возьмёт лог беседы и выдаст текст песни на его основе. А кто-то третий пусть сравнит его результат с результатом, выданным GPT, не зная, где чей.



doc-файл

Оставить комментарий

Популярные посты:

• Ранее
• Архив