Сны андроидов

snormer — 08.12.2022

Впечатляюсь последней итерацией нейронок. У меня поверхностные знания о ML и я много пропустил, теперь открываю для себя. Напишу-ка сам себе длинную простыню из банальностей, просто проговорить и уложить по полочкам в голове.

«Если бы вы спросили кого-либо в 60-х или 70-х годах, вам бы ответили, что сначала роботы заменят людей в труде, затем в умственной работе, как математика и наука, и, наконец, они (возможно) достигнут вершин человеческого творчества, как изобразительное искусство, поэзия и музыка. Оказалось, что всё ровно наоборот.»

Вот не удивляет. Я несколько раз считал проекты автоматизации, сравнительную экономику автоматизированной и ручной производственной линии и прекрасно знаю: промышленный робот, бывает, проигрывает среднему человеку даже на хорошо автоматизируемых сборочных операциях.

Удивляет другое. Спроси меня лет 20 назад о пути к «сильному» AI, я бы тоже ошибся. Нам, сказал бы, что нужно (в порядке возрастания сложности задачи): первичная обработка и классификация информации, обучение и адаптация, логика (дедукция, индукция, абдукция), ассоциативная память и модель мира. Ну и сознание - актор, но оно там должно само как-то зародиться, что те мухи в гнилом мясе. Причём если для первых трёх хотя бы видны пути, то как подступаться к памяти и миру, вообще неясно. Классическому компьютеру на это требуется бескрайнее море ресурсов, а, как и где оно в нашем мозге, тайна.

Оказалось, что всё ровно наоборот, да. Нейросетями хотели выстроить контур обработки и классификации. У человека что-то подобное же, вот и попробуем. А решили самое сложное: модель мира и (похоже) память.

Что, выясняется, такое GPT-языковые модели? Это вообще не когнитивные агенты. Нет актора и целей. Никакой активности за пределами генерации ответа на входящий паттерн. Оно настолько «не думает», насколько это вообще возможно, ему просто нечем и никак. Эталонная «китайская комната»: гигантский набор алгоритмов по преобразованию пришедшего сигнала в исходящий.

Тем не менее оно общается и отлично имитирует живого собеседника Как?

А получается из нейросети в процессе статистического обучения на корпусе сетевых документов, сайтов и твитов как раз «симулятор», эта самая модель мира, только текстового. На чём учили. Она и строится близко к тому, как делает человек, обучаясь.

Вот «китайская комната», что там внутри за инструкции? Это не абстракции, а скрытые законы взаимодействия слов и знаков в языке. Этакая «текстовая физика». Если над водой пар, она горячая, если только воздух не холодный. Вслед за словом «меня» почти всегда будет «зовут», если только перед ним нет «сосед», тогда дальше будет «бесит» и восклицательный. И вот эта «физика», отражённая в нейросети с сотнями миллиардов параметров, исчерпывающе описывает, что произойдёт с вопросом. Во что (какой ответ) он по законам мира текстовых смыслов превратится. В зависимости от контекста и предыдущих реплик, которые тоже идут на вход сети (вот и ассоциативная память заодно).

Сам AI тут выступает полным аналогом внутренней нашей модели мира и воображения. Пассивной. А вопрос и сама беседа это что-то вроде сна. Каждый запрос пробуждает в этой модели виртуальную сущность — симулякр и некие декорации, и она начинает в этом сне по его законам «жить», превращаясь в ответ. И как во сне/воображении, законы не абсолютны. Они работают по умолчанию, но выделив какой-то и сделав сознательное усилие, его можно изменить или отменить.

Становится ясно, почему ответ так зависит от вопроса, а сам разговор с ботом часто напоминает спиритический сеанс или ролевую игру: представь-де что ты терминал линукса / контрабандист, везущий плутоний через джунгли. От того, какая именно сущность появится и в каких декорациях, полностью зависит результат. И «вызывать» нужную это искусство, что-то типа современного шаманизма. «Говорящий с сетью» как новая профессия, да.

Отличие от человека тут больше количественное, чем качественное: мы оперируем сигналами от всех доступных сенсоров чувств, а GPT только текстами. Ну и сама нейросеть у нас, я понимаю, на пару-тройку порядков больше, хотя какая часть её занята этой задачей ещё вопрос.

Понятна и роль ступеньки-GPT на пути к ИИ. Это веха, важнейший из блоков. Лишённый возможности действовать целенаправленно, в одиночку мир захватить не может. Но необходимый: активный искусcтвенный интеллект будет к такой сети обращаться, как люди к воображению и памяти.

Оставить комментарий

Популярные посты:

uksibsan

Нужен ли вам Dyson: чем он лучше (и хуже) обычных пылесосов

storyreal

Образование и благосостояние.

konstantinus_a

Религия мира, или Цитата дня

uborshizzza

Досрочное празднование 9 мая на работе. Пилотки, георгиевские ленточки, гречка

pantv

Большая весенняя прогулка по всему Невскому проспекту Санкт-Петербурга

home_and_garden

Купольные дома в Подмосковье

foto_history

Смерть за коров

rivka381

"Каваии"

antimeridiem

именно такого формата

• Архив