О чистых сущностях

snormer — 06.04.2023

Зачем я вожусь в свободное время с сетями (кроме того, что это интересно)? Следует просто принять как данность: через некоторое время языковые трансформеры будут повсеместно. Как компьютеры и двс. Уж очень удачная технология. Раз так, неплохо знать, что там за шестерёнки внутри. А ещё, в результате плотной возни с любой сложной системой появляется «чувство инструмента». Вот то, что написано ниже, во многом основано на этих личных ощущениях возможностей и границ текущего поколения ботов. Результаты долгого тыканья их палочкой. Отсюда много эмоций, мало фактов. Извиняюсь.

Существует множество анекдотов про важность правильной формулировки желаемого. Мне нравится один, немного скабрёзный:

Заходит мужик в общественный туалет, пристраивается к писсуару и видит, что рядом стоит негр с огромным достоинством сантиметров в тридцать.
Офигевший мужик спрашивает: - А вот скажи, друг, а как я могу такой же себе сделать?
- Так это просто! - говорит негр - Привяжи к члену кирпич и походи так день-другой
Ну, мужик решил проверить. Через неделю мужик встречает негра и говорит ему: - Ты что мне, гад посоветовал! У меня член не увеличился ни фига, почернел весь только!
Удивленный негр: — А ты чего хотел???

Так вот, на тему свежих дискуссий о наличии/отсутствии интеллекта в больших языковых моделях.

Была очень хорошая мысль у автора Иванов-Петров про «гений речи». Действительно, языковые трансформеры в своей первой удачной итерации, это (внезапно) получилось такое дистиллированное и изолированное говорение. Не механическое, а по своему осмысленное.  Создавали-то просто модель языка: ты в неё начальные параметры, она предсказание результата.  А оказалось, что прицепом идёт сразу и некое «понимание», и генерация, а вместе это позволяет любые манипуляции и игры, до сносной имитации живого диалога. Это задним умом очевидно (мне сейчас), а кто бы заранее сказал...

Там следом было ещё замечательно про человека и разумность, но я так широко не умею, сильно меньше замах: а что если мы продолжим в ту же сторону мелким шагом, это мы куда придём? Интеллект сущность скользкая, размытая, поди определи его целиком. А на кусочки, вон, режется вполне чёткие!

Что там у нас дальше отрезать можно от человека и пришить к нейросети: арифметика? Логика, во всём многообразии? Пространственное воображение? Theory of mind? Критическое мышление? Память?

Смотрим внимательно: а модельки, по мере возрастания сложности, вот по этому списку и идут не спеша. Прямо по «гэпэтэхам», если немного абстрагироваться от неизбежных «детских болезней», видно направление развития. Давно уже не только язык, вышли за пределы: задачки, уравнения, картинки показываем... Я даже скажу, что там следующее в списке: взаимодействие с внешним миром посредством управления манипулятором, чтобы всякую простейшую физику тоже в строку. Уже были опыты, я писал. Упихиваем в бота мир во всём его разнообразии. А он в ответ осваивает и демонстрирует очередной кусочек того, что ещё год назад считалось чисто человеческим.

Я могу уже сказать, что из всего этого получится в итоге, в пределе: он и будет, интеллект. Уже неплохо проступает. Только чистый, беспримесный, сферический в вакууме. Гений интеллекта, угу.

Возвращаясь к заглавному анекдоту. А мы, когда желали/опасались ИИ, чего хотели то? Мы же (я тут про себя, понятно) по книжкам воображали либо «тупого» робота, либо некую чуждую разумную сущность. А оказалось, что может существовать интеллект без разума и целеполагания. Вот совсем, без зачатков и даже способности к таковым.

Да, из этого аморфного пластилина можно попробовать вылепить нечто разумное. Не уверен, что это такая уж простая задача: языковым трансформерам тут мешают некоторые (весьма удачные, многие это уже поняли) ограничения. Главное, они не могут учиться и запоминать, адаптироваться. Придётся выходить за рамки архитектуры и не совсем пока понятно куда.

Это уже будет дорога к «искусственному разуму». Там ещё быстро выяснится, что возможен разум без личности и разумная личность «без души». И что выглядит всё это в реальности немного не так, как воображалось писателями и философами. Но это дожить ещё. Пока же: присмотритесь, то, что проступает в поведение бота, это именно интеллект. Искусственный, нечеловеческий. Красивого шоколадного оттенка, как заказывали. Не то хотели?


ЗЫ. Сразу пара ответов (на свои же вопросы, так ведь проще):

— Это всё просто математическая функция, какой вообще интеллект?
Ну да, это, как и любая нейросеть, суть очень сложная мат.функция. Но, во-первых, несколько сложных функций, связанных нелинейно: языковые трансформеры это уже структура, пусть и с небольшим набором элементов, там есть функциональные блоки и связи, степени свободы. Во-вторых, тут ударение на «сложная». Очень-очень сложная. Настолько сложная, что демонстрирует вот это самое нетривиальное поведение, которое проистекает из самой сложности системы (оно ведь появляется только у очень больших моделей) и не связано даже с типом слагающих её «кирпичиков». Холизм, эмержентность, как хотите. Этак ведь человека тоже можно редуцировать до отдельных нейронов (вполне механистичных, предсказуемых и поддающихся моделированию) и нервных импульсов. Правда же, просто не вся.

— Всё это лишь игры в слова. Она просто предсказывает следующее слово в предложении.
Так, да не совсем.  Вход не слово, а «представление слова». Это немного разные вещи: на самом деле, трансформер способен принимать на вход любую последовательность данных, которые можно закодировать некоторым конечным «словарём». Это не текст, а всё, что можно представить, как некий текст. Например, вся математика, да и вообще любые дискретные данные ограниченной размерности. Тут ограничением только размер «словаря». Даже ещё интереснее: словарь тут нужен затем, чтобы переводить входящие данные во внутреннее представление. А вот там уже никакого текста, честная матрица. Куда можно равно закодировать уже не только текст, а что угодно, от картинок до звука и запаха, и всё это ляжет туда вполне «человечески», правильными ассоциациями. Это снаружи у него текст, а внутри там многомерная (хоть и дискретная, увы, ещё одно ограничение) картина мира. Которую модель строит, чтобы правильно предсказывать слово.

Оставить комментарий

Популярные посты:

pertinax

Эволюция купе-кроссоверов: искусство сочетания стиля и практичности

afirsov

Приключения Винни-Пуха в России

amarok_man

Загадка на логику из СССР

matsam

В плену

365days

Ежедневный дайджест марафона #веснедорогу — 1 июня

likynia

Пятница, 13

travelfoxes

Чем объясняется коммерческий успех двигателей GTF?

masterok

Почему нельзя проехать на автомобиле из Северной Америки в Южную?

foto_history

Ягненок не может позволить себе обсуждать с волком, с какого рода соусом тот

• Ранее
• Архив