И о ИИ

dibr — 31.03.2023 И ещё мысль об этом самом.

Тут [1] грят, мол "ошибкой было бы думать", что chatGPT есть чем думать: это просто огромная убер-тренированная LLM (Large Language Model, она же БЯМ - Большая языковая модель [2]), обученная на миллиарде текстов и с триллионом параметров в пузе, и единственное что она умеет - виртуозно комбинировать слова, опираясь на этот самый миллиард текстов, но не придумывая ничего принципиально нового. А если кто-то в какой-то момент подумает что она думает, так это ему просто повезло - БЯМ скомбинировала слова настолько виртуозно, что в результате действительно получился правильный ответ. Косвенно это подтверждается тем, что известные нам БЯМ довольно часто "бредят" - выдают что-то похожее на ответ, но ответом не являющееся.

Так вот, мне кажется что это уже не совсем так, а скоро может стать совсем не так.
Да, тот же chatGPT изначально создавался/обучался как БЯМ, и скорее всего на первых порах ничем кроме "бредогенератора на стероидах" работать не мог. Но после этого модель довольно долго гоняли "обучением с подкреплением" - фактически, заставляли решать задачки, "награждали" за правильные ответы, и заставляли перестраивать связи так, чтобы правильных ответов было больше и они получались быстрей. Вполне стандартная процедура, если нужно дообучить нейросеть чему-то конкретному, вроде классификации книг по жанрам и качеству языка, игре в реверси, или ещё какой диагностике геморроя по отпечатку носа - но в процессе дообучения сеть перестаёт быть "чистой" БЯМ, и в ней появляются связи, связанные с отпечатками носа и геморроем. "Думать" при этом сеть не начинает - большинство подобных задач сводятся к разновидностям задач распознавания, а они решаются вполне механически, хотя и требуют ресурсов; получается этакий мега-распознаватель определенного класса образов, пристёгнутый к экспертной системе с энциклопедическим объёмом "знаний", и прекрасным умением трепаться. Это может впечатляюще выглядеть со стороны, но не будет "мышлением".

Но chatGPT-то гоняли не на одном виде задачек, а на большом количестве разных - ну то есть совсем разных - задач! Поэтому вместо кучи связей под каждую задачку, между собой не связанных, нейросеть перестроила свои связи так, чтобы решать задачки так сказать "в общем виде", а не каждую по отдельности, то есть - научилась именно _думать_. Примерно так, как когда-то очень давно научились думать наши предки, имея в основе "рептильный мозг" (это не метафора, это научный термин), и постепенно нарастив на нём неокортекс (которым, как считается, мы и думаем). И в этот момент наш любимый chatGPT перестал быть "чистой" БЯМ, и даже "БЯМ прошедшей профориентацию", а приобрёл принципиально новые связи, и стал пусть пока слабенькой, но "думалкой", построенной на платформе мощной БЯМ. Зародышем, так сказать, Массачусетской Машины, но поверх бредогенератора.

Что мы и наблюдаем: если задача не слишком сложная, chatGPT вполне способен абстрагироваться и найти решение, заведомо не сводящееся к механической комбинации содержимого обучающей базы, причём даже для задач, на которых его не натаскивали. Если же задача сложная, или chatGPT не понял условие (не забываем, что нейросетка у нас пока ещё слабенькая, тест IQ например прошла на уровне 83), наружу вылазит лежащая в основе БЯМ, и начинает нести вдохновенную пургу. Ну так, если человека шилом в попу ткнуть, у него первую реакцию тоже рептильный мозг выдаст, а до неокортекса дело вообще может не дойти. А мощность нейросети, в отличие от мощности нашего мозга, наращивается относительно легко, так что - ждём-с.

В общем, всё в точности так, как сказал один широко известный в узких кругах человек в одном из своих опусов [3]:
"Вот кстати тоже тема. Почему у нас столько мелкой специализированной техники? Все эти киберы-носильщики, киберы-уборщики, киберы-парикмахеры и киберы-маникюрщики? Неужели нельзя было сделать универсальную модель? Я когда-то этот вопрос задавал профессору Клапауцию из Института киберехнологий. Который сначала начал мне рассказывать про деятельный гуманизм и про то, что сам вид человекоподобного кибера, услужающего человеку, будет ужасно нервировать общественность. А потом вздохнул и сказал простую вещь: интеллект есть производная решаемых задач по уровню их универсальности. То есть искусственный интеллект, постоянно решающий несколько разных задач, будет развиваться и в конце концов разовьётся до приличного уровня. А решающий задачи узкого спектра - нет. Это законы системотехники, обойти их нельзя. Поэтому лучше уж у нас будут тележки с манипуляторами отдельно и пылесосы с ногами отдельно. Во избежание сами понимаете чего".

Слава Роботам!

[1] https://nlothik.livejournal.com/1319642.html
[2] https://ru.wikipedia.org/wiki/Большая_языковая_модель
[3] http://samlib.ru/h/haritonow_m_j/fuc.shtml

Оставить комментарий

Популярные посты:

• Ранее
• Архив