ChatGPT

топ 100 блогов mozgosteb — 23.08.2023 ChatGPT

Несколько соображений по поводу разумности ChatGPT и его клонов. Я IT-шник, и в моём информационном пузыре довольно много ожиданий по поводу того что ИИ на основе технологий а-ля ChatGPT неминуемо сравняется с человеком, перегонит его, а то и даже возглавит неразумных.

Как я вижу, эти ожидания стоят вот на чём.


1. Превосходящая старые ожидания эффективность
В основе работы ChatGPT лежит модель предсказания следующего слова. Т.е., грубо говоря, дано: "текст вопроса", требуется предсказать первое слово ответа. Потом дано: "текст вопроса + первое слово ответа", требуется предсказать второе слово и т.д. Модель предсказания - специально обработанная статистика огромного числа текстов. Никто из специалистов не ожидал что на одном этом, без использования каких-то вычислительных сверхресурсов можно получить вменяемый текст. Т.е. многие ждали ИИ, предсказывали и т.п., но то что можно достигнуть значительных успехов на такой простой базе никто не ожидал. Ожидали порывов в понимании сути мышления или чего-то подобного. Оказалось - всё намного проще.

Если в простой модели закопано много больше эффективности, чем искали, хочется предположить, что недра разработаны не до конца и добавь в обучение больше текстов, добавь больше параметров в статистическую формулу, и технология выдаст невообразимый максимум. Эти чаяния подогреваются вот ещё чем:

2. Нет математики или другой точной дисциплины, которая может указать на потенциал ChatGPT-технологий
Обычно, когда совершаются какие-то технологические прорывы, сначала появляется теория, а уже потом она проверяется на практике. Поэтому мы мечтаем об орбитальных лифтах и дешёвой термоядерной энергии. Есть примерные теории, как это сделать, есть понимание, что теоретически это возможно. В теме ИИ всё наоборот, теория отстаёт, и каждый год отстаёт всё сильнее. Новые статьи имеют примерное такое содержание: "мы тут попробовали один алгоритм и получили хороший результат". Почему этот новый алгоритм сработал разбираются уже потом. И далеко не всегда получается понять. И далеко не всегда есть время с этим разбираться. Практика сильно обгоняет теорию и потому впереди всегда слепая зона: совершенно непонятно, где предел совершенству и можно вообразить предел где угодно.

3. Сложность и непонятность конечной конфигурации обученной нейросети рифмуется со сложностью и непонятностью работы мозга
Алгоритм предсказания следующего слова это не очень сложная формула. Никакой сложной математики, в основном сложение и умножение. Но множителей до сотни миллионов. Параметры этой формулы подбираются автоматически и никто не знает, какой из них за что отвечает. Немного похоже на мозг, в котором на таком уровне детализации тоже никто не разбирается и "объяснить" сложное поведение мало реально как на "механике" мозга так и на предсказательной формуле.

Не удивлён, что можно решить, будто разум это чёрный ящик, заглядывать в который не обязательно. И потому нет особой разницы между человеком и ИИ, если результат деятельности похожий.

P.S. Решил посмотреть написанный до середины пост, а он взял и опубликовался. Ну и ладно, свои соображения напишу отдельно.

Оставить комментарий

Архив записей в блогах:
Как сообщает украинский сайт Думская.нет художник-баталист Беата Куркуль, которая пишет сцены из жизни украинских пограничников и военных, посвятила свою новую картину переходу катерной группы ВМСУ из Одессы в Мариуполь, закончившемуся инцидентом у берегов ...
На днях стремительно и внезапно убываю на Ближний Восток. Сейчас ищу вписки, но HospitalityClub в тех местах не очень популярен, и я завёл наконец профиль на CouchSurfing . Анкету заполнил, фотографии вывесил. Всё бы хорошо, но ни друзей, ни рекомендаций ещё ...
Так отозвался о скором появлении на территории Прибайкальского национального парка уникальной фотозоны депутат Государственной Думы России Николай Николаев. Председатель Комитета по природным ресурсам, собственности и земельным отношениям посетил площадки, на которых предполагается ...
Человек с такими ногами может позволить себе короткие шорты. Или вовсе ничего. С такими ногами и одежда не нужна и профессия ни к чему. Когда режиссер Марюс Вайсбрег увидел такое, он немного сошел с ума. Он влюбился, женился  и стал снимать фильмы, которые понять простой ...
Вспомнил, как неоднократно читал, что в силу неких обстоятельств найти потерявшегося человека по сигналу сотового телефона, мягко говоря, затруднительно. Судя по всему, обстоятельства эти чисто организационного или юридического свойства. Пришлось сегодня «удалённо» вызывать скорую ...