о текущей революции в ИИ

akor168 — 09.01.2023 Я тут вышел из чулана, и 2022 год который в целом хотелось бы забыть как страшный сон похоже таки оказался и годом реального революции в сфере ИИ. Да-да, я про ChatGPt. Как минимум в этом хочется разобраться, причем детально, а пока запишу несколько мыслей возникших до этого детального знакомства, чтобы потом сравнить по ознакомлению с реальной базой. Кстати если у кого есть хорошие ссылки на обсуждениЯ как все это устроено, как сделано, как работает и почему это вообще работает с удовольствием ознакомлюсь.

А пока собственно разрозненные первые мысли.
1) Если честно концепция GAN сетей меня как внешнего читателя-наблюдателя в свое время не возбудила от слова совсем. Настолько что я даже не стал разбираться - ясно же что это какой-то временный костыль. Ага. Ага.

2) По факту же это кажется первый случай в истории ИИ когда в результате проведения эксперимента получили гораздо больше чем ожидали. До этого как я понимаю всегда было наоборот - многие ожидания и как правило пшик на выходе. А тут просто решили потренировать сетки на побольше, на данных на побольше и вдруг получили качественный скачок причем такой что мама не горюй.

3) Результат работы ChatGPT, который постят многочисленные тестеры по всему миру(я сам попробовать не могу поскольку "ебаная русня"(с) Vastrik, а ей не положено), выглядит нередко как магия, причем магия серьезная. Может это все-таки китайско-филлипинский колл-центр? А может господь-бог или на худой конец красные рептилоиды решили приколоться и перехватили каналы вывода ChatGPt и фигачут в стиле Эдельвейса Машкина, хохоча на фоне над офигевающими людишками?

4) Прикол происходящего в том, что машина генерирует разумные ответы на вопросы и при этом мы точно знаем как она это делает - она просто предсказывает следующий символ в ответе. То есть интеллекта у этой системы не просто нет. Его там заведомо нет. То, что сделали, это имитатор интеллекта по определению.

5) И вот шок как раз в том что с практической точки зрения как оказывается нет никакой разницы между Интеллектом и его имитацией. Если вы задаете вопрос и получаете точный ответ, то совершенно не важно что этот ответ вам по сути написал продвинутый датчик не случайных чисел.

6) И вот что важно. Когда человек читает ответ системы навроде ChatGPT именно он наполняет его смыслом. То есть без внешнего читателя ответы системы не имеют никакого смысла. Именно он судит о том что получилось и насколько хорошо получилось, и решена ли поставленная задача. Вопрос при этом возникает - а точно ли этим внешним наблюдателем должен быть человек? Ответ - совершенно необязательно. Но так как вопросы задают именно человеки и получаемые ответы им нравятся значит все нормально. Но да вместо человека может быть что угодно. И строго говоря именно так эти системы и учились - сами задавали себе вопросы и давали ответы и оценивали их(это и есть вкратце суть GAN систем). И судя по утверждениям разработчиков потом системе стали помогать оценивать и реальные люди(то есть без азиатских колл-центров дело таки не обошлось).

7) Как же демонстрируемое выглядит на собственно объектном уровне - каким образом дается ответ на любой вопрос? Как я подозреваю, но это не точно, делается следующее - в парах текстов "заданный вопрос-предположительный ответ" правильные ответы настолько выделяются, что достаточно большая сеть на достаточно большом корпусе данных очень быстро найдет именно правильный ответ. Грубо говоря, правильные ответы находятся ближе к вопросу, чем неправильные или тем более случайные. То есть нейросеть выучивает достаточно правильную метрику\ расположение пар текстов в пространстве смыслов, в которой все неправильное просто отваливается.

8) А как же можно выучить все пары текстов, их же комбинаторно очень много? Невообразимо много! А вот прикол как раз в том что учится не точная метрика для всех пар, а некоторая конечномерная(компактная) аппроксимация и чем больше параметров то тем эта аппроксимация точнее. То есть в потенциально очень большом множестве пар текстов мы строим таки большую но уже вполне обозримую аппроксимацию. Математическим языком - строится как можно более оптимальная конечная эпсилон-сеть в компактном метрическом пространстве, которое может быть и бесконечным.

9) Но почему это, черт возьми, работает? Это загадка! Но загадка на практическом уровне. Ибо с теоретической точки зрения как давно показали ученые(смотри например статью Горбаня), нейросеть состоящая из линейных элементов(персептронов) и ЛЮБОЙ нелинейности есть универсальный аппроксиматор, то есть она способна в теории приблизить со сколько угодной точностью любую непрерывную функцию или отношение. Загадка не в том что такое приближение существует, а в том что мы его строим практически и не утыкаемся в какую-нибудь экспоненту по количеству нейронов и связей между ними.

10) И следующий вывод - несмотря на то, что обучающая выборка пар текстов(вопрос-ответ) конечна, так как строится именно универсальная аппроксимация то ее можно прогнать для любых пар текстов. А дальше смотри пункт 6) - оценивающий агент смотрит сгенерированный текст и дает оценку - насколько этот ответ полезен в том или другом контексте. То есть, да ChatGPT и его аналоги не просто может генерировать новые знания. Он может генерить в каком-то смысле ВСЕ знания. Скопом. Но знание не появляется пока ему не зададут нужный вопрос, получат ответ, и дадут оценку - насколько тот ответ полезен.

11) Другими словами, для чего могут быть нужны люди в новом прекрасном мире? А вот ровно в этом смысл тех самых наборщиков из свифтовской Лапуты, которые крутят механизм(задают вопрос) - смотрят на ответ, оценивают его и помещают его в соответствующую дисциплину(пишут трактаты по математике, юриспруденции и философии). А как они оценивают - с точки зрения полезности для человечества и человека, субъективной полезности. Можно ли их заменить? Да если изучить как они это делают. Потому как собственной ни воли ни цели у систем типа ChatGPpt быть не может - это попросту выделенная метрика в некотором пространстве. То есть, другими словами человечество по идее должно теперь работать тестировщиками и целеполагателями для создания все более и более мощных систем генерации собственно контента.

Дисклеймер: все написанное выше это мои измышления. Я только собираюсь изучить как работает описанный феномен и возможно то что я написал не имеет отношения к реальности, а лишь мои мысли как бы это может работать. Как оно работает на самом деле это возможно очень-очень интересно, и другое. Повторюсь, если есть ссылки на толковые обсуждения и мысли, я с удовольствием с ними ознакомлюсь.

Update:

12) Формально, у нас есть множество всех конечных ограниченных сверху текстов в некотором конечном алфавите. И мы рассматриваем отношение между двумя текстами вида второй текст является ответом на вопрос, заданный в первом. И приписываем вероятность выполнения этого отношения каждой паре текстов. Получаем некоторую меру(не в классическом смысле а просто как функцию на паре текстов и принимающую значения между нулем и единицей). У нас есть некоторая обучающая выборка на небольшом подмножестве пар текстов. И вот мы строим на этой основе некоторую интерполяцию на все конечные тексты, и после ее построения мы теперь может генерировать Ответы на любые Вопросы. При этом мы сами пока ЧТО-ТО не спросим, Ответа не знаем. Эта мера очевидна существенна неединственна и по факту, и по тому, что даже для экстремальной выделенной меры мы можем построить только ее конечную аппроксимацию, которая по факту и является конкретной нейросетью.

13) Экстракция новой информации из такой сети-меры может напоминать процесс разработки шахты. Задаем Вопросы, смотрим на Ответы, оцениваем их. Фиксируем интересные. Пока шахты по понятным причинам довольно бедны, но нас никто не ограничивает от перехода к другим, возможно, более богатым.

Оставить комментарий

Популярные посты:

• Архив