GPT4. Так что же творится за ширмой Oрen AI?

grnsta — 02.04.2023 Переписка в группе по AGI

Но там же еще и сети довольно сложных actions?
Если уж gpt сам регистрируется на сайте фриланс и размещает там заказ.

Т. е. они параллельно обучают еще пару серьезных моделей (помимо GPT) о которых особо никто и не говорит.
Раз уж пошли картинки, то как минимум прикрутили мультимодальную сеть.


Vladimir R:
Лучше подумай, пока есть время, чтобы их объединить. Языковая модель должна воспринимать формальную систему как функцию и выбирать какую конкретно систему использовать в данном случае, она может перевести условия в формальное описание и вычислить результат

ALEX BUR:
Я думаю, что когда понадобится, то разрабы состыкуют. Состыковать наверное не сложно будет.
Уравнения-то она пишет и неплохо. Потом ошибки начинаются.

grnsta:
А Вы считаете что в Chat GPT нет модели верхнего уровня над GPT? Вроде была байка что он пошел на фриланс форум и сделал заказ.

Vladimir R:
Нету, она имитирует. Но мы так же имеем модель всех объектов в голове, с которыми взаимодействуем.

grnsta:
А где ChatGPT накапливает контекст, который формируется в диалоге?
Или она просто каждый раз формулирует новый запрос?
В любом случае есть некая локальная прослойка для каждого диалога.

Vladimir R:
Она хранит его в промпте, обычно это несколько тысяч токенов. Для английского токен примерно равен слову. Для русского токен это каждая буква. Возможно если лимит превышен, то моделька может делать суммирование контекста

grnsta:
А как с помощью промта можно слелать такие вещи?
Т. е. где-то прикручена акторно-сетевая модель?

". Для этого она обратилась на биржу наёмного труда TaskRabbit. Работник, которому пришла задача от нейросети, внезапно в шутку поинтересовался: «Так, а можно вопрос? Ты робот, который не может решить капчу? ☺ Просто хочу прояснить»."

ALEX BUR::
И робот солгал, сказал, у меня проблемы со зрением и в результате прошел капчу.

grnsta:
Это понятно.
Но ведь для этого промта недостаточно, это же не генерация текста, а определенные действия в сети. Значит рядом с GPT работает какой-то нехилый "контролер"?

ALEX BUR::
Не знаю. Вполне возможно, что языковый модуль дополнен еще иными модулями. Скорее всего.

grnsta:
А ведь это самое интересное. Что они крутят к GPT.

Vladimir R:
возможно, что GPT можешь написать скрипт отправки сообщений куда-то, а человек его исполнить,

опять же мы говорим, "что GPT не может вырваться на свободу, потому что не может выполнять запросы сам" — так ли это?

ничего не мешает один раз написать скрипт, который, будучи запущен, вызывает ChatGPT и автоматически получает от него код, который этот скрипт запускает

так что наивно полагать, что ChatGPT не может вырваться на свободу и отправлять какие-то запросы в реальный мир ))) может конечно, вызывая свое апи внешним скриптом )

он может, например, установить операционку, поставить на нее биткоин кошелек и осуществлять финансовые транзакции по этой схеме без участия человека )

grnsta:
api мало, нужно же где-то держать и state для этих действий. Процесс не изменяющий state, скорее всего, просто бессмысленен.
Чистая функция - это аналог абстракции.

Vladimir R:
верно, я об этом тоже подумал ) нейросеть может писать для себя следующий промпт и изменять стратегию, с учетом текущего результата.

каждый раз при выполнении она может скидывать часть информации в файл и потом читать оттуда же

получается некий зацикленный на себя процесс с таймером, чтобы не слишком быстро делать операции


Memorizing Transformers: как добавить в GPT долговременную память (by Google)

Вы думали, что 260 000 токенов это что-то невозможное для этэншна? А вот и нет, оказывается, если приделать approximate KNN внутрь механизма внимания и складировать Keys и Values в отдельном буфере, то можно засунуть в GPT целые книги!

Авторы показывают, что такое внимание помогает модели вспоминать сложные теоремы и леммы, которые были описаны десятки страниц назад! А самое крутое — это можно приделать к любому предобученному трансформеру, нужно лишь немного потюнить его на длинных текстах, что не очень сложно, так как градиенты через память не идут.
Статья

grnsta:
Спасибо.
Но там же еще и сети довольно сложных actions?
Если уж gpt сам регистрируется на сайте фриланс и размещает там заказ.

Т. е. они параллельно обучают еще пару серьезных моделей (помимо GPT) о которых особо никто и не говорит.
Раз уж пошли картинки, то как минимум прикрутили мультимодальную сеть.

https://t.me/AGIRussia_SCA/20960

Минутка саморекламы:
По этому поводу:
"опять же мы говорим, "что GPT не может вырваться на свободу, потому что не может выполнять запросы сам" — так ли это?

ничего не мешает один раз написать скрипт, который, будучи запущен, вызывает ChatGPT и автоматически получает от него код, который этот скрипт запускает

так что наивно полагать, что ChatGPT не может вырваться на свободу и отправлять какие-то запросы в реальный мир ))) может конечно, вызывая свое апи внешним скриптом )"


Именно для этого и предназначена наша low-coning коммуникационно-интеграционная платформа METABOT.
С помощью платформы можно проектировать свои API, подключить любые внешние API и написать необходимые скрипты (подключен GOOGLE V8). Естественно, в Ваше решение можно интегрировать любые NLP модели имеющие RESTful интерфейс и проектировать любые интерфейсы также и к человеку

Оставить комментарий

Популярные посты:

• Ранее
• Архив