Из первых рук (Сэм Альтман) про ГПТ

akor168 — 09.04.2023

Начал смотреть интервью Сэма Альтмана Лексу Фридману. Так как там почти 3 часа то смотреть придется точно частями. Посмотрел условно говоря первую треть до 47-й минуты. Запишу что мне показалось интересным в этой части.

1. Когда они создали компанию и объявили свою цель (создание сильного ИИ) их все, включая специалистов, посчитали фриками. Говоря откровенно, я тоже что-то слышал в то время про создание, и тоже подумал что какие-то малоизвестные люди собираются построить ИИ, не работая в Гугле, Микрософте или Фейсбуке. Ерунда какая-то. У них же нет ни мощностей ИИ-гигантов, ни, что намного более важно, накопленных данных для обучения.

2. Процесс алайнмента(доброжелательности к человеку) вовсе не ортогонален производительности. Те системы (ГПТ-3) которые получались после обучения из ящика, были малопригодными и извлечь из них их способности было сложно. То есть дообучение с использованием мнения людей про ответы ИИ не просто повысило безопасность, но повысило и эффективность моделей.

3. Объем этого самого дообучения с помощью человека удивительно скромный по сравнению с основным тренингом. Это собственно было известно, но факт стоит отрефлексировать еще раз - дообучать эти системы с помощью людей это недорогая часть.

4. По поводу, из чего состоял дата сет для ГПТ-4, конкретики не было дано. Исходя из общих фраз - сама подборка тренировочного сета это гораздо более важная часть чем многим кажется. В ГПТ модели вовсе не тащили весь интернет.

5. ГПТ-4 была натренирована уже в конце лета 2022 (чат ГПТ - на предыдущей версии, напомню, публике был предложен лишь в конце ноября 2022). После чего они изучали её возможности и как извлекать пользу. У них в компании есть люди которые месяцами по 12 часов в день колдуют над промптом и смотрят на результаты. То есть промпт-инженеринг это не будущая, а уже текущая профессия.

6. Был намек, что специалисты компании уже используют возможности ГПТ-4 в своей повседневной работе как помощника и это существенно повысило их производительность. То есть программирование уже трансформировалось, и да, ГПТ 4 по сути сейчас работает вместе с людьми, чтобы делать следующее поколение продукта.

7. Вопрос о размере сети ГПТ-4 был обойден, но судя по всему те, кто говорил про увеличении числа параметров попали в молоко. То есть размер сети ГПТ-4 вовсе не 100 триллионов, как предсказывалось многими.

8. Что однако очень важно: по словам Альтмана в процессе работы над ГПТ-4 было придумано столько разных мелочей в каждой строке пайплайна разработки, что количество перешло в качество. И как я понимаю, Альтман намекает на то, что повторить это кому то со стороны будет архисложно. Множество придумок, мелочей и секретиков. Другими словами, другие конторы, включая ИИ гигантов, не смогут выдать аналог ГПТ-4 с нуля в разумное время даже если бросят гигантские деньги. Им придется все это придумать и внедрить по каждой мелочи. Ну как бы только ленивый не высказал версию что известное письмо про то, что надо остановить ИИ-разработки хотя бы на 6 месяцев, появилось неслучайно. Open AI уже похоже действительно не догнать.

Просмотр и Продолжение следует

9. По поводу публичных ботов и вопросов на которые ИИ не стоит отвечать. В компании работают над системой которая будет распознавать неправильные вопросы(и посылать пользователя) но она пока сырая.

Оставить комментарий

Популярные посты:

• Ранее
• Архив