lytdybr

ailev — 12.12.2023 Выступил 8 декабря 2023 на конференции Huawei по MBSE, доклад "Using AI agents in modern model-based systems engineering", англоязычные слайды -- https://disk.yandex.ru/i/DsUII96j6L4bMA. Я решил там, что про "примеры AI-агентов в инженерии" расскажут все остальные, это ж сейчас ведущая тема новостей. Я же расскажу о причинах и следствиях, "почему так". Всё будет быстро и болезненно. Упор я сделал на LLM как порождающие модели (для догадок) и KG как дискриминативные (для критики), дальше добавил про три поколения софта. У меня как-то это линия прописана в "Интеллект-стеке", что-то я на эту тему доложил на Ontolog Forum. Это просто продолжение.

Следующий доклад "BIM будущего: всё новое придёт сбоку" будет в среду 13 декабря 2023 на BIM-forum, в 15 часов в главном зале -- https://bimforum.pro/programma/. Слайды вот: https://disk.yandex.ru/i/oIx1VcPGbLp69Q (и я там повторяю несколько слайдов про AI-агентов, оставил их по-английски). Мой любимый слайд последнего времени в этой презентации тоже повторю:


В "Системном мышлении" теперь 12 разделов, в первые два добавил заданий. По оптимистичному плану публикация первых 25% обновлённого курса (три первых раздела) -- завтра. Вот текущие разделы:
1. О мышлении
2. Наш вариант системного мышления: третье поколение
3. Творчество: догадки и их критика
4. Воплощение и описание системы
5. Практики/деятельности/культуры/методы работы и роли агентов
6. Интересы
7. Системные уровни
8. Графы создания
9. Целевая система и её надсистемы
10. Как описывать системы
11. Системное моделирование
12. Вместо глоссария: онтология системного подхода третьего поколения.

Evernote вдруг сказал, что он для бесплатных эккаунтов поддерживает только один блокнот на 50 записей, поэтому ну никак не может мне позволить добавить ещё одну запись -- плати, и всё будет, или не плати, и ничего не будет. Я выбрал не платить (хотя я уже привык к Evernote, всё-таки на нём с 2007 года, https://ailev.livejournal.com/488409.html), и переехал на Obsidian. Скачиваешь Obsidian, далее выполняешь инструкцию создания экспортного файла .enex по правому клику на экспортируемом блокноте, потом ставишь плагин importer в Obsidian (https://help.obsidian.md/import/evernote), а последним шрихом -- не забываешь отсортировать полученные заметки уже в Obsidian по "дата изменения, в порядке убывания" (там в списке заметок есть значок сортировки -- вот эта опция там). Дальше надо будет как-то повозиться с синхронизацией на телефон (Obsidian вроде хочет за это денег, но есть опция и без денег -- полно советов в Сети на эту тему. В принципе, я всё это заметочное хозяйство в Яндекс.диск положил, должно и так быть доступно, там вроде всё файлами, по-старинке). Следующее приключение только что пришло по почте: GoDaddy сообщил, что с 31 декабря 2023 всё российское он прикрывает, а по его записям -- я российский, так что должен сказать "гуд бай" своим доменам, или убрать их куда-нибудь.

Из комментариев в Сети по поводу выпуска европейского регулирования социаль..., тьфу, нейронных сетей (а до этого -- водопроводных, электрических, транспортных, гостиничных. Если где-то "сеть" -- регуляторы рано или поздно возбудятся, а если не сами, то их обязательно кто-нибудь не утерпит, возбудит): "Британские учёные в тихой радости, вовремя ушли из Европы, можно развивать AI дальше". А европейцы сокрушаются, что подсчёт среднего вполне подходит под понятие AI из этого европейского регулятива. Ссылок не даю, пустое это.

На фронте нейросетей происходит ой-ой-ой сколько (конец года? Лет через пять можно будет сказать, что "вот это мы сделали ещё в 2023" вместо "вот это мы сделали в 2024", хотя даты там будут различаться на неделю). Активно изучают уже даже не Mamba (просто постулируют как факт, что 2024 год будет уже не годом транcформеров), а как делать MoE на опенсорсных сетях, ибо вышла работа по Mixtral-8x7B (в том числе Instruct), https://mistral.ai/news/mixtral-of-experts/, вроде как GPT-3.5 опенсорсом устойчиво побита суммарно на 46 млрд. нейронов (при этом работают, конечно, одновременно не все "эксперты", что и даёт выигрыш). Там ещё и Cerebras натренировала сетку на 70млрд параметров, используя 565 строк кода на Питоне (сравнимые сетки типа NVIDIA MEGATRON на 175B -- это 20тыс. строк кода, там ведь надо уметь разбить сетку на мелкие кусочки, чтобы она сумела вычислиться на кластере). Убойная фраза из поста в блоге Cerebras на эту тему (https://www.cerebras.net/blog/introducing-gigagpt-gpt-3-sized-models-in-565-lines-of-code): "Based on the results we believe gigaGPT can scale to models in excess of 1 trillion parameters", это при том, что hardware-aware архитектуры и малое число параметров сейчас в центре обсуждения. Cerebras всё одно считает, что "размер имеет значение". Направление Toolformer (soft of, потому как речь не идёт о выучивании того, каким инструментом хорошо бы воспользоваться, а просто построении API с естественного языка к tools) тоже получило толчок: NexusRaven-V2 на 13B превзошёл правильных вызовах неведомых (не попавших в выборку для обучения, zero-shot) функций аж саму GPT-4, https://nexusflow.ai/blogs/ravenv2. А ещё порадуйте себя и знакомых очередной рисовалкой аватарок -- https://t.me/AvatarychBot (даёшь фото, она тебе даёт стилизацию под Деда Мороза, Снегурочку, а также всякое другое, не такое сезонное). Больше AI хороших и разных.

У каузальщиков очередная работа от Bareinboim со товарищи с акцентом на learning -- https://causalai.net/r98.pdf, про объединение датасетов из разных источников. consider the scenario where we collect data from humans and bonobos. In terms of learning, the key question is: How can we combine these datasets to create a joint representation that is maximally informative, capturing the causal structure across variables and the commonalities and disparities between species? Regarding generalizability, the critical inquiry becomes: Under what conditions can findings from bonobos be extrapolated to make valid statements about humans? -- это из https://twitter.com/eliasbareinboim/status/1734325615564628116

Хотите шаманской музыки на час? Под неё хорошо работается -- вот свеженькое, зук-диджей shamanka, https://www.mixcloud.com/ShamankaJourney/madre-tierra-coming-back-to-your-roots/. Я думаю, что нейросетки такое догонят уже через год -- пока же там всё попроще, но яндекс.музыка уже даёт попробовать: https://music.yandex.ru/neuromusic.

Оставить комментарий

Популярные посты:

• Архив