lytdybr

ailev — 07.01.2024 В тексты, которые мы даём студентам моих групп (папочка lean 2.0, в открытом доступе её нет и не будет), положил свеженькие ISO 15288:2023 и ISO 42010:2022. Будьте с ними осторожны. По сравнению с предыдущими версиями там довольно много новаций, часть из которых вполне осмысленна, но часть -- это просто косметика на заведомо устаревшем материале, да ещё и с диким онтологическим дребезгом. Для меня ключевое в ISO 15288:2023 замечание к определению project: "Note 2 to entry: Continuous development approaches such as agile and DevOps can use different terminology for the creation of product and services", то есть "терминология в разных вариантах инженерии как практики создания и развития успешных систем существенно различается". Я бы добавил, что не только терминология, но и онтология: сам набор объектов внимания! Дальше ещё интереснее: в ISO 42010:2022 остаётся классическое определение архитектуры (по сути -- "всё важное" с упором на концепцию системы, а не современное по линии evolvable architecture с упором на нарезку на модули и указание интерфейсов в их влиянии на специфические архитектурные характеристики), но вместо "архитектуры системы" (system architecture) вводят архитектуру "целевой сущности" (entity of interest), поэтому стандарт об архитектурных описаниях целевых сущностей -- Enterprise, organization, solution, system (including software systems), subsystem, process, business, data (as a data item or data structure), application, information technology (as a collection), mission, product, service, software item, hardware item, product line, family of systems, system of systems, collection of systems, collection of applications. В ISO 15288 вздыхают, берут определения из 42010, но честно пишут: "заменили в определении сущность на систему" -- то есть отматывают это изменение назад. Но при этом сами тяжко запутывают процессы и системы (в частности, продукты, сервисы и системы), при этом включают в состав систем данные и даже структуры данных, процедуры и инструкции как "алгоритмы для оператора" -- причём даже не прямо, а через перечисление примеров "элементов систем", из которых состоят системы. Онтологов там и рядом не стояло, строгости в типизации никакой. Зато в новой версии ISO 15288 делаются попытки больше учесть оргсистемы, то есть "больше второго поколения, больше про организации, которые делают и используют/operation системы!". Итого: в наших материалах курсов мы в связи с выходом этих новых версий стандартов пока ничего не меняем и продолжаем дрейфовать в сторону современных версий третьего поколения (где не только организации, но и эволюция систем/"непрерывное всё" -- не будем произносить слова agile, оно у каждого в голове чем-то своим отзывается) и тамошней онтологии и терминологии. Стандарты страшно ускоряют прогресс (все договорились! взаимодействие становится дешёвым!) и они же его замедляют (все ведь уже договорились! новации становятся тем самым "не договорились, непорядок", новациям сопротивляются -- и они закрепляются в каких-то новых стандартах, а не в перепевах старых стандартов).

Я в мае 2023 писал, что следующий инвестпузырь будет с роботами -- https://ailev.livejournal.com/1688037.html. Основной вопрос -- это железо, которое может что-то сделать быстро и сильно (механика! "железо"!), при этом будет стоить дёшево. Ибо железяки дешевеют, но не так сильно, чтобы получить массовое распространение. Но вот вышел $30тыс. китайский антропоморф Kepler -- https://www.prnewswire.com/news-releases/keplers-humanoid-robot-makes-grand-debut-at-ces-heralding-a-bold-new-chapter-in-robotics-innovation-302023259.html. И был продемонстрирован ещё один проект -- там $32тыс., два манипулятора на тележке, The system costs $32k including onboard power and compute, https://mobile-aloha.github.io/ (про цену там и в статье, и в tutorial). Это было бы суперкруто, если бы не этот Kepler. В любом случае, 2024 год -- это будет год роботов, ибо к "супер-пупер-дупер AI" уже привыкли, "не новость".

Я уже несколько раз обращал внимание, что обучение нейросеток кодированию положительно влияет на их ум. Например, в апреле 2023 в https://ailev.livejournal.com/1682801.html я писал "сначала обучать на кодах, чтобы обучить паттернам логики, а уже потом на текстах интернет-помойки, включая художественные. Физик сможет потом писать стихи, поэт не сможет потом одолеть физику. Вот тут обсуждение этого чуть подробней: https://t.me/seeallochnaya/308, https://t.me/seeallochnaya/309, https://t.me/seeallochnaya/314". В 2024 вышла статья с подтверждением этого тезиса: "If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents", https://arxiv.org/abs/2401.00812. И там обзор про обучение на кодах: что, почему, как -- очень похоже на то, что я говорил и писал раньше, только с подробненькими ссылками и кучей подробностей. Общее там: обучение LLM на кодах экспоненциально (sic!) усиливает способность LLM к рассуждениям, а также много ещё чему. Я думаю, что в приложении к людям дошкольная информатика (напомню: https://piktomir.ru/) и проход дальше по курсу нормальной алгоритмики будут примерно так же полезны. И, конечно, программирование, моделирование, онтологизирование -- это одно и то же. Так что "нормальная алгоритмика" должна пониматься весьма расширенно, по факту речь идёт о формализации в рамках интеллект-стека -- умении двигаться по спектру формальности. "Обучение на кодах для LLM" -- это просто прокси для нежити в её текущем варианте LLM-на-трансформерах. Живых людей, думаю, надо обучать всё-таки по-другому, не заставляя читать всё содержимое GitHub.

Экономика решает всё, и важна "полная стоимость владения", а не просто "стоимость" чего-нибудь. У меня четвёртым обязательным системным описанием в курсе системного мышления указана не просто "стоимость", а именно "полная стоимость владения". Хорошим примером тут будут современные LLM. Если выяснять, как оптимально обучить сетку заданного размера, чтобы она ответила хорошо на пару вопросов -- будет один ответ, а вот если выяснять, какого размера надо взять сетку, чтобы получить от неё 100500 ответов заданной точности -- ответы будут совершенно другими. И там вырисовывается направление tiny LLM, где крохотную сетку учат на огромном числе примеров и получают "проигрыш в познании/training, выигрыш в рассуждениях/inference", дальше минимизируем суммарный бюджет FLOPS на познание с итоговыми рассуждениями. Вышла работа, аналогичная знаменитой Chinchilla, но "с учётом полной стоимости владения", и результаты интересны: "Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws", https://arxiv.org/abs/2401.00448 (да, это тоже 2024 год, прогресс неостановим). Вот русскоязычный обзор -- https://t.me/gonzo_ML/2259.

В этот новый год танцевал как не в себя, за неделю побывал на новогодних вечеринках модерн свинга (Лисоборье), двух милонгах-альтернативах (Б2 и A Bailar), двух фестивалях (мультиданс Q-fest и кизомбический Включитанцуй). На одной из вечеринок Включитанцуя я даже надел шляпу (за 400 рублей) и нацепил бабочку (за 200 рублей), майка там бесценная (принт хорошо знаком тем, кто читал "Инженерию личности"), а кусочек этого зрелища даже попал на видео: https://vk.com/wall2449939_5516. Танцуйте с нами, танцуйте как мы, танцуйте лучше нас! А вот тут мои комментарии к выбору музыки для вечеринок, https://vk.com/wall2449939_5519: Я признаю, что разным людям нравится разная музыка, но считаю, что диджеи и орги вечеринок всё-таки должны нести культуру в массы, а не опрощаться до уровня музыки троглодитов (кизомба сейчас опрощается до музыки из арпеджио на три блатных аккорда, там даю ссылки в дискуссии, что это за "три блатных аккорда"). И в этом посте ещё одно видео меня танцующего, хотя и не очень хорошо: на ковролине не слишком-то потанцуешь. Но я хотя бы попытался! Фото с новогодней вечеринки в Лисоборье, новогодняя шапочка за 128 рублей, а вот майка уникальная: это майка DeepHack 2015 года (http://game.deephack.me/), я там читал лекцию по инженерному процессу для нейронных сетей, за это и получил майку (ах, в какой я там был компании лекторов и членов жюри!).

Оставить комментарий

Популярные посты:

• Архив