lytdybr

ailev — 05.12.2022 Закончил седьмую главу "Системного менеджмента", публикация в Aisystant заняла всего три часа (это результат того, что починили компилятор курса в нескольких местах). Читайте учебник, выполняйте упражнения. В этой седьмой главе расписываю практику оргдизайна, а завтра буду уже писать про архитектуру предприятия. С одной стороны, там материала будет немного (ибо то, что традиционно рассказывается в теме архитектуры предприятия, в значительной мере переехало в оргдизайн/оргпроектирование), с другой стороны -- потребуется чуток поисследовать вопрос про организационные -ilities, уточнить современные варианты архитектурных стилей (теперь это так называется, все эти "матричные структуры управления"). В любом случае, планирую закончить главу до конца недели.

Число пользователей ChatGPT (https://openai.com/blog/chatgpt/) достигло миллиона человек, хотя опубликована она была пять дней назад, 30 ноября 2022. Цель пользователей -- "попробовать", с неизменными восторгами по поводу результатов пробования. Попробовали и на русском, отлично работает, хотя и сильно похуже англоязычного варианта. Можно выделить три основных направления "проб": попытки помощи в написании или понимании чего-то в программировании, например онтологи просят рассказать про запросы SPARQL -- и успех-успех), попытки опытной профессуры запутать сетку по части чего-то околонаучного (вопросики типа "расскажи о влиянии работ Эйнштейна на исследования Аристотеля"), попытки использовать как писателя (ровно по линии нейрохудожника: я тебе идею, ты мне готовую картину в заданном стиле, так и тут, только просят текст вместо картины). Особо интересна реакция на второе направление: сетку находят крайне опасной (это они не знают о существовании InstructGPT, которая подаётся как ChatGPT без тормозов, то есть на вопрос "как насолить соседу" ChatGPT скажет "я на такие вопросы не отвечаю, не надо делать людям плохо", а вот InstructGPT выдаст несколько дельных советов безо всякой цензуры). Почему вдруг ChatGPT опасна? А вот: "нейросетки смешивают правду и неправду, иногда очень убедительно рассказывая полную чушь, это очень опасно, надо что-то с этим делать, эти нейросетки очень несовершенны, любой человек не будет допускать таких жутких ошибок". Мне очень хочется им возразить, что "давно вы не имели дело с "любым человеком", мокрые нейросетки тут не сильно лучше, а недостающего логического блока с проверками и объяснениями у мокрых нейросеток чаще всего тоже нет". Дальше как в том анекдоте "я-то протрезвею, а ты так и останешься уродиной": логический блок и проверки к всяким GPT-4 или что там из этой серии будет -- добавят (ChatGPT и InstructGPT -- это GPT-3.5, и судя по всему её сделали ещё в прошлом году, так что GPT-4, обученная на материалах текущего года, может появиться где-то через год, но слухи ходят, что и быстрее). А мокрые нейросетки в части ума-разума массово обучить вряд ли удастся.

Слухи о том, что GPT-4 выйдет на днях или раньше, всё усиливаются и усиливаются. Равным образом усиливается критика того, что "нейросетки это тупик". У меня возражения в том, что это тупик:
-- нейросетки проявляют при росте размера эмерджентность (https://arxiv.org/abs/2206.07682, великолепный гифчик в https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html, и даже какая-то теория на этот счёт https://www.quantamagazine.org/elegant-six-page-proof-reveals-the-emergence-of-random-structure-20220425/). Так что GPT-4 может проявить новые свойства. Тут нужно учесть, что появились новые архитектуры, более экономные к вычислениям, к обучающим данным (что эквивалентно росту размеров сеток), а ещё и новая аппаратура (типа компьютеров Cerebras). Ещё помним, что мозги у нас вроде как нейросетевые, но очень медленно на них можно эмулировать а хоть и машинный код IBM Systema/360, и математики с их доказательствами тоже демонстрируют эмуляцию формального вычислителя на нейросети. Особенно, если добавлять чуток внешней памяти для промежуточных результатов вычислений, как математики добавляют карандаш и бумажку. Так что ещё с большими языковыми моделями не вечер, это только цветочки, ягодки ещё будут. Вот только последний пример, в DeepMind снизили одну из метрик ошибок в математических рассуждениях с бывшей SoTA 14% до 3.4%, https://arxiv.org/abs/2211.14275. И ещё найдите людей, у которых в этих рассуждениях такие ошибки! Общий вывод там в том, что учить надо, указывая ошибки в процессе, а не ошибки в результе (а если учить, указывая на ошибки в результате, то по факту всё одно учим процессу -- поэтому прямо процессу учить лучше. Думаю, для людей это тоже верно).
-- уже было сказано несколько лет назад, что "если нейросетка делает что-то плохо, так этом мы просто не догадываемся, как правильно её об этом попросить". Ход с ChatGPT был ровно в этом: нейросетке показали живые люди, как надо отвечать, если её о чём-то спрашивают. Раньше просто никто не учил сетку именно отвечать на запросы! Догадались чуток подучить -- получите удивительные результаты прямо сегодня.
-- критика идёт только по поводу нейросетей, но даже если две сети поставить adversarial, или добавить какой-то математический процессор (как это делалось во всяких AlphaGo), добавить интерфейсы, запросы в интернет и т.д. -- то есть представить одну (но, скорее всего, несколько) нейросеток в составе какой-то когнитивной архитектуры, то результаты будут совсем другими, ибо появится эмерджентность, новые свойства, которых нет у "чистых нейросеток". Мотор не летает, крылья не летают, пропеллер не летакет, но если мотор прицепить к пропеллеру и прикрутить к крылу, то крыло полетит. Поэтому обсуждение того, что "мотор никогда летать не сможет" в варианте "нейросетка никогда не станет проявлять интеллект как у человека" -- оно странно.
-- уже сейчас нельзя сказать, что нейросетка (безо всякой особой дополнительной обвязки) сильно хуже среднего человека. Только честно берите не лучшего художника планеты для нейрохудожника, а нормального такого человека, homo sapience как он есть. И берите для ChatGPT тоже среднего такого человека, какого-нибудь клерка из Малайзии, задайте ему те же вопросы, что вы задаёте ChatGPT и пообсуждайте по итогам его ответов, что "никогда человек не сможет добиться ничего путного".

Ещё одна интересная нейросетка вышла в Google: https://ai.googleblog.com/2022/10/natural-language-assessment-new.html -- эта сетка даёт оценку ответам студентов. Потом эта сетка будет проверять и мокрые нейросетки студентов (например, в нашем Aisystant), и те самые "языковые модели" из ближайшего будущего.

Но не менее интересные события у нас в физике, ибо там сделан хороший такой шаг к "квантовой гравитации", экспериментально в квантовом мире продемонстрирован wormhole, история эта подробно обсуждается в красочном фильме https://www.youtube.com/watch?v=uOJCS1W1uzg и более полной версии в журнале Quanta https://www.quantamagazine.org/physicists-create-a-wormhole-using-a-quantum-computer-20221130/, а вот статья в Nature, конечно, недоступна без денег издательству -- https://www.nature.com/articles/s41586-022-05424-3. Пикантный момент там в том, что использовано было два открытия современности: квантовый компьютер как медиа для эксперимента в физическом мире, а ещё нейронная сеть, которая помогла сделать расчёты по методу lean (в физике это coarse-graining, https://en.wikipedia.org/wiki/Coarse-grained_modeling, то есть счёт всего важного, откидывая всё неважное), чтобы эксперимент поместился в текущий квантовый компьютер, а не квантовый компьютер из светлого будущего. Просто wormhole представили нейронной сеткой, у которой много-много параметров, а потом подсократили число параметров (Ванчурин примерно такое же уподобление нейронной сетки делает для всей вселенной, когда пишет про эволюцию, так что это у физиков, похоже, переход к этому способу представления "многопараметрического мира" сейчас общее место -- просто "чуть другая математика, а так всё то же самое").

Ещё из интересного на прошлой неделе -- это выяснение, как одному школьному району в Коннектикуте удалось не снизить во время локдаунов успехи младшешкольников по математике. Для начала, они увеличили время урока с одного часа до полутора часов, и там поставили вариант с station rotation -- чтобы все детки успевали делать разные задания в диалоге друг с другом малыми группами, поставили там mastery learning (это когда не сдвигаются с места, пока все всё не поймут), но и при этом успевали провести время один на один с учителем (как это? и сколько времени там получалось на каждого? странно это, но всё же) -- и жизнь как-то наладилась, https://www.cbsnews.com/news/covid-school-test-scores-math-meriden-connecticut-dan-crispino/. Всё, что я вычитываю из статей по линии "как научить чему-нибудь" сводится к "удержите мозг студента в работе над задачами из изучаемой предметной области побольше часов. Для этого проще всего дать ему человечью стаю/стадо, в которой у него включатся инстинкты, и он потеряет счёт времени -- ибо сделать нормальный геймплей в какой-то игре как edutainment не получится, не хватит ни мозгов, ни ресурсов, и будет много дурной работы мимо собственно обучения". Тупо держать за руки, за ноги, заставлять мозг думать -- и результаты не заставят себя ждать. Отличники просто проводят за обучением больше часов в конечном итоге, просто они этого времени не замечают. А двоечники могут за столом сидеть час, но на собственно обучение из этого часа может уйти пять минут, остальное время -- мечты и отвлечения, занятия ерундой и непродуктивными практиками типа попыток выучить что-то наизусть или переписать один к одному (вот тут методика важна, чтобы студент тренировал мозг только на полезное, максимальное время). Это очень грубо, но "часы налёта" в конечном итоге решают всё. Практика обучения мастерству должна как-то гарантировать достаточное время на решение задач в изучаемой предметной области, максимизировать "часы налёта". В принципе, это достигается или каким-то конкурсом, где "добровольно будешь не спать ночами, а тренироваться, чтобы не быть лохом по сравнению с другими" (перевод мастерства в спортивное мастерство, разве что вместо неосмысленного дела типа пинания ногами мячика в ворота, будешь демонстрировать какое-то другое мастерство), или простые требования "долго учиться-тренироваться" типа https://ru.wikipedia.org/wiki/ATPL, требования для получения FAA ATPL в России, только заменить "пилот" на "мастер в таком-то деле":
-- Пилот должен иметь налёт не менее 1500 часов, в который засчитывается не более 100 часов налёта на тренажёре. Для пилота вертолёта требования по налёту установлены в размере 1000 и 100 часов соответственно.
-- Пилот самолёта должен иметь не менее 500 часов налёта в качестве командира воздушного судна (КВС) под наблюдением (только для самолётов). Или 250 часов налёта в качестве КВС. Или 70 часов налёта в качестве КВС и 180 часов — в качестве КВС под наблюдением.
-- Пилот самолёта должен иметь 200 часов налёта, выполняя полёты по маршруту. Из них 100 часов — в качестве командира воздушного судна или в качестве КВС под наблюдением.
-- Пилот должен иметь не менее 75 часа налёта по приборам из которых не более 30 часов — на тренажёре (для самолётов). Для пилотов вертолётов 30 и 10 часов соответственно.
-- Пилот должен иметь 100 часов налёта ночью (для самолётов) или 50 часов (для вертолётов) в качестве КВС или второго пилота.

UPDATE: комментарии в чате блога: с https://t.me/ailev_blog_discussion/18486, в фейсбуке с https://www.facebook.com/ailevenchuk/posts/pfbid028Dt4vbMa6KCbT6qfQmKGRPLdLhC9xx2jkMNQMR2H1bC1jsZ8nhj4t5BpUPxU5rknl

Вот David Deutsch поговорил с ChatGPT — https://www.daviddeutsch.org.uk/2022/12/my-first-conversation-with-chatgpt/ ))) Он разочарован и тоже считает, что с этими сетками тупик, а я в восторге )))

Оставить комментарий

Популярные посты: