Как определить, правда ли, что мы делаем людей умнее?

ailev — 06.01.2022 Предрассудки по поводу измерения интеллекта: путают с прикладными курсами
По поводу измерения интеллекта есть множество предрассудков, которые упираются в непонимание природы интеллекта: интеллект как мыслительное мастерство изготавливает прикладное мастерство решения какого-то класса задач. Все предложения немедленно устроить экзамен какого-то сорта проваливаются, ибо если мы понимаем, какой экзамен, то будем не мыслить учиться, то есть разбираться с неизвестными тебе ситуациями, а сразу прикладному мастерству, которое проверяется на экзамене. Всё самое плохое, что говорят про ЕГЭ как экзамен на "готов к жизни" будет применимо сразу: в новых ситуациях это экзаменуемое не будет встречаться, преподаватели будут тебя натаскивать на лёгкое прохождение экзамена, а не на решение будущих неизвестных проблем, а вот нужное для решения очередной новой проблемы никогда не будет проверено -- непонятно ведь, что проверять! Chollet в работе "On the Measure of Intelligence", https://arxiv.org/abs/1911.01547 чётко формулирует: интеллект достаточной универсальности должен справляться с задачами, о которых не знает не только ученик, но и преподаватель. По факту это означает, что преподаватель не может сделать тест на решение этих задач -- он этих задач ещё не знает, поэтому и не может предложить!

Все предрассудки упираются в то, что в головах людей крепко вбиты представления о тестировании интеллекта людей экзаменами (неважно, выпускными или вступительными, включая собеседования) и продолжение разговора в сторону испытаний традиционных инженерных систем, которые должны решать понятный и оговорённый требованиями класс задач. Увы, все ответы, которые не укладываются в эти представления -- они не будут услышаны. Но интеллект -- это совершенно другой объект, это не прикладное мастерство! Это хорошо описанное прикладное мастерство можно проверить! По поводу интеллекта же можно вдуматься, откуда пословица "умная голова дураку досталась": сущностей в умности оказывается две, одна про интеллект, другая про разные-всякие прикладные умения. Умная по части умений (хорошо надрессированная на какие-то практики типа решения математических задач какого-то понятного класса, управления джипом или даже самолётом, отрисовка сложных деталей в САПР, и т.д.) дураку в части интеллекта досталась: при столкновении с новым и необычным никакие прикладные умения не помогают, нужно включать мышление, и если его нет -- то вот ты и дурак!
Мы хотим делать людей умнее, то есть усиливать интеллект. Интеллект измеряется по универсальности в части решаемых с какой-то приличной скоростью проблем: интеграл по скоростям решения самых разных проблем из бесконечного числа их классов, высокая скорость в одном классе проблем -- это ничто, маленькая скорость на большом числе проблем -- тоже ничего не даст, а вот приличная скорость на приличном числе проблем -- это то, к чему стремимся. То есть что-то типа теста IQ: берём батарею тестов разных типов (универсальность) и суммируем (интеграл) время решения задач этих тестов (скорость). Chollet говорит, что для замеров силы машинного интеллекта мы можем взять за основу только то, что нам известно про людей: у них есть какие-то врождённые особые способности выделять из мира правильные с точки зрения освоения новых классов задач объекты -- innate priors в их универсальных алгоритмах, реализованных нейронными сетями мозга. И дальше говорит: а давайте сформулируем то, что есть у людей, и будем эти же innate priors замерять у машинных интеллектов. По факту оказалось, что его тестирование очень похоже на тест IQ для людей. Дёшево, но удивительно не сердито: IQ оказывается не лучшим критерием для определения реально умных людей, успехи в жизни оказываются не так впрямую зависят от IQ (хотя дебилов этот тест может помочь отсеять, но нам же умных надо делать ещё умнее, а не дебилов отсеивать!). Тут даже не нужно приводить ссылок, про нерелеватность замеров IQ для людей горы литературы.

Люди, или люди с машинами, или коллективы -- замеры того, что поумнели делаем у кого?
И тут нужно заметить, что наша задача отличается от задачи проверки "есть ли у железяки/человека интеллект":
-- вся дискуссия про тест Тьюринга тут идёт мимо. Вы не можете посадить будущего нобелевского лауреата за занавесочку, простого выпускника вуза за занавесочку и попросить обывателя определить, кто из них кто. В самой этой области уже признаётся, что машины становятся умней людей, и нужно уходить от людей как оценщиков, оценщиками будут машины, вот небольшой обзорчик Twenty Years Beyond the Turing Test: Moving Beyond the Human Judges Too, https://riunet.upv.es/bitstream/10251/172312/7/Hernandez-Orallo%20-%20Twenty%20Years%20Beyond%20the%20Turing%20Test%20Moving%20Beyond%20the%20Human%20Judges%20Too.pdf. Но так поставленная задача -- это уже известная формулировка кооптации в разные сообщества: "мы академики, признаём вот этого Имярека тоже академиком, считайте его интеллектуалом" и параллельное "вон та академия признала вон того интеллектуалом, так там лжеакадемики, наша академия не признаёт его никем, кроме как шарлатаном", только в сегодняшнем варианте кооптировать сверхинтеллекты после их усиления предлагается даже не людям, а машинам.

В любом случае, "выход за пределы судей-людей", равно как выход за пределы усиления интеллекта именно людей -- это некий тренд сегодняшнего дня. В принципе, в стратегии Школы системного менеджмента указано, что она усиливает интеллект не только людей (https://ailev.livejournal.com/1603329.html, и там пункт 4: ""Образование для образованных" означает, что мы обновляем образование главным образом взрослым людям, уже имеющим высшее техническое образование, и делаем это хорошо. Вместе с тем мы экспериментируем с образованием для пока ещё не очень образованных: пробуем давать первое фундаментальное образование студентам бакалавриатов, старшеклассникам и даже готовимся это делать для искусственных интеллектов").

Собственно, первое, что делает Школа, она прямо на подготовительном курсе "Системное саморазвитие" (https://system-school.ru/introonline) где-то два с полтиной месяца делает из человека киборга: отращивает ему компьютерный экзокортекс и приучает им пользоваться. Ага, то самое "два года ты работаешь на цеттелькастен, потом цеттелькастен всю жизнь работает на тебя" -- постановка "мышления письмом" для управления памятью и вниманием при помощи компьютера, а не только мозга, методика помодоро (компьютер отслеживает время), методика личного трекера задач (модификации GTD и поддерживающий их софт), далее системное моделирование для удержания уже в нескольких головах деятельности немаленького предприятия. Помогает ли это с новыми классами проблем? Конечно! Это ж просто проблемы, их нужно поставить, удержать во внимании, запланировать на их решение время, обсудить с коллегами, и всё это только для того, чтобы их решить быстрее, независимо от класса задач. Далее контрольный вопрос: проверять усиление интеллекта будем вот этого киборга, или требовать сдать смартфон перед проверкой и изображать из человека выживанца в ядерной катастрофе, как это происходит во время ЕГЭ? Проверять решение им проблем в одиночку, или проверять таки, что он адекватно решает проблемы в коллективе, а потом ещё и может организовать коллектив на решение проблем, и замерять прирост скорости решения заранее неизвестных проблем, которые решает коллектив, оснащённый суперкомпьютерами? Идея "покажите мне экзамен, который гарантирует, что вы сделали человека на 24.2% умнее" быстро разваливается после таких вопросов.


Ещё одна линия вопросов -- это про тот самый интеграл по классам проблем. У Chollet это формулировки типа "все классы проблем, которые может встретить человек" или "все классы проблем, которые могут быть во Вселенной [включая проблемы, недоступные человеку, включая проблемы недоступные человечеству со всеми его компьютерами]". Математика! Если задачу может решить машина Тьюринга, то это считается вполне решаемой задачей в математике! А в жизни? В жизни какая-нибудь супер-дупер машина Тьюринга будет решать эту задачу миллиарды лет (хороший тут пример -- это доказательство того, что нейронная сетка неограниченной ширины может аппроксимировать с заданной точностью любую функцию. Для математиков -- "может", для физиков -- "может для простейших случаев и нынешних компьютеров за миллиарды лет, для сложных случаев вы даже представить не сможете, сколько это лет"). То есть задача измерения прироста интеллекта ещё и должна давать не математическую оценку интеллекта "для всех классов задач, которые могут встретиться человечеству или вообще во вселенной", а реальную -- но как узнать, какие задачи встретятся человеку через год-два? После курсов усиления интеллекта хотелось бы, чтобы хотя бы на пару лет этих курсов хватило, то есть интересует усиленный интеллект, который и впрямь встретит что-то непонятное и неизвестное его носителю, а то и всем людям на глобусе!

Ах, опять про людей, которые не люди, а xGI (natural general intelligence, artificial general intelligence, hybrid general intelligence и так далее). Люди, люди с компьютерами типа вас со смартфоном и доступом к гуглу, группы людей и компьютеров, только компьютеры с универсальными алгоритмами AGI, всё пойдёт.

Нужно замерять не врождённый интеллект, а выученный интеллект
Только что приводили пример работы Chollet, где утверждается про единственный ориентир -- это innate prior людей, тот факт, что человеческие детёныши выучиваются. И как-то эта способность коррелирует с тестами на IQ (решение простейших задач на выделение каких-то геометрических объектов из фона, распознавание и сравнение паттернов -- то есть умение заметить какие-то закономерности в том, что вы видите, и можно сюда добавить "и слышите, и нюхаете"). Недавно я написал три текста про нашу ориентацию на обучение xGI:
— Онтологический статус интеллект-стека: мы не устраняем inductive bias, мы приветствуем его!, https://ailev.livejournal.com/1598826.html
— Инженерия и исследования xGI: учитесь сами, чтобы научить и людей, и нежить, https://ailev.livejournal.com/1600567.html
— Мои претензии в xGI: я не натуральное хозяйство, я участник разделения труда, https://ailev.livejournal.com/1600861.html

В этих текстах рассказано, что в части усиления интеллекта мы работаем на двух уровнях:
-- innate priors (врождённый, хардверный интеллект какой-то силы. Выпил кофе или наелся ноотропов, а в компьютере заменил поколение процессора и версию универсального алгоритма, и интеллект усилился)
-- inductive bias, который мы познаём/выучиваем. Прошли какие-то (не любые!) курсы -- и интеллект усилился. Разные курсы, разные усиления интеллекта, хорошо бы как-то проверять, какие курсы на сколько усиливают.

Так вот, никакие тесты типа IQ не срабатывают с inductive bias, и именно поэтому тесты IQ никак не сделают смышлёного дикаря интеллектуальней в плане решения новых задач в физике, менеджменте или строительстве звездолётов, чем выпускника элитного вуза с не очень высоким IQ, но который честно учился, и чему-то "исподволь" научился. Наш план в том, что мы будем учить не "исподволь", а дисциплинам интеллект-стека -- и надеяться, что это правильные inductive biases, правильные предвзятости в рассуждениях, которые ведут не столько к искажениям в этих рассуждениях, сколько действительно к ускорению разбирательства с задачами, которые могут сегодня встретиться цивилизованному человеку.

Решение: ориентироваться на то, как проверяет интеллект эволюция

Так что ж делать? Как нам узнать, становится ли интеллект сильнее после курсов, или не становится?!

Я предлагаю идти по пути эволюции: если после наших курсов люди начинают решать какие-то проблемы в количестве, то это будет означать, что их интеллект поднялся. Если наши выпускники более конкурентоспособны, чем не наши выпускники, то их интеллект нами усилился. Если нет, то нет. Всё как в природе.

То есть смотреть нужно не на момент выпуска, а на происходящее в жизни. Грубо говоря, если из вашей школы вышло десять нобелевских лауреатов, а из других только по одному, то с научными проблемами ОК. Если из другой школы вышло пятнадцать мультимиллиардеров, то там с предпринимательскими проблемами ОК. Можно, конечно, дальше задаваться вопросами: это школа на входе таких талантливых берёт и потом не портит, или таки реально чему-то выучивает, что такие результаты? Исследования такие были, они показывают, что какой-нибудь Гарвард в плане обучения не так сильно меняет людей, как какой-то победитель в категории "доучиваем с нуля до крепкого среднего класса" из глубинки США (вот реально берут проблемных представителей "меньшинства" и доучивают! Но поскольку только до крепкого среднего класса, а не до элиты -- их гениальность в обучении никому не известна. Эх, быстро ссылку на это исследование не нашёл, очень поучительно! Кто лучше учит, тот неизвестен! И присовокупите сюда то, что все эти Гарварды-Оксфорды берут детей из таких семей, где в самих семьях их могут чему-то важному доучивать, так что и результаты будут "университет+доучивание в семье", то есть измеряется тоже не-пойми-что. Недаром университеты сопротивляются планам обеспечить всем "равные возможности поступления": король-вуз после этого может оказаться голым!).

В любом случае, смотреть нужно не на границу между курсами и выходом в жизнь, то есть "экзамен", момент выпуска, а на момент встречи с проблемами из жизни -- то есть на моменты после выпуска. Поэтому продолжаем следить за квалификацией наших выпускников после их выпуска, вот наши уровни мастерства, https://system-school.ru/qualification (подробнее рассказывал тут: https://ailev.livejournal.com/1582019.html). Если мы подняли интеллект достаточно, чтобы люди отслеживали собственное мышление и коллективное мышление в своих проектах, то они смогут внятно рассказывать о своих успехах, включая рассказ о том, как они применили полученные на курсах знания интеллект-стека при решении проблем. Если их квалификация быстро и массово растёт после окончания курсов (хотя у нас continuous learning, нужно поддерживать SoTA мыслительного мастерства, постоянно доучиваться, но пренебрежём пока этим), значит усиление интеллекта есть. Если не растёт, то усиления интеллекта нет.

Итого: наши новации в определении того, что мы делаем людей умнее
Итак, новации:
-- оценка есть, но она происходит не на задачах, которые даёт Школа, а на задачах, которые даёт жизнь. Берёшь в жизни рабочий проект (экзаменационный билет даёт не экзаменатор, а жизнь), делаешь, приносишь в Школу, рассказываешь об успехе. Если успех в плане решения проблем есть, то у тебя рост квалификации.
-- то, что человек становится умнее, должна признать не выпускающая школа, не специально назначенная комиссия, а какие-то внешние люди, которые видят решение проблем. Работодатель, если ты в найме. Рынок, если ты предпринимаешь. Коллеги-исследователи, если ты исследуешь. Если тебе начали замечать разные люди, что у тебя системное мышление (после прохождения курса системного мышления), значит курс добился цели. Если у тебя за счёт использования материалов курсов вчетверо выросла зарплата за пару лет, то это признание того, что ты что-то стал делать лучше. И так далее. Начальные успехи некоторых наших выпускников -- это то, что они подуспокоились и начали спать по ночам, а их подчинённые перестали вызывать их из отпуска на третий день отсутствия. В этом и есть непредсказуемость "решения проблем", успех разные люди трактуют по разному, ибо решаются очень разные проблемы очень разных людей, играющих очень разные роли в очень разных проектах.
-- школа может это всё делать публичным, чтобы можно было брать широкую оценку от самых разных людей. Например, публиковать доклады об успехах (вот тут их уже много на видео, https://www.youtube.com/channel/UCJ0Uq_WB7GLmY-NTz2oFoUQ/videos, но немало и в текстах, https://blog.system-school.ru/). Тут ещё полезно то, что в подобных докладах рассказывается о том, что было трудно, что не удалось -- и это позволяет подправить программу курсов.
-- в любом случае интеллект работает с чем-то новым, и в эволюции победа этого нового важна. Поэтому эволюционный успех ("революция": существенное изменение текущей ситуации к лучшему в какой-то сфере) это то, к чему следует стремиться. Масштаб тут имеет значение. Выход за рамки одной организации тут слабый но критерий. "Трансформатор" по нашей шкале -- это тот, кто сделал маленькую революцию в крупной организации. А вот "революционер" (он же "общественный деятель") это который вышел за пределы организации: постановка новой практики/деятельности в масштабах страны или даже планеты.

Мне рассказали на первом курсе университета в первую же неделю байку: "мы вас будем учить пять лет в университете странному. После чего вы попадёте на какой-нибудь завод и выпускник технического вуза попадёт на какой-то завод. Дальше выпускника поставят начальником отдела сразу, ибо он попадёт в привычную для него среду, его учили работать в этой среде. Вы же увидите всё впервые, вас возьмут каким-нибудь инженером. Через год вы тоже станете начальником отдела. Через три года вы резко пойдёте на повышение, ибо таки разберётесь со всеми новыми задачами. А вот ваш коллега из технического института с большой вероятностью так и будет начальником того же отдела, ещё много лет. Вот этим и отличается университетское образование от технического: мы учим разбираться в неизвестном".

Это было в 1975 году, замечу. То есть акцент был на том, что университет просто поднимает интеллект, а технический вуз учит прикладной специальности. И результаты ожидались не по входу в рабочую специальность, а потом, да ещё и с задержкой на год-два. И заранее без шансов на то, что рабочее место хоть как-то будет соответствовать тому, на кого учились (меня учили на исследователя-физ-химика, но я ни одного дня не работал химиком! Но не могу сказать, что был так уж неуспешен в жизни: ровно за счёт того, что мне свезло, и алгоритмику я проходил ещё студентом, а семантику сразу после окончания, работать-то я пошёл в исследовательский вычислительный центр, где занимались в далёком 1980 году задачами AI, и без семантики там было никуда. Это ж и есть одна из дисциплин интеллект-стека, один из нижних уровней! Так и пошло потом).

Так что нужно просто в том, чтобы делать людей умнее ориентироваться не на момент выпуска и замер в этот момент, а на то, что происходит потом. И не на однодневный "экзаменационный" замер, а на разворачивающееся несколько лет.

В нашей квалификационной табличке пока нет ни одного революционера. Никто из выпускников не произвёл революцию в какой-то отрасли, никто не взорвал какую-нибудь науку, никто не возглавил переустройство какого-то общества. Но это будет, никуда не денется.

В этом подходе мы совсем неодиноки. Какая-нибудь букеровская или нобелевская или тьюринговская премии делают ведь то же самое, только в узких областях: пытаются найти сильный интеллект в более-менее узком классе задач. И даже "человек года" журнала Times тоже про что-то такое. Другое дело, что это всё никак не связано с учебным процессом, идёт без привязки к каким-то курсам. А мы говорим про курсы. Не "само как-то случилось, что интеллект усилился за время жизни", а "наши курсы усилили интеллект". Это отдельное может быть рассуждение про causal inference в этой сфере. Когда-нибудь потом его нужно будет провести.

Пока мы ещё даже не можем похвастаться, что наши курсы закрывают весь интеллект-стек. И да, ещё нужно время на глубокое овладение предметными областями, в которых идёт работа: прикладное мастерство с высоким интеллектом получить быстрее (для некоторых это вообще будет означать "и не мечтал получить, но смог"), но это тоже требует времени. Проверяется интеллект на решении прикладных проблем! Работы до чёртиков, но мы её делаем.

Но учиться и получать какие-то уровни квалификации можно уже сейчас. Равно как уметь отвечать на вопрос "ну, и насколько тебя сделали умнее?" (правильный ответ такой же, как на вопрос о смысле жизни, вселенной, и вообще: 42! Как спросили, так и отвечаем! Если непонятно, почему так, перечитайте первый раздел этого текста, "Предрассудки по поводу измерения интеллекта: путают с прикладными курсами").

UPDATE: обсуждение в https://www.facebook.com/ailevenchuk/posts/10222270750211717

Оставить комментарий

Популярные посты: