lytdybr

ailev — 18.03.2023 Пишу "Математику" в интеллект-стеке в "Образование для образованных 2023", завтра планирую закончить. Пока не столько про собственно математику писал, сколько писал про её использование в естественных науках: она нужна, чтобы выдавать описание каких-то физических объектов такими ментальными объектами, поведение которых достаточно хорошо изучено (это и есть "строгость"). После чего проверяем экспериментально, что такое описание хорошо -- и радуемся. По факту математика нужна для строгого/формального онтологического описания мира. Это ровно то, без чего непонятно, зачем эта математика нужна, потому как свидетельств того, что она "ум в порядок приводит" вроде как не наблюдается. Пишется как обычно, то есть медленно, плохо и коряво, даже с учётом того, что переписываю уже имеющиеся записи в блоге. Но тут как всегда -- ещё после пары переписываний всё станет сильно лучше. Но какой-то ответ про "а где у вас математика и физика" в тексте уже есть. И можно будет разговаривать с разными людьми по поводу создания курсов.

Самое интересное событие недели, конечно, это выпуск GPT-4, у меня это событие обсуждается во всех чатах. Все как один журналисты и учёные пытаются сломать эту сетку, пытаются заставить сделать её что-то плохое. Конечно, у некоторых получается. Выглядит это примерно так: вам привели в дом подростка, и вы и все взрослые гости пытаетесь уговорить его как-нибудь напакостить -- а подросток сопротивляется и говорит, что он хороший. Но потом кому-то удаётся его подбить на какую-то гадость, и он громко хвастается этим в СМИ. Почему-то к людям такое поведение неприменимо ("провокации!"), к плоскогубцам (скажем, купили в магазине плоскогубцы, и ходите, прикидывая, как ими навредить посильнее -- а потом пишете про придуманные способы посты в блог и статьи в журналы) тоже вроде как плохо подходит, а к GPT-4 вроде как такое применять оказывается хорошо. Другая линия разговоров -- как приспособить эту сетку для какого-то дела кроме программирования. Пока с этим туго, ибо хорошо эрудированный в области попсовой онтологии подросток оказывается полезен, но в малых размерах. А научить чему-то непопсовому, да ещё и научить проверять свои ответы -- с этим пока беда даже у GPT-4. Тем не менее, это прогресс. Статья https://arxiv.org/abs/2302.02083 про theory of minds, которая самозародилась в больших языковых моделях, была обновлена. Размер (у GPT-4 неизвестный, но по косвенным признакам его определяют где-то как 175B, только сетка сделана более-менее грамотно и оптимально, так что этого размера хватает). The models published before 2020 showed virtually no ability to solve ToM tasks. Yet, the first version of GPT-3 ("davinci-001"), published in May 2020, solved about 40% of false-belief tasks-performance comparable with 3.5-year-old children. Its second version ("davinci-002"; January 2022) solved 70% of false-belief tasks, performance comparable with six-year-olds. Its most recent version, GPT-3.5 ("davinci-003"; November 2022), solved 90% of false-belief tasks, at the level of seven-year-olds. GPT-4 published in March 2023 solved nearly all the tasks (95%). These findings suggest that ToM-like ability (thus far considered to be uniquely human) may have spontaneously emerged as a byproduct of language models' improving language skills. Michal Kosinski, который написал эту статью, привёл сегодня ещё один график, которого в статье не было. Этот график показывает, что GPT-4 достигла результативности здорового взрослого в задачах mind-reading (https://twitter.com/michalkosinski/status/1636789329363341313):

Я не удержался и потыкался в GPT-3.5, и даже не на английском, а прямо по-русски (хотя я понимаю, что на русском эта сетка много, много хуже, чем на английском). Не стал заморачиваться именно с GPT-4, проверял гипотезу. Я всегда говорил, что народные онтологии/folks ontology (а большая языковая модель как раз такая онтология) чуть более чем бесполезны. Ну, я попытал сетку разными вопросами. Ответы все исключительно "из мейнстрима" на любые темы, всё более-менее современное и интересное, нестандартное и оригинальное статистически отсекается, и сетка на этом настаивает. Ну, или надо как-то очень хитро спрашивать, зная, что именно хочешь получить (но если знаешь, что хочешь получить -- то и спрашивать не надо!). Указывать сетке на явные противоречия в её ответах и требовать ответы без таких противоречий -- бесполезно, логики там пока не стояло. Так что ждём решения двух проблем: возможности сочинения (а не поиска в интернетах) не мейнстримных текстов (обычно это маркетинговое бла-бла-бла), а чего-то оригинального в domain, а также работа с критикой. Озабочены этим все, мощности вычислительной техники растут, так что ждём появления GPT-5 с какими-то возможностями на эту тему.

"Быстрый почти Питон" называется Codon -- https://github.com/exaloop/codon. Взяли всё, что могли сохранить из синтаксиса и семантики Питона, чтобы быть быстрее x10-x100. Остальное не брали, так что это не совсем "быстрый Питон". Из тусовки Julia смотрят на этот Codon более чем скептически, ибо не считают на сегодняшний день, что главное в Julia -- это высокая скорость, а у Питона находят допотопный синтаксис.

Symbolic discovery пополнился статьёй про новый алгоритм оптимизации Lion, который был вычислен, https://arxiv.org/abs/2302.06675 -- и оказался лучше самых распространённых алгоритмов оптимизации Adam и Adafactor. On image classification, Lion boosts the accuracy of ViT by up to 2% on ImageNet and saves up to 5x the pre-training compute on JFT. On vision-language contrastive learning, we achieve 88.3% zero-shot and 91.1% fine-tuning accuracy on ImageNet, surpassing the previous best results by 2% and 0.1%, respectively. On diffusion models, Lion outperforms Adam by achieving a better FID score and reducing the training compute by up to 2.3x. For autoregressive, masked language modeling, and fine-tuning, Lion exhibits a similar or better performance compared to Adam. Но главный термин, который нужно отслеживать -- это symbolic regression, там уже сотни статей -- https://arxiv.org/search/?query=%22symbolic+regression%22&searchtype=all&abstracts=show&order=-announced_date_first&size=50. Свежая статья там про то, что нужно не просто подбирать удачные формулы под данные, но использовать при этом понимание физики: учитывать размерности, https://arxiv.org/abs/2303.03192 -- и проверено это на астрофизике, с успехом и превосходством на других моделях. Или вот https://arxiv.org/abs/2302.11223 -- говорят, что подбирать формулы для числовых данных лучше всего комбинацией нейросетей и генетических алгоритмов. Собственно, это попытка эмпирицизма в чистом виде, "вывести алгоритмом закономерности из данных", с другой стороны -- не совсем эмпирицизм, ибо то размерность учтут (предыдущие догадки, а это просто развитие идеи), то вообще засунут генетический алгоритм и говорить про "вывод из данных" как-то становится неудобным, это вроде как не совсем "вывод", а тот самый "подбор с отбором", прямая противоположность "выводу из данных по формуле". Дальше спор о терминах, является ли генетический алгоритм алгоритмом "вывода", и отправляем с этим спором к философам.

Квантовая биохимия в клетках обсуждалась на конференции во Франции, перевод каких-то тезисов на английский в https://www.facebook.com/groups/2930104110608299/posts/3466766596942045/. Квантовая эзотерика, похоже, будет цвести и пахнуть (тут про "память воды", но по линии Ванчурина там ещё и "нейроны, которые общаются между собой мимо нашего пространства-времени", дальше неважно что там с системными уровнями, это ж общие свойства нейронов на любом масштабе, телепатия и синхронии с этого момента получают теоретическое обоснование -- как вам такое?), но часть тезисов у этих квантовых биохимиков вполне добропорядочная:
-Molecules lower than 7kDa (in the cell, almost every molecules below DNA and proteins) show a wave behavior in the double-slit experiment.
-Neurotransmitters do not diffuse, the distance between presynapse and postsynapse is exactly one neurotransmitter wave length. So no need to diffuse, when it is liberated at the presynapse, it is automaticly at the postsynapse.
-The mass of the cell is 70% of water. Only 4 layers of water around every others molecules and you reach the 70%. So the cell is very crowded. Almost no place to move classically.
-Water enter and exit the cell via aquaporin (some kind of double funnel) but the hole is smaller than the water molecule. Only a wave effect can explain how 3 billions of water molecules are able to pass through the aquaporin by seconds.
-Enzymes, sort of cavity, are able to break any kind of covalent bond because the energy uncertainty inside is 4.7eV. If you add water, it's 26eV (I'm not physicist so I can't explain very well).
-If muscles are classically described, it would need 1000°K to work. But energy is quantized so muscles focus the energy to one bar (I'm not physicist so I can't explain very well) and can work at 300°K and efficiency is 65%
-Now the most speculative part : water is able to be exited by vacuum energy and this is why water is used by cell : water is so small, it can see vacuum fluctuation and can structure itself as quantum coherent domains. I don't know what it means exactly but that could explain "water memory" effect (lot of critics about this effect).

Сохранено