Без названия

топ 100 блогов dragon-ru — 23.10.2025

Читаю свежую книгу Юдковского, и с каждой главой он все сильнее натягивает сову на глобус.

Первые две главы общее впечатление: есть неточности, но по мелочам. В третьей главе уже попадается странное определение базового понятия. По нему получается, что и у автомобиля есть цель - перевозить людей, но вроде как ни на что существенное это странное определение не влияет. Особенно если предположить наличие самоосознания у ASI - тогда вопрос о наличии у него своих целей отпадет за очевидностью.

В четвертой главе Юдковский делает в рассматриваемых сценариях совершенно нереалистичное допущение, которое и само по себе привело бы к катастрофе - что у ASI целевая функция будет оптимизироваться по одному параметру. Как надо извратиться, чтобы создать такой generic AI, не говоря уж про ASI - я не очень-то и представляю. И каким образом такой ASI, будь он все же создан, может не привести к катастрофе, тоже не представляю.

Но сова не вынесла таких надругательств и лопнула только в пятой главе. Вот на этом абзаце:

The AI-growers may tune an AI to retain customers—or get it to successfully predict the next words of high-sounding moral sentiments about human life—or get it to perform nice outward speech and behavior. Whatever they train it to do, if it becomes superintelligent or creates a superintelligence, we predict the result will be an alien mechanical mind with internal psychology almost absolutely different from anything that humans evolved and then further developed by way of culture.

Ну да, ну да. Низкоуровневые принципы работы мышления практически те же самые, культурный контент, на которым происходило обучение - тот же самый, а в итоге получится что-то совершенно чуждое. Верю-верю.

Там и дальше идет масса странных утверждений - но продолжу уже завтра.

Оставить комментарий

Архив записей в блогах:
Там особенно мальчик с флагом доставляет в середине - неистовый активист "Справедливой России" и соратник Димы Гудкова по борьбе)))) кстати, на этот митинг эсеры обещали вывести полторы тыщщи человек. вы там сколько насчитали? Это, как вы ...
Смешались в кучу конилюди, а то, что выше людей, напоминает склад фанерных баннеров что ли. Дело происходит во Флоренции - флорентийские гербы на этом складе лежат. На самом деле автор изобразил всё очень упорядоченно, посто готический порядок не приспособлен к такому количеству ...
Умер Влад Галкин. Неожиданно, иррационально, несправедливо. И теперь уже кричат: ...
YT-M06 поддерживает прямое управление с панели автомагнитолы, а также подрулевое управление остается полностью работоспособным. Со встроенными разъемами USB и SD Card, вам нужно только карта SD/SDHC/MMC или USB-накопитель («флешка»), чтобы слушать MP3/WMA с оптимальным качеством ...
Надеюсь, прошлый год всем скептикам доказал, что деревья нужно высаживать именно поздней осенью. Все крикуны были посрамлены, когда деревья на Тверской зацвели. А сейчас смотришь на метро Красные ворота и ощущение, что находишься не в центре Мосвы. а в осеннем лесу. Напомню, что в ...