Без названия
dragon-ru — 23.10.2025
Читаю свежую книгу Юдковского, и с каждой главой он все сильнее натягивает сову на глобус.
Первые две главы общее впечатление: есть неточности, но по мелочам. В третьей главе уже попадается странное определение базового понятия. По нему получается, что и у автомобиля есть цель - перевозить людей, но вроде как ни на что существенное это странное определение не влияет. Особенно если предположить наличие самоосознания у ASI - тогда вопрос о наличии у него своих целей отпадет за очевидностью.
В четвертой главе Юдковский делает в рассматриваемых сценариях совершенно нереалистичное допущение, которое и само по себе привело бы к катастрофе - что у ASI целевая функция будет оптимизироваться по одному параметру. Как надо извратиться, чтобы создать такой generic AI, не говоря уж про ASI - я не очень-то и представляю. И каким образом такой ASI, будь он все же создан, может не привести к катастрофе, тоже не представляю.
Но сова не вынесла таких надругательств и лопнула только в пятой главе. Вот на этом абзаце:
The AI-growers may tune an AI to retain customers—or get it to successfully predict the next words of high-sounding moral sentiments about human life—or get it to perform nice outward speech and behavior. Whatever they train it to do, if it becomes superintelligent or creates a superintelligence, we predict the result will be an alien mechanical mind with internal psychology almost absolutely different from anything that humans evolved and then further developed by way of culture.
Ну да, ну да. Низкоуровневые принципы работы мышления практически те же самые, культурный контент, на которым происходило обучение - тот же самый, а в итоге получится что-то совершенно чуждое. Верю-верю.
Там и дальше идет масса странных утверждений - но продолжу уже завтра.
|
|
</> |
Рейтинг элитных жилых комплексов Дубая: Palm Jumeirah, Downtown, Dubai Marina 
