Wireheading
![топ 100 блогов](/media/images/default.jpg)
У меня вышла статья. В ней я - вместе с соавтором Денкебергером
- изучил вопрос о том, может ли придуманный Стругацкими
универсальный наркотик "слег" привести к глобальной катастрофе.
С одной стороны - весь прогресс цивилизации - это прогресс в
совершенствовании методов стимулирования центра удовольствий, и
сверхтехнологии будущего сделают это легче легкого (нейроимполанты,
виртуальная реальность, ГМО-растения).
А замыкание центра удовольствий ведёт к остановке любой
практической дестяльности.
С другой стороны, уже есть героин, и человечество не вымерло.
Исходя из этого, мы можем вывести условия того, каким может быть
опасный сверхнаркотик будущего и какой тип катастрофы он может
вызывать.
Вряд ли он приведет к мгновенной катастрофе, но может служить
фактром цивилизационного коллапса. Особую роль в этом играют методы
стимуляции, которые плавно ведут к вреду здоровья и отключению от
реальности, но в начале обещают выигрыш в продуктивности (как у нас
сейчас антидепрессанты, курение, алкоголь, чтение соц. сетей).
Мгновенной эпидемии слега не будет, так как люди будут видеть
последствия и боятся. Но если у человечества начнутся проблемы, то
выстрелит накопленный запас технологий стимуляции центра
удовольствй 'Overhang of technologies of pleasure-center
stimulation' - как при закате Римской империи.
Однако в общем виде проблема существует даже для искусственного
интеллекта, для которого придумана теорема Лебовски: любой
достаточно сильный ИИ не будет решать проблемы сложнее, чем хакинг
своей функции вознаграждения.
https://www.sciencedirect.com/science/article/abs/pii/S0016328723001192
https://philarchive.org/rec/TURWAA
|
</> |