Преодоление вырождения AI

топ 100 блогов hozhai14.11.2025 Вот видео про опасения, связанные с потенциальной деградацией ИИ.
Механизм деградации такой. Если система начинает обучаться не на реальных данных, а на данных и результатах, сгенерированных самой ИИ-системой или другими ИИ-системами -- неминуемо запускается процесс деградации за счёт:
а. накопления ошибок и погрешностей;
б. за счёт того, что маловероятные и просто редкие факты отсеиваются (система как бы забывает их, постоянно отдавая предпочтение тому что более частотно); соответственно, становится невозможным пробиться чему-то новому и оригинальному.
                                                                                  
Замечу, что в естественных системах механизм деградации -- схожий. Любая закапсулированная и довольно изолированная система начинает деградировать. Изоляция блокирует эволюцию. К слову, именно поэтому браки между родственниками потенциально чреваты.
Решение известное: должен быть механизм, обеспечивающий приток в систему свежей human-made информации.
Иначе -- вырождение и коллапс.
                                                   
                                                                                           

                                                                                                    
Штука-то очевидная.
Но узколобые зомби-менеджеры непременно в эту ловушку попадут...

Оставить комментарий

Архив записей в блогах:
В эти дни евреи празднуют Песах — праздник, в честь Исхода евреев из египетского рабства. Это также и праздник весны, пробуждения природы и обретения свободы. По истории, перед Исходом евреи не успели заквасить тесто, и напекли пресных лепешек — мацу... ...
Вопросы от dolce_vita_fl 1. Что может поднять тебе настроение? Много вещей. Поцелуй мужа в нос при моем возвращении домой. Тюльпаны. Возможность сделать пробежку и качественная тренировка, не смотря на то, что ноги еле идут.  Похвала руководителя. Когда получилась вещь, ...
Насколько большой может быть современная авиация, можно осознать, когда машины находятся рядом. F-22 назвать маленьким самолетом не получится, размах крыла у него больше 13 метров, у Су-27, конечно, больше, но всё равно немало. Но это пока с ним что-то больше не встанет. ...
Все подробности жизни после бариатрической операции я выкладываю в своём блоге www.pohudenno.ru Ем мало пищи. желания есть не появляется. Питание - в основном супы, тушеная говядина, куриные грудки, сыр. Много воды и молочки. Несколько недель уже регулярно посещаю спортзал - не менее 3 ...
За окнами темнеет, наступает вечер. Сегодня он особый: это вечер-приготовление перед большим православным праздником - Крещением, завершающим череду зимних праздников. С ним связано множество обычаев - частью связанных с религиозными ритуалами, частью уходящими корнями в язычество ...