Схлопывание языковых моделей

топ 100 блогов thesz03.04.2024 Model Collapse refers to a degenerative learning process where models start forgetting improbable events over time, as the model becomes poisoned with its own projection of reality.

https://arxiv.org/pdf/2305.17493.pdf

Если из материала для обучения языковых моделей не исключать результаты работы языковых моделей, то языковые модели "схлопываются," и начинают создавать то, что важно для языковых моделей, а не для пользователей.

Оставить комментарий

Предыдущие записи блогера :
Архив записей в блогах:
Всё в сказках правда – вот в чём страх! Я этому и сам бы не поверил, Когда б однажды, заплутав в лесах, Не вышел к избяной замшелой двери. Двор как везде: изба и огород, ...
Куделька-За фотографии,за рассуждения о звездах,за вылазки в манеж,за путешествия,за терпение,за то что не теряем контакта,за то что умеет слушать. ГОШЕ-За вечный Апгрейд компа,за научное руководство курсовой,за то что я специалист с дипломом. ...
 За три года, бывает, угасает пылкая влюбленность,  вырастает до почти взрослого полноценного собеседника младенец, заканчивается война, вырастает и начинает плодоносить яблоня. За три года можно выплатить кредит и  сделать молодой ...
...
Жить, работая, или умереть, сражаясь Жизнь итд: программа для?.. Почему-то нет простых и вменяемых программ «эконом-класса». Вообще не у кого. Жизнь деградирует, факт. Утрачивается даже элементарное. «...улица корчится безъязыкая» (с) Поэтому и возникла идея такое написать. ...