О качестве работы нейронок как процессоров текста


- Нейронка в чистом виде ненадёжна как справочник.
- Нейронка достаточно надёжна как процессор, ибо
- Процент погрешности нейронки при пересказах текста составляет
единицы процентов.
Этот пост не рассматривает нейронки как источник креативного синтеза, где у них, безусловно, огромная и уже зарекомендовавшая себя репутация. Здесь речь идёт только о нейронках как «справочниках» (плохо) и «процессорах-обработчиках» (хорошо, великолепно, с измеримой погрешностью).
Если вы обращаетесь к нейронке как к справочнику — единого индекса или теста оценки галлюцинаций нет. И, наверное, учитывая все возможные вопросы, он невозможен. Есть только общественный консенсус фанатов, что бред при использовании нейронки как вики чуть-чуть уменьшается с прогрессом. Поэтому нейронку как справочник использовать не рекомендовалось и не рекомендуется, за исключением предельно общих вопросов, типа: «может ли Колобок почесать себе спину?» (последние модели уже толково отвечают и примерно понимают анатомию Колобка, но в 2022 эта вершина тяжело бралась даже GPT-3.5).
Если же речь идёт о задачах «вот документы, сделай по ним выжимку, конспект, просто перескажи слово в слово» — такой тест есть - .