Электрописатель поумнел

vadim-proskurin — 26.02.2025

Я исправил в коде электрописателя несколько ошибок, он поумнел. По случайно сформулированному эклектичному промпту "Анализ исполняемых файлов формата ELF, методы инжектирования и противодействия дизассемблированию" он выдал на базе Qwen этот курс лекций, а на базе Mistral - этот. Скайнет грядет, граждане.

Несколько порций слов по ходу:
- в текстах по ссылкам я не правил вручную ни байта. Электрописатель сочинил в них всё от первой буквы до последней;
- я не увидел в сгенерированных текстах существенных ошибок или галлюцинаций. Мелкие косяки есть, да. Если кто-то найдет что-то большое - пишите в комменты здесь или на lib.ru, буду благодарен. В целом эти тексты, по-моему, вполне годятся в продакшн после минимальной доработки;
- откуда взялась гхудра - не представляю, сам удивился;
- повторы в сгенерированных текстах вижу, что сделать, чтобы их было меньше - представляю. Но в первом релизе вряд ли сделаю;
- трогательно и забавно, как ИИ вновь и вновь останавливают внимание читателя на этических вопросах. "Не ломай чужие программы", вновь и вновь повторяют они, "не нарушай копирайты, не пиши вирусняк";
- публиковать текущую версию скрипта не планирую, сначала доведу до пристойного состояния, потом выложу в опенсорс по-человечески. Защищать копирайтом смысла не вижу, идея проста как три копейки, подводных камней не видно, китайцы переизобретут в момент;
- предел длины генерируемого текста для текущей версии - где-то 200-300К. Можно увеличить, но не в первом релизе;
- когда ИИ не понимает, чего от него хочет пользователь - пишет ахинею. Когда понимает, но не знает верного ответа - галлюцинирует, очень творчески и правдоподобно;
- основной баг, препятствовавший эффективной работе искусственного разума, заключался в том, что он не пытался оценивать полезность своих мыслей, а некритично пускал в дело все подряд, что приходило в его виртуальную голову. В результате качество текста сначала росло, в потом начинало хаотично осциллировать, не повышаясь. Теперь оно монотонно растет, потом текст перестает меняться;
- на графике вверху показано, как меняется с числом итераций эффективность дальнейшего рекурсивного улучшения текста. По горизонтальной оси отложено число итераций, по вертикальной - доля текста, которая после данной итерации больше не улучшается. Видно, что проводить больше 15 итераций вряд ли имеет смысл;
- Mistral работает быстрее, Qwen - вдумчивее. Я не указал точное время работы Qwen в аннотации к соответствующему тексту, потому что скрипт поперхнулся, пришлось исправлять ошибку и перезапускать с того места, где он остановился, отсчет времени при этом сбился, время, указанное в конце файла - время от перезапуска до завершения;
- DeepSeek по-прежнему отзывается через раз, нормально работать с ним не получается;
- то ли в текстах проступают виртуальные личности LLM, то ли мне это мерещится.

UPD. Вот еще от Qwen про обратную инженерию программ.

Оставить комментарий

Популярные посты:

• Ранее
• Архив