Большой обзор LLM for Code Generation

топ 100 блогов nponeccop28.06.2024 https://arxiv.org/abs/2406.00515

Там 285 референсов. Всё, что вы хотели знать про state of the art in LLM Code Generation, но боялись спросить.

Я тут смотрю поток видео на етубе в связи со всеобщим надрачиванием на Claude Sonnet 3.5. Не покидает ощущение какого-то наивняка и некомпетентности. Обзирающие все поголовно ведут себя как джуны, самостоятельно ничего сложнее пузырька не делавшие, и даже не смотревшие мультик про "мальчик квадратный ковер выбивает".

Ну то есть должно же быть очевидно, что все эти тесты "напиши мне тетрис за 1-шот" это полный бред, ни один человек с таким не справится, ну чтобы вот взять сесть писать текст и просто вот сверху вниз наебошить в редакторе на одном дыхании что-то размером с тетрис. Зачем вообще это тестировать? Ну то есть да, это такое представление о разработке софта после просмотра фильма Хакеры (я не смотрел). Бред в-общем. Классическое "все пидарасы, а я".

Причем что интересно, товарищи из AutoGPT и MetaGPT пытаются играть в ту же самую игру. А именно, исключить man-in-the-loop и сделать процесс разработки максимально непрозрачным и неконтролируемым, зато сделав ставку на полную автоматизацию процесса. Но потом получают по голове ровно тем же, что бы они получили, просто наняв команду мясных джунов и проверив их результаты через месяц -- что разработка зашла не в ту степь, причем с самого начала и совершенно на пустом месте.

Что нужно на мой взгляд -- так это история разработки проекта в гите, то есть с возможностью отката до любой точки и продолжения с этого места, а также процесс ручного утверждения и обратной связи на всех этапах. То есть никаких "циклов" из промптов быть не может. Должен быть инструмент типа коммандлайновой тулзы "develop step". Который дописывает в репу следующий шаг разработки с аудит-трейлом. (И это заодно избавляет нас от расходов на 100500 вызовов LLM API и от необходимости их кешировать).

Тут конечно нужен какой-то баланс между автоматизацией и контролем, но по факту автоматизация сейчас крайне хуевая (а ля автопилот в Тесле) и любителей автоматизировать овердохуя (см выше), так что нужна тулза для любителей контролировать.

Оставить комментарий

Архив записей в блогах:
Говоря о Германии, Томас Манн высказал важную мысль: "Нет двух Германий, доброй и злой... Злая Германия – это и есть добрая, пошедшая по ложному пути, попавшая в беду, погрязшая в преступлениях и стоящая теперь перед ...
18+ НАСТОЯЩИЙ МАТЕРИАЛ ПРОИЗВЕДЕН (РАСПРОСТРАНЕН) ИНОСТРАННЫМ АГЕНТОМ диаконом АНДРЕЕМ ВЯЧЕСЛАВОВИЧЕМ КУРАЕВЫМ «В последние недели российские медиа, общественные деятели и даже депутаты беспрецедентно много говорят и пишут о философии. Поводом для такого внимания стал конфликт вокруг ...
Этот памятник появился в Москве около месяца назад. Не думайте, что он уже проржавел: так было задумано. За памятником стена, на которой строки поэтов - от Державина до Егора Летова - на тему судьбы поэта. Почему памятник неизвестному поэту, а стихи - поэтов известных - тоже не вполне ...
А вы сталкивались в живой природе с медведем? Я пока медведя не встречал , но его следы видел. Однако в 1990 году мне рассказал о встрече с медведем в тайге Южной Якутии один ...
Пошел сделал тест на антитела к модной болезни, у нас тут бродячая лаборатория делала акцию, там как раз жена работала по контракту. Аж зашкаливает, больше 250 попугаев. Прививка, если кому интересно, полгода назад. И такое ощущение что как раз когда ходил на тест что-то такое у меня по ...