Большой обзор LLM for Code Generation

топ 100 блогов nponeccop28.06.2024 https://arxiv.org/abs/2406.00515

Там 285 референсов. Всё, что вы хотели знать про state of the art in LLM Code Generation, но боялись спросить.

Я тут смотрю поток видео на етубе в связи со всеобщим надрачиванием на Claude Sonnet 3.5. Не покидает ощущение какого-то наивняка и некомпетентности. Обзирающие все поголовно ведут себя как джуны, самостоятельно ничего сложнее пузырька не делавшие, и даже не смотревшие мультик про "мальчик квадратный ковер выбивает".

Ну то есть должно же быть очевидно, что все эти тесты "напиши мне тетрис за 1-шот" это полный бред, ни один человек с таким не справится, ну чтобы вот взять сесть писать текст и просто вот сверху вниз наебошить в редакторе на одном дыхании что-то размером с тетрис. Зачем вообще это тестировать? Ну то есть да, это такое представление о разработке софта после просмотра фильма Хакеры (я не смотрел). Бред в-общем. Классическое "все пидарасы, а я".

Причем что интересно, товарищи из AutoGPT и MetaGPT пытаются играть в ту же самую игру. А именно, исключить man-in-the-loop и сделать процесс разработки максимально непрозрачным и неконтролируемым, зато сделав ставку на полную автоматизацию процесса. Но потом получают по голове ровно тем же, что бы они получили, просто наняв команду мясных джунов и проверив их результаты через месяц -- что разработка зашла не в ту степь, причем с самого начала и совершенно на пустом месте.

Что нужно на мой взгляд -- так это история разработки проекта в гите, то есть с возможностью отката до любой точки и продолжения с этого места, а также процесс ручного утверждения и обратной связи на всех этапах. То есть никаких "циклов" из промптов быть не может. Должен быть инструмент типа коммандлайновой тулзы "develop step". Который дописывает в репу следующий шаг разработки с аудит-трейлом. (И это заодно избавляет нас от расходов на 100500 вызовов LLM API и от необходимости их кешировать).

Тут конечно нужен какой-то баланс между автоматизацией и контролем, но по факту автоматизация сейчас крайне хуевая (а ля автопилот в Тесле) и любителей автоматизировать овердохуя (см выше), так что нужна тулза для любителей контролировать.

Оставить комментарий

Архив записей в блогах:
На взволновавшую многих тему совместного патрулирования, которое якобы начнется 28 декабря или как пишут "может начаться". 1. Напоминаю, что осенью уже было 3-4 аналогичных сообщения на тему совместного патрулирования границы ДНР и ЛНР с Россией при участии пограничников хунты. Как изв ...
Некто Сапожник ( https://sapojnik.livejournal.com/ ) забанил меня без объяснения причин, достали меня эти банщики. Не знаю почему, вроде вменяемый мужик, даже на ютюбе стримы ведет, которые никто не смотрит. Может потому, что матерно выражаюсь? Но я в последние два года только матерно ...
https://t.me/SonOfMonarchy/23613 Ну и что? Беглого винницкого хохла Александра «Роджерса» (Жарика) Русская Община тоже напрягает, хотя он — цельный норманн и нибелунг! А то кой-то мэр Мытищ! Но то, что у нас в Подмосковье действует НЕЗАКОННО целый Межнациональный и ...
Меня многие знакомые из России спрашивают - ну как там у вас беженцы? а я всем отвечаю - видимо, они есть, но я не вижу и не слышу. А сегодня в новостях по радио первой строкой только и говорят о том, что случилось в Кёльне в новогоднюю ночь. Вкратце: около тысячи выходцев из северо-а ...
Мама рассказала по телефону о своей новой работе и о человеческом хамстве. Мама устроилась по объявлению раз в неделю помогать по дому бабульке одной. В ее задание входило: - убрать 3к квартиру; - перестелить постель; - закинуть и повесить стирку, а также погладить ее. Оплата 5 евро, ...