Снова про LLM

nponeccop — 17.11.2024 Я тут почему-то подумал, что задолбал всех своими агитками, но оказывается что нет, тематика последних 10 постов была более разнообразной, чем восхваление LLM, так что получайте.

По инструментам я остановился на двух - на Claude Projects (+artifacts) и на Aider-chat + Claude.

Aider очень многие хвалят за то же, за что и я -- что он дает достаточно гранулярный контроль за процессом, и позволяет работать с кодобазами без дурацкой копипасты, и в том числе делать многофайловые редактирования.

Я активно пользуюсь функцией ограничения поддерева и отключил его автокоммиты, поскольку /undo работает неудовлетворительно, чего и вам советую. Используйте для откатов git. В последний месяц, впрочем, я его не трогал, так как был занят сертификацией и наймом. Сам aider это довольно тонкая надстройка над моделью, занимается тем что парсит генерируемые моделью диффы и включает сайты из репы в контекст модели, что позволяет "бесшовно" редактировать моделью файлы.

Сlaude Projects -- это платная функция веб-интерфейса Клода, позволяющая загружать файлы в контекст. А artifacts позволяет создавать "файлы" в несколько приемов, и "перегенерировать" их. Такой недо-аидер но зато фиксированная подписка в месяц вместо ~4 центов за промпт при использовании Аидера.

Я использую проекты в качестве кастомных ассистентов. Например, у меня есть проект где в контекст загружена проектная документация и дополнительное описание проекта специально для Клода, так что можно "разговаривать о проекте" без необходимости каждый раз объяснять в промпте, чем мы занимаемся.

Накопились кроме того некоторые ответы на стандартные возражения.

## Галлюцинации

Галлюцинации не представляют реальной проблемы, поскольку часто "ответ" известен заранее, его просто "лень писать". А если он неизвестен -- то перепроверка этого ответа по хорошим источникам точно такая же, как перепроверка ответа, полученного на Stack Overflow. Тем более, что сейчас есть ChatGPT Search.

## Открытые модели

Открытые модели говно и не нужны. Ну то есть, если Вы матерый LLM-щик и знаете что делаете, то Вы можете пойти на компромисс и поменять качество на деньги или приватность. А если Вы пробуете - то тот же aider с открытыми моделями - это сплошное мучение. Даже с Claude он будет лажать, а с открытыми моделями это вообще "безнадега", особенно если Вы начинающий и не умеете с моделями разговаривать.

## Бесплатные веб-интерфейсы

В целом платные версии оправданы (у меня только Клод и Чатжпт). У Клода в бесплатной версии нет проектов, а у Чатжпт слишком низкие лимиты запросов в день. Нахуй-нахуй такую "экономию" ~20 американских рублей в месяц за модель.

## Cursor и прочие говнотулзы

Aider нет достойной замены. То есть конечно Вы можете пробовать, но я сфокусировался на одном инструменте. Из некоторого дополнения к aider можно упоминуть Supermaven. Это автокомплит к JetBrains IDEs (и по-моему для vscode тоже есть). Бесплатный, быстрый и прикольный. Но ортогонален к использованию моделей для написания кода.

## Надо выбрать одну модель

К сожалению, модели не взаимозаменяемые, и моя текущая позиция - что Вам нужны все так называемые frontier models, одной "не хватит". На сегодня это ChatGPT, Claude, Mistral и Gemini (и последняя Llama 405b приближается). Например, Клод не умеет вызывать функции из веб-интерфейса, как это делает ChatGPT, у Gemini самый большой контекст и так далее. Кроме того, между топ-моделями постоянная конкуренция и они периодически уделывают друг друга, так что если ваша "текущая" модель не справляется - то надо спросить "второго мнения" у остальных. Ситуация примерно такая, как с была с поисковиками, пока Гугл не стал очевидным лидером. Не ищется в Яху - ищите в Альтависте.

## Не устраивает стиль или экспертный уровень ответа

Тут вам поможет prompt engineering и custom gpts/проекты, чтобы его сделать один раз. Кроме того, есть люди, которые просто "не понимают" концепции LLM и не могут их "освоить". Какое-то "отторжение" у части народа.

## Оно не думает

На это у меня аж несколько ответов:

1. Люди тоже не всегда и не все думают. Вы что, никогда не сдавали экзамен по физике, не зная физики?
2. Раз оно не думает - не используйте его для задач, требующих думания. Довольно много задач, как выясняется, "на самом деле" никакого думания не требуют, "читерские" методы для них работают прекрасно.
3. Если Вы не заметили -- то много задач, не связанных с думанием, но с естественно-языковыми интерфейсами и машинным зрением, техническим писательством и так далее оказались решены с помощью LLM.

Чтобы далеко не ходить, наше тестовое задание для джуниора Клод делает в one-shot (то есть с ошибкой исправляемой за один дополнительный шаг).

## Сложность

Тут не "возражение" а скорее "болезнь" некоторых LLM-энтузиастов. Я кажется, немного об этом уже писал. Игра имеет сотни требований, желание чтобы можно было сказать "напиши мне змейку" -- это абсурдное требование, чтобы реально можно было хотя бы "в принципе" сделать "хорошую" систему, нужно "скормить" автомату довольно толстый документ с требованиями. То есть, если LLM "победят" мясных программистов, то программистам придется переучиться на аналитиков, а не на сантехников. Как выясняется, старый комикс про то, что требования, настолько детальные, чтобы по ним можно было сгенерировать программу, называются "код" - это просто неправда. Детальные требования - это не код, а высокоуровневая спецификация, и LLM-кодирование всего лишь позволяет нам побороть accidental complexity, но essential complexity никуда не девается.

## LLM - это пузырь, который скоро лопнет

Ну может он и лопнет, но ровно так же, как лопнул the e-commerсe bubble of 2000. Компании разорились, но e-commerce никуда не делся. Так же и LLM. Может настать некоторое "разочарование" и "упирание в потолок", но "много задач, не связанных с думанием" уже решены, и достигнутый этим прогресс никуда не денется.

Оставить комментарий

Популярные посты:

• Архив