Анализ разных нейронок в программировании на разных языках

kvisaz — 06.05.2024

Такие эксперименты мы любим. Зацените - https://prollm.toqan.ai/leaderboard - интерактивный топ с просмотром результатов тестов разных нейронок по разным языкам программирования. Да еще на разных языках сложности!

- сам рейтинг https://prollm.toqan.ai/leaderboard

- Дискуссия с вопросами к составителям этого рейтинга - тут

К примеру, TypeScript
- на уровне "вопросы от новичков" - лидер, который обгоняет даже GPT-4 и прочих платных титанов - бесплатная LLama 3 8B, которую, кажется, можно запустить даже на RTX 3060.

Как опытный пользователь и предсказатель, я тут должен заметить

- это не означает, что Llama 3 8b может заменить джуниора. Это скорее означает - "в следующие 3-5 лет мы увидим IDE (редакторы кода) с такими автоподсказами и заполнениями строк, которые и не снились сейчас!"

Эх, а помню, как нынешние автоподсказки в JetBrains меня шокировали в 2016, когда я пересел с блокнотоподобных редакторов на полноценный профессиональный редактор кода, я просто плакал и читал справки по подсвеченному коду сразу в контекстном окне.

Как и следовало ожидать, на уровнях средних - маленькая нейронка LLama 3 8b быстро сдает позиции гигантам.

Оставить комментарий

Популярные посты:

figunet

Правовая защита при банкротстве компании: как не отвечать личным имуществом за долги фирмы

val000

Человек живёт много раз

ru_klukva_ru

Шпионы (2012) - Северокорейская миссия невыполнима

olgarffize

Грустно.

masy_vibes

Подпись придумайте сами

d_v_sokolov

Прото-коммеморация жертв ранних советских репрессий (Ялта, 1919 г.)

nikolian

Все-таки остыл

kireev

На каких широтах живут люди в США, Канаде и Европе.

maoist

А.В. Калюта "Мифы и предания ацтеков"

• Ранее
• Архив