Рейтинг chat.lmsys

топ 100 блогов kvisaz26.04.2024 На chat.lmsys.org есть рейтинг на основе народной битвы дронов - то есть люди произвольно заходят без регистрации, выбирают любые две модели, делают запрос и голосуют, какой ответ лучше.

Тут есть небольшой косяк - платные модели часто выдают сбой из-за превышения лимитов. Ну и скажите, за кого я должен проголосовать.

Я думаю, они должны как-то предусмотреть такие кейсы, но поскольку информации об этом пока не нашел, считаю, что рейтинги chat.lmsys.org  могут быть слегка  или даже весьма некорректны.

Похожий эффект я видел и в каких-то других тестах, где на Реддите человек оценил способности перевода у GPT4 в 0, а у Llama низко, но не ноль, потому что промпт был "переведи и выведи с особыми условиями" - и вот на особых условиях GPT4 не выполнил ничего, а Llama попытался. Это был дурной тестер, негодный, несите другого.

Поэтому когда в рейтингах Llama 3 становится лучше GPT 4 - я теперь всегда буду держать в голове этот скриншот:


Рейтинг chat.lmsys


Llama 3 конечно хороша, но не настолько.

Оставить комментарий

Архив записей в блогах:
набрел тут на ворох цитата, и решил заебенить опорос. Вашему вниманию предлагается цитата и кратенький опрос - близка ли вам эта позиция, нет или эос. цитата1 Если пофилософствовать, то для меня загадка, кто и зачем придумал закон, по которому нужно предупреждать, что сейчас будут ...
Тут такая неприятная история случилась - так скажем, в одной школе. Детям во втором классе устроили психологический тренинг. Из нескольких ступеней. В этом месте я вслух употребил слово "блять", но, так как бложег мой читают разные люди, то женщины и дети, считайте, что я его не ...
Насколько я понимаю, в начальных классах нет одной единой на весь Израиль системы обучения (я про обычные муниципальные школы, а не тематические). Где можно ...
---------------------------------------------------------------------------------------------------------------------------------------------------- Как вы думаете, что это за пространство за мной? Это самый центр Майкопа, сзади речка, а вот это, похожее на гигантское футбольное ...
Максимально раздражающие россиян действия соседей стали известны в результате исследования, проведенного сервисом по поиску высокооплачиваемой работы SuperJob. В тройку лидеров вошли шум, курение в подъезде и наплевательское отношение к общедомовой собственности. Так, свое ...