Русский язык - язык глубинных смыслов
genby — 19.11.2025
В многоязычном бенчмарке, разработанный для оценки лингвистических
моделей с длинным контекстом на 26 языках. Русский язык обогнал
всех, кроме польского
Языки: китайский (zh), чешский (cs), датский (da), голландский (nl), английский (en), финский (fi), французский (fr), немецкий (de), хинди (hi), венгерский (hu), итальянский (it), японский (ja), корейский (ko), норвежский (no), персидский (fa), польский (pl), португальский (pt), русский (ru), сербский (sr), сесото (st), испанский (es), суахили (sw), шведский (sv), тамильский (ta), украинский (uk) и вьетнамский (vi)
Польский обогнал русский только потому, что он на латинице. Украинский уступил даже английскому. Сербский скатил к африканцам
В славянских языках морфология слова (приставки/корни/окончания и тп) дают большую часть смысла, а в английском уже большее значение имеет контекст. При токенизации эти связи начинают теряться. А китайскому еще не повезло и с длинной смыслов: фразы почти вдвое длиннее, а значит, окно контекста даст меньше связей.
Это они еще Дипсик не пробовали

https://arxiv.org/pdf/2503.01996
|
|
</> |
Сколько стоит билет на автобус в Иркутске? Цены, маршруты и лайфхаки для пассажиров
Хватит сказок — Минфин отлично знает, что бюджет захлебывается от триллионов
Природа осени
Как мы в начале 1980-х в Киеве на пляж ездили.
Томми так увидел
Сергей Эйзенштейн в РОСИЗО
О независимых женщинах и зависимых мужчинах + Amaya трейдер
Без названия
Занятные факты о которых вы не знали... и Shizuka

