Эксперимент с новой формулой

ru_chgk — 26.03.2010 На сайте рейтинга появилась страница экспериментов.

На этой странице было проведено исследование эффективности различных формул расчёта турнирных бонусов и вариантов учёта синхронов при расчёте релизов рейтинга.

Для начала стоит ещё раз напомнить недостатки нынешней формулы:
1) достаточно сильная зависимость бонуса призёров и субпризёров турнира от его массовости;
2) надувание бонусов на турнирах с относительно слабым составом участников (практически все команды такого турнира гарантировано получают бонус больше 0,2 от своего рейтинга) - например: http://ratingnew.chgk.info/tournaments.php?displaytournament=579;
3) бесполезность очных турниров с сильным составом для большинства их участников, занявших места чуть ниже призовых;
4) не всегда корректно самонастраивающиеся коэффициенты наклона тренда ("тверской эффект"): топовая команда, прибывшая на турнир, где играют много команд среднего уровня с малым разбросом рейтинга, снижает бонусы турнира; ещё пример - победитель высшей лиги чемпионата Москвы получает меньше, чем победитель первой лиги, где больше команд, хотя и более слабых;
5) инфляция - рост бонусов и рейтингов (особенно заметен рост рейтинга 100-го места: на 10% в год).

За последние полгода было предложено и протестировано несколько формул.
Наилучшие результаты дала формула, рассчитываемая по следующему алгоритму:
1) для команд, участвующих в турнире, производится сортировка по рейтингу;
2) для каждого места X из мест 1..N вычисляется бонус, равный среднему арифметическому от рейтингов команд, места которых при сортировке по рейтингу лежат в промежутке [Х; Х+М-1]; если Х+М-1>N, то принимается Х+М-1=N;
3) если место Х заняла одна команда, то она получает бонус согласно п. 2;
4) если несколько команд заняли место Х, то есть разделили места от (Х-L/2) до (Х-L/2), то каждая из этих команд получает среднее арифметическое от бонусов, начисленных на места этого диапазона;
5) все бонусы умножаются на коэффициент С.

В формуле два настраиваемых параметра: М - глубина субтурнира и С - коэффициент роста бонуса. Третий настраиваемый параметр - число синхронов, учитываемых при расчёте релиза.

Очевидно, что М не должен быть равен 1 (сильная команда посетившая детский турнир, без борьбы получает приличный бонус). Но и большой М нежелателен, чем больше этот коэффициент, тем сильнее падают в рейтинге сильные команды из удалённых от Москвы регионов. Оптимально М=2.

Критерием предсказательной способности Z была выбрана сумма квадратов отношения разности занятого на турнире места и места, предсказанного по рейтингу, к сумме этих мест: Z=sumZi, где
Zi=((Р-R)/(Р+R))^2,
где Р - предсказанное по рейтингу место, R - реально занятое место.
Основным тестовым турниром выбран ОКР-2009 (последний по времени большой синхрон). По действующей формуле: Z=77,1. Опыты запускались от 1 сентября 2009 (в этом случае по-новой формуле считался только один релиз), от 1 июля 2007 и от 1 января 2005. Для ОКР при М=2 и С=0,203 были получены значения Z: 72,8 (при старте в сентябре 2009); 61,8 (при старте в июле 2007) и 60,4 (при старте в январе 2005) соответственно.

Предсказательная способность рейтинга повысилась и для большинства очных турниров. Например,
Мемориал Дмитрия Коноваленко 3,39 (4,01 по нынешней формуле);
Отрытый кубок Зеленограда 3,32 (3,92 по нынешней формуле).

Был проведён ряд опытов для оценки предсказательной способности при разных значениях М и разном максимальном количестве учитываемых синхронов. Подтвердилось ухудшение предсказательной способности при повышении М и жёстких ограничениях на учёт синхронов.
Ограничение "не более двух синхронов", разумное при ныне действующей формуле (поскольку синхрон по ней даёт всем участникам более высокие бонусы, чем турнир, полученный, например, отсеканием всех команд ниже 100-го места), не является целесообразным при новой формуле.
При этом в списках учтённых командам турниров не наблюдается массового вытеснения очных турниров синхронами - в среднем в рейтинг идёт по два синхрона. Лишь у очень немногих команд (в основном, базирующихся в отдалённых регионах) учтены четыре синхрона.

Бонусы победителей турниров, проводимых в регионах, в среднем соответствуют тем бонусам, которые эти команды набирают на синхронах или на общих турнирах с топовыми командами:
в Израиле - 1850 баллов,
в Украине - 1750 баллов,
в Беларуси - 1710 баллов,
в Германии и США - по 1350 баллов,
в Прибалтике и Армении - по 1000 баллов и т.д.
В топ-50 попали 4 команды из Израиля, одна из США, 8 из Украины, 2 из Беларуси, 7 из провинциальных городов России - никакого кардинального отличия от нынешней ситуации нет (кроме ухода из топ-50 четырёх прибалтийских команд).

Итак, устранены ВСЕ основные проблемы нынешней формулы.
Тренд рейтинга, расчитанного по новой формуле, довольно близок к тренду по существующей формуле. Для синхронов тренд является вогнутым. Для очных турниров с сильным составом – линейным.Совместимость с ныне действующей системой - достаточно хорошая. Не требуется пересчёт старых релизов. Формула может быть введена с любого релиза. Колебания рейтинга для места Х могут быть доведены до уровня 2-3%.

Кажется, мы пришли к более-менее приемлемому варианту.

А вот адрес страницы:
http://ratingnew.chgk.info/test_case/teams.php
Сейчас на ней результаты эксперимента, в ходе которого новая формула введена с лета 2007 года с параметрами М=2, С=0,203 и "не более четырёх синхронов".

Оставить комментарий

Популярные посты:

• Ранее
• Архив