О вводе новой формулы

ru_chgk — 03.05.2010 Эксперименты с формулами расчёта рейтинговых бонусов были продолжены.


Ещё раз стоит напомнить недостатки нынешней формулы:
1) надувание бонусов на турнирах с относительно слабым составом участников (практически все команды такого турнира гарантировано получают бонус больше 0,2 от своего рейтинга) - например: http://ratingnew.chgk.info/tournaments.php?displaytournament=579;
2) бесполезность очных турниров с сильным составом для большинства их участников, занявших места чуть ниже призовых;
3) достаточно сильная зависимость бонуса призёров и субпризёров турнира от его массовости;
4) не всегда корректно самонастраивающийся бонус победителя: пример - победитель высшей лиги чемпионата Москвы получает меньше, чем победитель первой лиги, где больше команд, хотя и более слабых;
5) инфляция - рост бонусов и рейтингов (особенно заметен рост рейтинга 100-го места: на 10% в год).

За последние полгода было предложено и протестировано несколько формул. Из всех возможных альтернатив мы остановились на формуле Исраэлита-Немучинского (Валентин Исраэлит является автором идеи адаптивной настройки бонусов, при котором они не зависят от массовости турнира; Роман Немучинский предложил наиболее удачный вариант такой формулы). После обсуждения в конце марта (отдельное спасибо Антону Губанову и Вячеславу Гарановичу) был реализован вариант формулы с коррекцией.

Формула рассчитывается по следующему алгоритму:
1) для команд, участвующих в турнире, производится сортировка по рейтингу: R1, R2, R3...
2) для каждого места Х из мест 1..N вычисляется бонус
2а) D=sum(ri*R(Х+i-1)), i=1..M,
где ri - коэффициент уменьшения влияния;
М – "глубина" расчёта бонусов;
рассмотрены четыре варианта:
- ri=1 (без коррекции);
- последовательность аликвотных дробей: 1, 1/2, 1/3, 1/4...;
- арифметическая прогрессия с k=1/M (например, 1, 4/5, 3/5, 2/5, 1/5);
- геометрическая прогрессия с k<1 (например, 3/4, 9/16, 27/64… );
2б) квадратичный вариант: D=(sum(R(Х+i-1)^2))/(sum(R(Х+i-1)), i=1..M;
3) если место Х заняла одна команда, то она получает бонус согласно п. 2.
4) если несколько команд заняли место Х, то есть разделили места от (Х-L/2) до (Х-L/2), то каждая из этих команд получает среднее арифметическое от бонусов, начисленных на места этого диапазона;
5) все бонусы умножаются на коэффициент С, выбираемый для каждого из релиза из условия примерного совпадения максимального бонуса турнира, в котором принимают участие М сильнейших команд с максимальным бонусом аналогичного турнира, учтённого в предыдущем релизе (нет никакой проблемы подобрать коэффициент, обеспечивающий долговременную стабильность или слабую инфляцию).

Действие формулы таково:
1) более сильная, чем сейчас, дифференциация бонусов победителей турниров: первая лига Москвы даст бонус победителю на 15-20% меньше, чем высшая лига;
2) на очных турнирах тренд становится близким к линейному (что делает, например, 10-е место на ЧР более лакомым, чем победу на фестивале без участия команд из топ-10); в хвосте таблицы – нулевая зона, соответствующая числу команд с нулевым рейтингом;
3) на синхронах тренд вогнутый, но более высокий, чем при расчёте по нынешней формуле; начало нулевой зоны дальше, чем сейчас.
4) тренд рейтингов при долговременном действии формулы оказывается более низким за счёт уничтожения рейтингов «мёртвых душ» - команд, не участвующих в синхронах (или остающихся в них в нулевой зоне), но за участие в очных турнирах имеющих бонусы в несколько сот очков (даже последнее место на очном турнире сейчас может давать 300-400 баллов).

Важная проблема, которая тоже обсуждалась: максимальное количество синхронов, учитываемых при расчёте рейтинга. Спектр позиций по этому вопросу простирается от «Синхроны – это зло, это лазейка для жуликов; синхронам не место в рейтинге» до «Давайте снимем все ограничения на синхроны: право на вхождение в топ имеет даже команда, не играющая ничего, кроме синхронов (например, в силу географической удалённости)». Стразу ответим, что эти крайние позиции НЕ РАССМАТРИВАЮТСЯ как приемлемые варианты: отказ от рейтингования синхронов разорвёт единое ЧГК-пространство, а полное снятие ограничений может привести к ослаблению активности очных турниров.

При экспериментах, проводимых без ограничения на синхроны, у большинства команд топ-100 среди учтённых турниров оказалось в среднем два синхрона (около 60%), несколько реже один или три (примерно по 13-15%), ещё реже - ни одного (Социал-демократы, Total, TGDNSKY KOHb, X-promt) или по четыре (Salvatore, Братья, ОНУ им. Мечникова, Минус один, ООО Калькулятор, Старики-разбойники (СПб), Чугарики); пяти синхронов в копилке не оказалось ни у кого. Рассматриваются две альтернативы: сохранить правило «не более двух синхронов» или ввести правило «не более трёх синхронов» (аргумент за: поддержка сильных команд в дальних краях; аргумент против: жулики смогут пробиться в топ-50). Подробнее – чуть ниже.

Общие выводы по результатам экспериментов:
1. Рассматриваемая формула обеспечивает существенно лучшую предсказательную способность, чем ныне действующая. Критерий предсказательной способности (предложен Константином Кнопом): сумма квадратов отношения разницы занятого и предсказанного мест к их сумме. Наиболее заметно его действие на синхронах.
2. Уменьшение М (в особенности менее 3) нежелательно, поскольку нивелирует "крутизну" турниров. Увеличение М повышает чувствительность формулы, но (в особенности без коррекции) «давит» малые турниры с участием одной или двух сильных команд (проводимые там, где эти сильные команды не имеют возможности часто выезжать за пределы своего региона). Предлагается принять М=6.
3. Все четыре варианта коррекции при М=3..6 дают весьма близкие результаты по предсказательной способности, по ранжированию команд и даже по форме тренда (при подборе коэффициентов различие рейтингов между разными формулами очень мало - порядка 1-2% (для топ-100). Выбор между аликвотной, арифметической, геометрической и квадратичной коррекциями предлагается сделать в пользу аликвотной – хотя бы потому, что её коэффициенты проще.

Для М=6, аликвотной коррекции и правила «не более двух синхронов» получены следующие значения предсказательной способности (в верхней строке количество пересчитанных релизов):

	0	1	2	10	20
ОВСЧ	103,3	96,2	91,4	81,5	79,7
КубГор	63,0	59,9	58,2	52,7	51,3
Весна в ФА	4,61	4,30	4,18	3,75	3,70

Для малых турниров эффект не столь очевиден - в пределах статистической погрешности. Очевидно, что критерий предсказательной способности для каждого турнира стремится к некоторой асимптоте и около половины пути проходит за первые два релиза.

Для сравнения – та же таблица при условии «не более трёх синхронов»

	0	1	2
ОВСЧ	103,3	94,3	89,0
КубГор	63,0	59,1	57,2
Весна в ФА	4,61	4,10	4,05

Налицо повышение предсказательной способности (как раз за счёт сильных команд из слабых в отношении ЧГК регионов).

Ещё одна важная проблема: с какого момента ввести новую формулу?
Предложенные варианты:
А) с начала времён (1.01.2005);
Б) с трёхлетним шагом назад (1.07.2007);
В) с начала текущего сезона (1.09.2009);
Г) с последнего официального релиза (1.03.2010);
Д) с даты ближайшего официального релиза (1.06.2010);
Е) с начала нового сезона (1.09.2010).
Варианты А-В лично мне представляются абсолютно неприемлемыми: закон не должен иметь обратную силу, нехорошо отнимать ранее официально розданные турнирные бонусы и релизные рейтинги, даже если они не вполне адекватно отражают реальные успехи. Даже вариант Г в этом отношении небезупречен (ряд команд скажут, что мы, мол, не поехали бы на турнир ХХХ, если бы знали, что сладкая коврижка за победу там весит не 2000, а 1700 очков).

Итак, мы выносим результаты на очередное (хотелось бы надеяться, что финальное) обсуждение. Просим высказываться по вопросам:
1) Стоит ли вообще вводить новую формулу (хотелось бы услышать аргументы её принципиальных противников, если таковые есть)?
2) С какого срока запустить новую формулу (варианты: А, Б, В, Г, Д, Е)?
3) Сколько синхронов включать в релиз?

Доп. вопросы:
4) Какую коррекцию ввести (аликвотную, арифметическую, геометрическую, квадратичную)?
5) Какую длину диапазона чувствительности использовать (М=6 приемлемо? мало? много?)?

Большая просьба: не обсуждать в комментах вопросы, не относящиеся к теме.

Адрес страницы эксперимента
http://ratingnew.chgk.info/test_case/teams.php
Сейчас на ней результаты эксперимента, в ходе которого новая формула введена с начала текущего сезона с правилом «не более трёх синхронов», М=6 и аликвотной коррекцией.

Оставить комментарий

Популярные посты:

• Ранее
• Архив