О командах ЧГК -- типа о рейтинге, но не совсем

nikolenko — 23.09.2015 Обсуждения комиссии ЧГК по рейтингу, а также многочисленные комментарии к многочисленным постам, как мне кажется, всегда упираются в одну и ту же классическую ошибку: участники обсуждения подразумевают разные вещи под одними и теми же словами и в результате спорят о дефинициях, что никак не может привести к конструктивному результату.

Развёрнутое объяснение, в чём ошибка, можно найти, например, в разделе N вот здесь:
http://wiki.lesswrong.com/wiki/The_Machine_in_the_Ghost
особенно
http://lesswrong.com/lw/nm/disguised_queries/
http://lesswrong.com/lw/nn/neural_categories/
http://lesswrong.com/lw/np/disputing_definitions/
Очень рекомендую прочитать эти недлинные тексты, прежде чем возражать по существу (да и вообще все sequences рекомендую, но это уже по желанию).

В случае ЧГК ключевое понятие, о котором спорят люди – это понятие «команды». У него есть уже какие-то деривативы («базовый состав», «сборная»...), но даже основное понятие «команды» определено очень плохо, точнее, никак не определено. Положение о рейтинге, например, начинается так:

Официальный рейтинг МАК создан для фиксации результатов выступлений команд в соревнованиях по спортивному «Что? Где? Когда?». Он предоставляет возможность сравнения результатов команд и может быть использован как инструмент отбора на различные соревнования.

Всё, дальше можно не читать, ключевое смешение понятий уже возникло. В первом предложении «команда» – это набор игроков, выступающий вместе на турнире («соревновании»); это в общем довольно хорошо определённое понятие, тут я не вижу проблемы. А во втором предложении внезапно (и имплицитно!) делается переход от «команды на турнире» к «команде вообще», которую можно, например, «отбирать на соревнования». Естественно, нигде дальше это понятие не определяется (хотя, что интересно, в п. 2.1 никак не определённые «команды» делятся на «регулярные команды» и «сборные команды» :) ).

Субъективная причина такого прыжка понятна: определить понятие «команды вообще» очень сложно, делать этого не хочется, и люди предпочитают просто проглотить этот ключевой момент. Однако это неизбежно ведёт к тем разногласиям, которые мы видим в ru_chgk . Что такое «команда», если серьёзно? Это мог бы быть некий кластер игроков, часто играющих вместе – но тогда придётся принять, что (1) кластеры будут пересекаться и (2) отношение игрока к команде будет неточным, вероятностным. Или это могло бы быть просто некое название, бренд – но тогда придётся принять, что (1) отношение игрока к команде тогда вообще не определено или определено тривиально (кто сел на данном турнире под названием, тот и игрок), и (2) для рейтинга (системы предсказания результатов турниров) это понятие никакого смысла не несёт, в рейтинге его лучше вообще не использовать. Или... но попробуйте сами определить, что такое «команда».

А также попробуйте переформулировать весь разговор о рейтинге, не употребляя слова «команда». Вопросы для самопроверки – что означают следующие высказывания:

• «команда прекратила существовать»;
• «команда продолжает существовать» (постарайтесь сформулировать независимо от первого пункта и проверьте, получается ли логическое отрицание);
• «команда сменила название»;
• «игрок одной команды перешёл в другую команду»;
• «три игрока одной команды перешли в другую команду» (опять же, между этими двумя пунктами может внезапно возникнуть разница).

Ничего страшного, если некоторые из этих высказываний потеряют смысл, это нормальный эффект хорошего определения. Сформулируйте disguised query явно: чего вы хотите от рейтинга, каких практически важных и проверяемых свойств?

Мне кажется, что разумный разговор о рейтинге можно продолжать, только если стороны сначала сделают описанное здесь упражнение и переформулируют свои утверждения, не употребляя слов «команда» и «состав» в контексте более чем одного турнира. А также сформулируют, чего им хочется от рейтинга, так, чтобы это можно было экспериментально проверить.

Я могу подать пример и сформулировать задачу рейтинга ЧГК как я её вижу: максимально точно предсказывать результаты (1) турниров по ЧГК между заданными множествами игроков и (2) игры заданного множества игроков на заданном множестве вопросов. Как и все интересные задачи, это задача сложная, многогранная и требующая в идеале совместной работы очень разных методов (например, я не исключаю, что в будущем можно будет повысить точность предсказаний, добавив тексты вопросов – и тогда, например, редактор сможет оценить, какой команде получившийся у него пакет даёт преимущество), но мне она кажется довольно хорошо определённой.

А чего хотите от рейтинга ЧГК вы?

Оставить комментарий

Популярные посты:

• Архив