"Сегодня повезло!"

eugenegp — 07.02.2024 Каждый раз при публикации данных небольшого исследования возникают комменты "выборка слишком мала, это ничего не значит". Правы ли они? Например, друзья предупреждают: это же П., не играй с ним на деньги и не спорь, уж больно ему везет. Вы решаете проверить, сыграв в кости. Да, Эйнштейн предупреждал, что бог в кости не играет, но вы не бог и не Эйнштейн.

Игра простая, у кого больше сумма очков на двух кубиках, тот и выиграл (High Dice). Вы бросаете два кубика, три раза: результаты трех бросков 6, 3 и 5.
П. достает свои кости и тоже кидает три раза: результаты 9, 11, 8. Улыбается, говорит: "Сегодня повезло!", забирает деньги со стола.
В этот момент друзья уводят вас за локоток. И тут наперерез бросается комментатор со словами: "Выборка слишком мала! В каждой из групп всего три результата, при этом вероятности их вообще совершенно одинаковые, это просто случайность, играйте дальше!"

Неужели ученые настолько ненормальные? Нет. Для малых выборок придуманы специальные тесты. Конкретно можно применить U-критерий Манна-Уитни, который в прикладных целях и можно использовать, начиная с n=3, т.е. всего трех замеров в каждой из двух сравниваемых групп. Более того, его можно использовать, и когда в одной группе всего два замера, но тогда в другой должно быть не менее 5. [Строго говоря, можно считать U-критерий и при n=1, но смысла мало.]

В данном случае для расчета критерия Манна-Уитни будет важно, что хотя все результаты разные, КАЖДЫЙ ваш результат оказался ниже ЛЮБОГО результата соперника. То есть у вас 9 пар сравнения, и при каждом сравнении ваш результат хуже. Подходит критерий Манн-Уитни и потому, что неизвестно, подчиняются ли результаты вашего соперника нормальному, гауссовскому распределению, а то друзья заронили сомнения.
Расчеты покажут, что мнение комментатора о случайности не подтверждается, разница статистически есть. Мог ли такой выигрыш произойти случайно? Да, конечно, но речь о вероятностях, и по принятым в науке критериям гипотеза «странной везучести» в этом, таком маленьком, эксперименте подтвердилась.

И это не единственная возможность проверить случайность разницы между малыми выборками. Критерий Манна-Уитни не учитывает абсолютное преимущество, которое было у П. в каждом броске, только выстраивает результаты по рангу (от первого до шестого). Но разница в очках на каждом броске тоже выглядит подозрительно больше ожидаемой (6,3,5 против 9,11,8). Для проверки, случайно ли это, можно использовать Т-критерий Вилкоксона, но вот ему для осмысленности понадобится уже 5-6 пар замеров.

Есть около десятка статистических критериев, которые можно использовать для анализа малых выборок. Возникает вопрос, а зачем тогда вообще заморачиваться с огромными выборками, если можно получать значимые результаты на 10-20-30 объектах исследования в каждой группе? Дело в том, что разница результатов между группами должна быть очень большой, как в описанной игре. Если вы ищете эффект, который может составлять 10-15% процентов, на маленькой выборке вы его просто упустите. На большой выборке можно также делать анализы по подгруппам (возрасту, полу, доходу, сопутствующим заболеваниям, и другим переменным), а также искать редкие явления (побочные, например) – т.е. фактически идет сразу несколько исследований в одном. Поэтому в основном потоке публикаций вы увидите проверку гипотез на достаточно больших выборках с помощью параметрического теста Стьюдента. Который был придуман сотрудником компании Гиннесс для проверки качества пива. Конкретно темного стаута.



NB:
1) Просьба к работающим со статистикой поискать ошибки в тексте, уж больно упрощал.
2) поэтому в посте могут быть исправления.

Оставить комментарий

Популярные посты:

• Ранее
• Архив