Некорректное тестирование

топ 100 блогов stokesequation05.08.2021

8 лет назад в качестве вступительного испытания в магистратуру я, как и остальные абитуриенты, сдавал политест.

И этот тест был ужасным. "Ужасным" не в смысле "сложным", а в смысле как тест на проверку знаний.

Он содержал 100 вопросов по четырем предметам: английскому языку, математике, сварочным технологиям и металловедению, совмещенному с деталями машин.

В каждом вопросе было четыре варианта ответа, то есть даже для поставленного наугад ответа вероятность попасть в точку 1/4. Это в принципе нормально, но эти варианты зачастую были такими, что несколько из них отметались сразу же. А в отдельных случаях варианты попадались настолько очевидные, что неправильно ответить на вопрос было совершенно невозможно.

Например, в тесте (напоминаю, это тест в магистратуру) был такой вопрос:

Из какого материала изготавливаются шестерни механизмов с высокой нагрузкой?


  1. Пластик
  2. Дерево
  3. Высоколегированная сталь
  4. Алюминий

Даже ребёнок поймет, что дерево и пластик скорее всего не очень подходят для высокой нагрузки. А если ребенок успел хоть раз в жизни погнуть алюминиевую и попытался погнуть стальную проволоку, он однозначно выберет правильный вариант.

Такой вопрос не имеет никакого смысла, на него правильно ответят 99% людей. А тот процент, что не ответит, и на других вопросах завалится. Этот вопрос никого не отсекает. С таким же успехом можно было заодно узнавать у абитуриентов, умеют ли они читать по слогам.

И подобных вопросов с очевидными ответами было довольно много. И, самое обидное, как раз по предметам специальности — металловедению и сварочным технологиям. А это на самом деле очень серьезные и сложные предметы. Да, в тесте были и сложные вопросы, где ответы были неочевидны и их надо было знать или вычислять, но и простых вопросов  более чем хватало.

Иронично, что именно вопросы по английскому языку в плане угадывания были самыми сложными. Потому что неправильные варианты содержали в себе грамматические ошибки, для обнаружения которых надо было реально знать правила или быть настасканым в чтении текстов.

Вопросы по математике тоже были относительно сложными, хотя бы потому, что там надо было реально что-то считать и применять правила интегрирования и дифференцирования. Ну и при применении этих правил можно было потерять знак или степень, совершить ошибку.

Чем плохи дурацкие вопросы на тесте?

Каждый простой (и тем более очевидный) вопрос в тесте сдвигает средний результат ближе к 100. А это значит, что каждый такой вопрос увеличивает вклад удачи в итоговый результат тестируемого.

Простой пример: в тесте 10 вопросов, 8 из них очень простых и очевидных, и два реально сложных.

Это значит, что любой проходящий тест наберет минимум 8 баллов. Если оставшиеся два вопроса будут проставлены наугад, то для итоговых баллов будут следующие вероятности:

9/16 для 8 баллов (не угадал)

6/16 для 9 баллов (угадал один)

1/16 для 10 баллов (ууу лакерок)

Теперь рассмотрим умного абитуриента, который знает ответ на один из сложных вопросов. Второй сложный вопрос он ставит наугад. Итоговые вероятности у него будет такими:

3/4 для 9 баллов

1/4 для 10 баллов.

Умных абитуриентов априори меньше чем глупых, допустим, в 4 раза. Итого, если экзамен сдают 80 абитуриентов, из которых 64 глупых и 16 умных, в среднем мы получаем такие вот результаты:

10 баллов: 4 умных и 4 глупых

9 баллов: 16 умных и 24 глупых

Получается, что такой тест никак не отделяет глупых и умных абитуриентов. Конечно, у умного выше шанс набрать более высокий балл, но с точки зрения университета половина получивших высший балл (и поступивших) на самом деле ничего не знает. При этом куча умных и способных людей попала в отсев просто потому, что не повезло.

Поэтому для увеличения надежности системы число вопросов в тестировании увеличивают. По теории вероятностей это очень сильно снижает дисперсию удачи и, как следствие, её вклад в итоговый результат. Но если вопросы сделаны на отвали, то итоговое распределение не меняется никак.

Оставить комментарий

Предыдущие записи блогера :
Архив записей в блогах:
... быстро, вкусно. Для "подушки"- светлый крекер и мини брокколи перетираем в блендере, утрамбовываем и в холодильник. А пока жарим яйцо, чистим помидор. Для сборки -на подушуку выкладываем слайс сыра, помидор, вновь сыр и на него яичницу... Можно между ними ветчинки положить, зеленью ...
Я получил сигнальный экземпляр книжки О.Бахтиярова "Активное сознание" (издательский дом ПОСТУМ, Москва, 2010). Эта книжка, конечно, must read. Раньше я считал, что рациональный анализ техник просветленки (работы со Свидетелем) лучше всего удался Кену ...
В этом сентябре, будучи в Севастополе, посетил с другом Йоханом расположение 15-й батареи. И батарея-то стратегического значения не имела, и из орудий там были только зенитные, а вот поди ж ты. Собрались там бойцы и стояли насмерть и погибали. И очень долго немцы не могли этот ...
Обещанный рецепт нынешней пасхи. Делается она просто и быстро, вкус яркий и приятный. Ингредиенты : Творог 9–15% 700 г, сливочное масло 120 г, сливки 33% 80 мл (у меня 10%), сахар с натуральной ванилью 1 пак. (10 г), сахар 120 г (у меня подсластитель), апельсиновая цедра 1 ст. ...
Новые изобретения всегда с боем пробивали себе дорогу. В 1916 году британский фельдмаршал Дуглас Хейг раскритиковал в пух и прах танки: «Предложение заменить кавалерию железными повозками абсурдно и попахивает государственной изменой». Даже Наполеон не доверял технике, прокомментировав ...