Некорректное тестирование

топ 100 блогов stokesequation05.08.2021

8 лет назад в качестве вступительного испытания в магистратуру я, как и остальные абитуриенты, сдавал политест.

И этот тест был ужасным. "Ужасным" не в смысле "сложным", а в смысле как тест на проверку знаний.

Он содержал 100 вопросов по четырем предметам: английскому языку, математике, сварочным технологиям и металловедению, совмещенному с деталями машин.

В каждом вопросе было четыре варианта ответа, то есть даже для поставленного наугад ответа вероятность попасть в точку 1/4. Это в принципе нормально, но эти варианты зачастую были такими, что несколько из них отметались сразу же. А в отдельных случаях варианты попадались настолько очевидные, что неправильно ответить на вопрос было совершенно невозможно.

Например, в тесте (напоминаю, это тест в магистратуру) был такой вопрос:

Из какого материала изготавливаются шестерни механизмов с высокой нагрузкой?


  1. Пластик
  2. Дерево
  3. Высоколегированная сталь
  4. Алюминий

Даже ребёнок поймет, что дерево и пластик скорее всего не очень подходят для высокой нагрузки. А если ребенок успел хоть раз в жизни погнуть алюминиевую и попытался погнуть стальную проволоку, он однозначно выберет правильный вариант.

Такой вопрос не имеет никакого смысла, на него правильно ответят 99% людей. А тот процент, что не ответит, и на других вопросах завалится. Этот вопрос никого не отсекает. С таким же успехом можно было заодно узнавать у абитуриентов, умеют ли они читать по слогам.

И подобных вопросов с очевидными ответами было довольно много. И, самое обидное, как раз по предметам специальности — металловедению и сварочным технологиям. А это на самом деле очень серьезные и сложные предметы. Да, в тесте были и сложные вопросы, где ответы были неочевидны и их надо было знать или вычислять, но и простых вопросов  более чем хватало.

Иронично, что именно вопросы по английскому языку в плане угадывания были самыми сложными. Потому что неправильные варианты содержали в себе грамматические ошибки, для обнаружения которых надо было реально знать правила или быть настасканым в чтении текстов.

Вопросы по математике тоже были относительно сложными, хотя бы потому, что там надо было реально что-то считать и применять правила интегрирования и дифференцирования. Ну и при применении этих правил можно было потерять знак или степень, совершить ошибку.

Чем плохи дурацкие вопросы на тесте?

Каждый простой (и тем более очевидный) вопрос в тесте сдвигает средний результат ближе к 100. А это значит, что каждый такой вопрос увеличивает вклад удачи в итоговый результат тестируемого.

Простой пример: в тесте 10 вопросов, 8 из них очень простых и очевидных, и два реально сложных.

Это значит, что любой проходящий тест наберет минимум 8 баллов. Если оставшиеся два вопроса будут проставлены наугад, то для итоговых баллов будут следующие вероятности:

9/16 для 8 баллов (не угадал)

6/16 для 9 баллов (угадал один)

1/16 для 10 баллов (ууу лакерок)

Теперь рассмотрим умного абитуриента, который знает ответ на один из сложных вопросов. Второй сложный вопрос он ставит наугад. Итоговые вероятности у него будет такими:

3/4 для 9 баллов

1/4 для 10 баллов.

Умных абитуриентов априори меньше чем глупых, допустим, в 4 раза. Итого, если экзамен сдают 80 абитуриентов, из которых 64 глупых и 16 умных, в среднем мы получаем такие вот результаты:

10 баллов: 4 умных и 4 глупых

9 баллов: 16 умных и 24 глупых

Получается, что такой тест никак не отделяет глупых и умных абитуриентов. Конечно, у умного выше шанс набрать более высокий балл, но с точки зрения университета половина получивших высший балл (и поступивших) на самом деле ничего не знает. При этом куча умных и способных людей попала в отсев просто потому, что не повезло.

Поэтому для увеличения надежности системы число вопросов в тестировании увеличивают. По теории вероятностей это очень сильно снижает дисперсию удачи и, как следствие, её вклад в итоговый результат. Но если вопросы сделаны на отвали, то итоговое распределение не меняется никак.

Оставить комментарий

Предыдущие записи блогера :
Архив записей в блогах:
Вот почитайте пожалуйста очень патриотичную статью об отдыхе на родине. Прошу учесть следущие факты, что это моя френдесса, я к ней отношусь с уважение и она до сего события не была замечена в нападках на свою любимую родину. Кстати, поехала она ...
Израильские военные застрелили 11 человек и еще 220 ранили в районе Голанских высот на границе с Сирией 05.06.2011 19:31 Солдаты открыли огонь, когда демонстранты приблизились к пограничным заграждениям, сообщает сирийское телевидение ...
Говоря про сходство СВО с войной в ДРА 1979-1989, следует учитывать вот-что. Если абстрагироваться, то Афганистан-это условный "Донецк". Обладание им не влияет абсолютно ни на что. Там нет инфраструктуры, нет выхода к океану и даже крупным рекам, нет дорог. Нет лояльного грамотного ...
Мое новое увлечение с прошлого года. Еще две не цветут пока. Хочется еще боооольше... только ставить ...
На акцию в поддержку «курса руководства страны, направленного на достижение суверенитета нашей Родины» никто не пришел. Пикет, согласованный городскими властями, должен был пройти сегодня, 19 августа, на площадке перед монументом «Героям фронта и тыла от благодарных потомков». ...