Тестирование и защита от утечек

ru_chgk — 23.12.2010 При подготовке этого ОКРа я достаточно жестко сформулировал редакторской группе ограничение на тестпрование - каждый из индивидуальных тестеров, получивших вопросы электронной почтой, должен увидеть не более 50% всего пакета.

Большое спасибо ребятам за то, что они с честью выполнили это условие. Да, им в результате было тяжелее. Да, возможно (хотя и не факт), что разрешение на привлечение каждого из тех же тестеров к 100% пакета позволило бы сделать ОКР лучше. Я не собираюсь лезть в бутылку и утверждать, что этого не могло бы случиться.

Я хочу обратить общее внимание на то, ради чего это было сделано. Речь идет прежде всего о защите репутации команд и тестеров. Чтобы не могла возникнуть (повториться) очень неприятная во всех смыслах ситуация "твой друг тестировал пакет, а ты на нем удачно сыграл - поэтому я считаю, что вы с другом жулики". В ситуации 50% тестирования обвинение в жульничестве почти наверняка будет отбито простой арифметикой: берем те 50%, которые видел данный тестер, и сравниваем результат данной команды на этих вопросах с ее же результатом на остальных. Если большой разницы нет - то какие могут быть претензии? (А если разница действительно неправдоподобно велика - то это уже повод привлечь дисциплинарную комиссию, и пусть она разбирается...)

Сразу же хочу отметить, что я вовсе не пытаюсь обвинить кого-либо в "преднамеренных сливах" даже чисто теоретически. Надо осознавать, что в нашем мире существуют возможности утащить письмо из чужого почтового ящика так, что ни его владелец, ни автор письма этого даже и не смогут заметить. Более того, поскольку в качестве тестеров часто привлекаются одни и те же люди, то их ящики находятся под большей угрозой, чем остальные. И это еще одна причина, по которой не хочется отсылать людям весь пакет целиком: даже если взломщик узнает заранее половину ответов, он будет очень остерегаться пользоваться этим знанием. Поскольку чтобы не привлечь к себе внимание, на второй половине придется _честно_ показывать сравнимый результат.

Если сейчас никто не приведет сверхмощных аргументов, почему такую практику нельзя продолжать в дальнейшем, то на всех последующих синхронах, к которым я имею отношение, а также на взрослом ЧР, это условие для привлекаемых тестеров будет повторено.

Оставить комментарий

Популярные посты: