Критический анализ диссертации психолога Александра Невеева

scinquisitor — 16.12.2016 Уже не в первый раз моя деятельность как популяризатора науки и как ученого, а также деятельность многих моих коллег становится объектом критики психолога Александра Невеева. Причем критика, как правило, носит не столько конструктивный, сколько бранный или клеветнический характер. Невеев пишет о тренингах личностного роста и ошибках мышления. Регулярно выступает на ТВ в роли «эксперта» по сектам и лженаучным заблуждениям. Но, самое главное, этот человек никогда не забывает упомянуть, что он не просто какой-то бизнес тренер, а кандидат психологических наук. В каком-то смысле его можно было бы назвать коллегой-«скептиком» (ведь порой он настоящих мракобесов разоблачает), но, как я покажу ниже, с некоторыми «друзьями» и враги не нужны.

Мне стало интересно разобраться в том, насколько он серьезный ученый. И здесь я представлю результаты своего расследования.

Оказалось, что о научных трудах Александра Невеева не знает ни «Web of Science», ни «Scopus», ни «Pubmed». Российский индекс научного цитирования (РИНЦ) знает о четырех работах Невеева, включая его диссертацию и автореферат диссертации. Суммарное количество цитирований всех работ Невеева: два. Это при том, что он защитился довольно давно – в 2010 году. Последняя публикация Невеева в РИНЦ называется «Тренинг в организации», и это учебное пособие 2012 года.

В автореферате к своей диссертации Невеев приводит только две статьи, с указанием, что они опубликованы в журналах списка ВАК. И ни одной статьи, опубликованной в международном научном журнале.

Из двух статей, опубликованных в журналах списка ВАК, первая не содержит никаких оригинальных эмпирических данных. Эти шесть страниц текста опубликованы в «Вестнике Московского государственного областного университета».

Вторую статью я найти не смог: о ней не знает ни РИНЦ, ни Яндекс, ни Google (все 6 ссылок ведут на список литературы автореферата Невеева). Утверждается, что она опубликована в журнале под названием «Вестник университета» (издательство ГУУ). Интересный факт: «Вестник университета» (Государственного университета управления) индексируется РИНЦ. Возникает вопрос: почему тогда РИНЦ не знает о статье Невеева?

Если открыть сайт «Вестника университета», то можно найти указанный Невеевым выпуск. Вестник Университета. — М.: ГУУ, 2008. — №11. — С. 85-88. Указанные страницы приходятся на середину текста под названием «Концептуальные основы «бизнес-девелопмента» как специфической формы реструктуризации малых и средних предприятий в России». Автор Рессин М.Г.

На всякий случай я спросил у экспертов «Диссернета», имеющих опыт разбора диссертаций, существует ли другой «Вестник Университета ГУУ». Мне сказали, что «Вестник ГУУ – он один такой».

Строго говоря, с одной статьей защищать диссертацию нельзя даже по формальным признакам, независимо от качества работы.

Но даже если такая статья где-то существует, а не выдумана, едва ли это впечатляющий научный результат. Не знаю, как у психологов, но в моей специальности, если работа опубликована в журнале класса «мурзилка», то возможных объяснений этому несколько:

1. Авторам нужно было срочно отчитаться по гранту, а исследование выполнить не удалось;
2. Работа крайне низкого качества;
3. Кто-то хотел степень ради степени, как это любят делать некоторые чиновники, например, клиенты «Диссернета»;
4. Работа очень узкоспециализированная (но это не случай Невеева).

Автореферат диссертации Александра Невеева меня позабавил.

Например, в одном месте автор пишет: «При этом зафиксированная тенденция недостаточно статистически значима (р<0,1)». В другом месте мы видим: «Отвергаемые аутсайдеры и по каждому из пятнадцати предъявленных качеств и в целом по этим пятнадцати качествам существенно завышают свою самооценку по сравнению с оценками группы (различия статистически значимы, р<0,1)».

То есть в одном месте р<0,1 – это «тенденция недостаточно статистически значима», а в другом месте р<0,1 – это «различия статистически значимы». По-моему, классно! Особенно для человека, считающего себя экспертом по «научной психологии» и борцом с лженаукой. Кстати, когда говорится об отсутствии статистической значимости, надо писать, что полученное значение p больше, а не меньше некоторого порогового уровня. И я промолчу о том, что порог статистической значимости 0,1 вообще не особо годится.

Мне стало интересно, как именно получены те или иные значения p в работе Александра Невеева (в автореферате никакие статистические тесты указаны не были). Поэтому я раздобыл диссертацию Александра Невеева и нашел там много интересного.

Оговорюсь, что сам я защитил диссертацию по специальности «Математическая биология», поэтому я не буду обсуждать психологические термины и вообще теоретическую часть исследования Невеева. Все, что я могу оценить – адекватность описаний поставленных экспериментов и статистических тестов для проверки заявленных гипотез.

Диссертация называется так: «Социально-психологические особенности оснований персонализации и деперсонализации членов подростковых классов общеобразовательной школы». В диссертации две главы. Приведу название второй: «Экспериментальное исследование феноменов персонализации и деперсонализации в контексте интрагруппового структурирования подростковых классов в общеобразовательной школе».

Нестыковки в описании экспериментальной части работы начинаются с самого начала этой главы. Невеев пишет:

«С помощью методики определения степени ценностно-ориентационного единства группы было обследовано 84 школьных класса. Затем эти классы были ранжированы по коэффициенту ЦОЕ. И наконец, были отобраны 62 класса, коэффициент ЦОЕ которых находился в диапазоне от 37% до 44%, а 22 школьных класса, прошедших обследование с помощью методики ЦОЕ были отсечены и не участвовали в последующих сериях эксперимента, т.к. показатели их коэффициента были ниже 37% или выше 44%. Таким образом, были отобраны наиболее типичные для общеобразовательной школы по уровню социально-психологического развития классы, при этом по данному социально-психологическому показателю практически не различающиеся между собой». (стр. 68)

Сравните это с иными показаниями чуть ниже: «В исследовании были задействованы 56 классов, из них: восьмых — 21, девятых — 20, десятых — 15». (стр. 70)

Далее нигде в диссертации, несмотря на заявленный экспериментальный характер исследования, не встречается описаний рассмотренных выборок школьников.

Не указано ни число восьмиклассников, ни число девятиклассников, ни число десятиклассников (только число классов). Сколько мальчиков или девочек участвовало в исследовании? Неизвестно. Автор делит учащихся на высокостатусных и аутсайдеров. Сколько при этом учащихся оказываются высокостатусными, а сколько – аутсайдерами, не указано. Без этих данных оппонент не может оценить корректность каких-либо дальнейших операций с данными, а значит, и проверить адекватность выводов автора исследования. Где тут собственно эксперимент – непонятно.

Невеев пишет: «Математико-статистическая обработка полученной эмпирики позволяет зафиксировать следующую закономерность: отвергаемые аутсайдеры существенно чаще имеют средний референтометрический статус, чем низкий (р<0,05); отвергаемые аутсайдеры имеют низкий референтометрический статус чаще, чем статус референтометрических «звезд» (р<0,1)». (стр. 79)

Какая математико-статистическая обработка, кем и как проводилась – непонятно. Какие тесты использовались не указано. Если анализ проводился с помощью пакета программ – не указано, каких программ. Если он делался вручную – не написано, как.

Нигде в работе не указаны ни величины измеряемых значений, ни стандартные отклонения этих величин. Сырые данные отсутствуют. Нет информации о выбранном методе статистического анализа. По логике, какие-нибудь непараметрические критерии (например, U-критерий Манна-Уитни) могли быть использованы. Но научная этика требует указывать такие важные детали. Читатель не должен домысливать, как автор пришел к указанным выводам. Как уже упоминалось, p<0,1 ни о чем не говорит.

В другом месте автор пишет: «Разница между высокостатусными и «изолянтами» по показателям их властного рейтинга в ученическом сообществе в восьмых и девятых классах несколько резче выражена, чем такая разница между высокостатусными и «изолянтами» в десятых классах (р<0,2). Данная тенденция статистически не значима, но о ней нельзя не сказать». (стр. 97)

Тут Невеев справедливо замечает, что тенденция статистически не значима, однако чуть ниже он использует иной критерий.

«Если зафиксировать степень адекватности самооценки результатам групповой оценки, которую осуществляют только высокостатусные, только отвергаемые аутсайдеры или только «изолянты»-десятиклассники, то проявляется следующая тенденция: степень адекватности самооценки снижается от случая, когда оценивают только высокостатусные до случая, когда оценивают отвергаемые аутсайдеры (р<0,2)». (стр. 99 – стр. 100)

Любой, кто разбирается в статистике, понимает, что p<0,2 не является статистически значимым результатом. Вероятность, что такой или более выраженный результат получится случайно, выше, чем вероятность выпадения шестерки на шестигранном кубике. Но это не мешает автору написать, что в его работе «проявляется следующая тенденция».

Жонглирование с неадекватными порогами статистической значимости в тексте диссертации встречается и в других местах.

«Сближение показателей «изолянтов» и от¬вергаемых аутсайдеров в десятых классах более выражено, чем в восьмых и девятых (р<0,15) Правда и здесь в аттракционном плане подобная тенденция не наблюдается. В то же время, на наш взгляд, достаточно интересным является тот факт, что количество отвержений, которые получают отвергаемые аутсайдеры в десятых классах уступает аналогичному показателю в восьмых и девятых классах (р<0,1). По-видимому, в данном случае есть все основания говорить о том, что негативный аттракционный канал персонализации в десятых классах начинает блокироваться, скорее всего, в связи с той же потерей референтности ученической группы для высокостатусных школьников-подростков». (стр. 98)

Даже если предположить, что автор использовал адекватные статистические модели (проверить это невозможно из-за недостаточной информации в тексте диссертации), из предложенных данных ничего не следует. Мы видим статистический шум и его ad hoc интерпретации.

«Во-первых, по сравнению с восьмыми и девятыми классами в десятых проявляется несколько большая степень неадекватности самооценок высокостатусных, отвергаемых аутсайдеров и «изолянтов» ре¬зультатам их оценки классом». (стр. 99)

Здесь та же претензия. Я молчу, что нигде нет ни слова о поправке на множественное тестирование, которая была бы уместна в некоторых частях анализа (все статистические процедуры заметены под ковер).

Кроме того, диссертация содержит огромное количество забавных пропусков, которые автор, видимо, планировал заполнить, но забыл. Удивительно, но на эти пропуски никто не обратил внимания. Например:

«Кстати, подобное содержательное «пересечение» в дальнейшем позволило выстроить целый ряд экспериментальных исследований (...), в ходе которых были выявлены закономерности и зависимости, раскрывающие специфику социальной и межличностной ситуаций развития личности определенного возраста, находящейся на той или иной стадии вхождения в референтную для нее группу». (стр. 25)

«Как известно, социометрическая процедура (...) представляет собой пожалуй, наиболее часто используемое в реальной исследовательской практике методическое средство, прежде всего, когда предметом изучения являются межличностные отношения в контактных группах и, в первую очередь, отношения типа «симпатия-антипатия»». (стр. 62)

«По-видимому, здесь имеет смысл специально отметить, что полученные данные не носят, на наш взгляд, артефактный характер, так как в ряде исследований (...) достаточно убедительно показано, что в группах несовершеннолетних правонарушителей в условиях принудительной изоляции, как ни парадоксально, но именно низкостатусные, а не среднестатусные члены сообществ оказываются, как правило, достаточно различимы ми именно в системе референтных отношений». (стр. 79-80)

Это скорее смешно, но показательно: ключевые ссылки в диссертации пропущены. Автор пишет, что список литературы диссертации на 193 источника, из них на английском языке – 47. Действительно, в списке литературы указано такое число статей. Однако в тексте диссертации на подавляющее большинство из этих статей ссылок нет. Более того, мне удалось найти только одну ссылку на статью на английском языке. На всякий случай я спросил у эксперта Диссернета, возможно ли, что я читаю неправильную версию Диссертации Невеева. Мне ответили, что это точная копия диссертации, которая поступила в РГБ. «Это единственная достоверная версия. Я думаю, что список литературы он просто украл из другой диссертации».

Я обещал анализировать только статистическую и формальную часть диссертации Невеева, но я не удержусь. Прошу прочитать пассаж и оценить его осмысленность:

«Именно потребность в персонализации выступает одним полюсом противоречия (другим полюсом которого выступает в общем, абстрактном плане потребность общества в личностях с заданными атрибутами, в конкретном же плане – требования, обозначенные или нет, явные или подразумеваемые, которые предъявляет конкретная реальная группа к своему члену*), которое является двигателем всего процесса развития личности, а действительное удовлетворение данной потребности, возможное лишь в рамках общества и через общество, через личности, в которых социальные отношения персони¬фицированы, еще раз преломляет и научно совершенствует деятельностный подход к изучению личности.
* Отсюда следует, что научно продуктивно рассматривать ситуацию личности в группе не как статичную ситуацию, характеризующуюся стабильным уровнем удовлетворения потребности быть личностью, а как процессуальный континуум постоянных колебаний в двухмерном пространстве «персонализация-деперсонализация» (стр. 15-16).

Тут стоит упомянуть, закон сохранения трудности Докинза, который гласит, что обскурантизм в пределах любой дисциплины расширяется, заполняя вакуум присущей ей внутренней простоты. Чем что-то проще, тем сложнее об этом пытаются писать. Это создает у читателя ложное ощущение глубины текста. Авторы замечательной книги про редактуру «Пиши, сокращай» называют подобное «культом слов» и всячески высмеивают подобные попытки скрыть отсутствие смысла.

Но это все уже не очень существенно на фоне остальных выявленных проблем диссертации.

Выводы по диссертации:

В диссертации Александра Невеева выявлены грубые нарушения научного метода.

Он использует методы статистического анализа, однако в его тексте нет ни слова о том, что это за методы, к каким данным они применялись, как распределены эти данные.

Он использует невероятно мягкие пороги статистической значимости (вплоть до 0,2), причем использует их избирательно. Где-то тенденция есть, а где-то нет при одном и том же значении p.

Это не означает, что все выводы диссертации неверны, однако из этого следует, что достоверность «экспериментальной» части работы Александра Невеева сомнительна.

В тексте диссертации отсутствуют ссылки на значительную часть источников из списка литературы. Это наводит на мысль о том, что список просто позаимствован автором из другой работы.

Еще одним серьезным моментом является то, что одну из двух статей Александра Невеева, якобы опубликованных в журналах списка ВАК и необходимых для защиты диссертации, просто невозможно найти. Если данная статья все-таки существует (что маловероятно), я предлагаю Александру Невееву прислать ее мне или дать ссылку в комментариях и я отредактирую этот пост.

Впрочем, не думаю, что Александру Невееву стоит беспокоиться о лишении степени. Насколько я понимаю, отзыв степени возможен, только если диссертация была защищена после 1 января 2011 года (надеюсь, что когда-нибудь это правило отменят). Тем важнее, чтобы все понимали, что стоит за его словами «я кандидат психологических наук».

Выводы в целом:

Надо помнить, что кроме псевдонауки существует еще явление плохой науки и имитации науки внутри научного сообщества. Печально, что человек, который берется критиковать псевдонаучные заблуждения, не знает, как грамотно описать собственное исследование. Даже список литературы составлен неграмотно (эта фраза здесь специально для Александра). Особенно досадно, что порой такие «эксперты» привлекают внимание СМИ за счет иных своих качеств, нежели верность науке и ее принципам. Мне бы не хотелось, чтобы движение скептиков или борцов с лженаукой ассоциировалось с именем Александра Невеева. Поэтому я и написал этот разбор.

Заслуживает ли Александр Невеев степени кандидата психологических наук – судить, конечно, не мне, а научному сообществу психологов, члены которого, я надеюсь, прочитают этот текст. Наверно этот обзор будет не полон, если вы не посмотрите на самого Невеева и как он себя представляет, поэтому прикладываю видео.



Выражаю благодарность независимым рецензентам, которые проверяли мой текст на корректность, но пожелали остаться анонимными.

Оставить комментарий

Популярные посты:

• Ранее
• Архив