Ответ на критику критики работ о вреде ГМО

scinquisitor — 29.01.2016

14 января в журнале Critical Reviews Biotechnology вышла наша статья, указывающая на существенные ошибки в статистической обработке результатов в шести наиболее нашумевших публикациях о генетических модифицированных организмах (ГМО). О нашей статье написали многие СМИ, например, Вести, ТАСС и МК.

Объединяет разобранные нами работы то, что они были опубликованы в рецензируемых научных журналах, содержали утверждения о нежелательных отличиях между ГМО и их аналогами и получили широкую огласку в СМИ. Основная ошибка, которая была обнаружена в этих работах, популярно проиллюстрирована одним из нас в пресс-релизе нашего института:

Допустим, вы хотите доказать, что мармеладки опасны для здоровья. Вы берете две небольшие группы людей, человек по десять, одну из которых кормите мармеладками, а другую не кормите. Потом вы смотрите: не покрывались ли люди, евшие мармеладки, прыщами чаще обычного? Если такого не было, то проверяете: не было ли у них более частого насморка? Если снова мимо, делаете еще один анализ: не было ли у них боли в животе? Не было ли у них аллергии? Не было ли у них головной боли? Тошноты? Крови из носа? И так далее с десятками возможных нежелательных эффектов. Даже если на самом деле мармеладки абсолютно безопасны, рано или поздно найдется такой параметр, по которому группа людей, которым достались мармеладки, будет отличаться. Именно в изменении этого параметра и можно обвинить мармеладки. Только это будет некоторым жульничеством, ибо вы игнорируете еще 20 проанализированных параметров, по которым мармеладки вредными не оказались. Чем больше параметров, на которые вы смотрели, тем больше вероятность случайно получить ложноположительный эффект. И именно для учета этой проблемы придуманы «поправки на множественные сравнения».

Авторы разобранных нами работ не делали такой поправки при статистической обработке результатов или недооценивали число анализируемых параметров. В одной работе количество параметров, по которым сравнили две группы из 10 животных, превышало тысячу! Естественно, по каким-то параметрам нашлись отличия, которые ошибочно и выдали за «нежелательный эффект генной модификации». Если же учесть эти «множественные сравнения», то получается, что заявленные достоверные отличия между группами легко описываются случайными колебаниями в выборке, т.е. на основании этих работ никаких выводов делать нельзя.

Если кому-то интересно подробней разобраться в том, что такое множественные сравнения и какие именно ошибки были сделаны в обсуждаемых работах, прочитайте 7 главу книги «Сумма биотехнологии. Руководство по борьбе с мифами о генетической модификации растений, животных и людей».

В блоге «Общенациональной ассоциации генетической безопасности» (активистов в борьбе с ГМО в России) тоже были отмечены результаты нашей работы с рядом критических замечаний.

Сразу бросилось в глаза, что название нашей статьи в переводе ОАГБ неверно отражает оригинальное название и смысл работы. Чтобы оценить масштабы ошибки, сравните правильный перевод:

«Опубликованные исследования о ГМО не содержат свидетельств вреда (после поправки на множественные сравнения)».

И перевод ОАГБ:

«Множественное сравнение данных опубликованных исследований не обнаружило доказательств вреда ГМО».

Это огорчает, так как, несмотря на то, что мы старались писать кратко и внятно, текст оказался не понятен «экспертам ОАГБ» или слишком многословен для того, чтобы они смогли дочитать статью и понять, что «множественные сравнения» относятся к характеру обнаруженных недостатков проанализированных нами работ, а не к процессу анализа литературы. В связи с этим, не ясно, понимают ли эксперты ОАГБ, что такое «множественные сравнения».

Кроме того мы не ставили задачу сравнивать какие-либо исследования или анализировать все опубликованные исследования (это делалось до нас в других обзорах). Мы анализировали конкретные исследования на предмет методологических ошибок.

Теперь рассмотрим все пункты возражений, изложенных в исполнении ОАГБ:

Возражение:

«Статья российских учёных из ИППИ РАН представляет собой статистический анализ опубликованных научных работ, посвящённых токсикологическим исследованиям в области ГМО, а также критическую оценку отдельных исследований, выявивших негативные эффекты ГМО. Статистический анализ проведён на основе метода Бонферрони, который считается консервативным и отличается тем, что может трактовать отсутствие эффекта, когда в действительности он присутствует. Эксперты ОАГБ считают некорректным применение указанного метода в токсикологических исследованиях влияния ГМО на теплокровных, так как этот способ не позволяет выявить токсические эффекты исследуемых объектов, а напротив ведёт к их завуалированию».

Ответ:

Нас удивила позиция ОАГБ по вопросу использования поправки Бонферрони – статистической процедуры, учитывающей множественные сравнения. В нашей статье мы подробно обосновываем применимость данной поправки с ссылкой на свежую работу по биостатистике под названием «When to use the Bonferroni correction» (Когда использовать поправку Бонферрони). Поскольку статья новая и весьма узко направленная, стоит объяснить, почему использованный метод не только применим, но и необходим, так как упомянутые работы удовлетворяют всем критериям применения этой поправки:

1. Любое отличие ГМ сорта от обычного трактуется как «ГМО опасно», будь то измененный размер какого-нибудь отдела кишечника или состав кишечной микрофлоры у экспериментальных животных (которых этим сортом кормили), или изменение содержания какого-либо микроэлемента в самом ГМ растении. Тогда встает вопрос, почему оно может быть опасно? Когда строят самолет, то инженеры безусловно соблюдают все требования, предъявляемые к конструкции транспортных средств. И когда же самолет считать безопасным? Его испытывают и приходят к выводу опасен самолет для эксплуатации или нет. Аналогичная ситуация с ГМО: специалисты генной инженерии создают продукты, и, согласно современному уровню науки и технологии, созданные продукты – безопасны. Чтобы показать, что они опасны нужно провести испытания. Когда тысячи работ указывают на одно, а неожиданно одна работа указывает на противоположное (что ГМО опасно), то это «из ряда вон выходящий результат» и, цитируя Карла Сагана, «требуют из ряда вон выходящих доказательств». В рассматриваемом случае, неплохим началом была бы «статистическая достоверность различий даже с применением консервативного (как пишут в ОАГБ) метода поправки на множественные сравнения».

2. Ложноположительные результаты нежелательны – приводят к серьезным экономическим последствиям и общественной истерии. Которую, собственно, и подогревают противники ГМО.

3. Большое количество сравнений проводится параллельно, при этом нет четкой гипотезы о том, в чем именно должен выражаться вред ГМО, ввиду отсутствия известных молекулярных механизмов, благодаря которым ГМО могли бы представлять особую угрозу здоровью людей или других животных.

Кроме того мы отмечаем, что выводы нашей работы не зависят от того, используем ли мы именно эту поправку или какую-нибудь иную поправку на множественные сравнения, применимую для такого типа данных.

История насчитывает много примеров забавных «псевдооткрытий», связанных с неиспользованием поправок на множественные сравнения. Список включает, открытие невоспроизводимого астрологического «эффекта Марса» Мишелем Гокленом, установление способности мертвого лосося различать социальные ситуация, в которых находятся люди на фотографиях, и обнаружение корреляции между количеством людей, погибших, запутавшись в постельном белье, и доходами горнолыжных организаций.

Возражение:

«В своей статье представители ИППИ РАН критикуют работу профессора Сералини и его соавторов. В двухлетнем исследовании Сералини было такое же количество крыс (по 10 в каждой группе), какое использует компания «Монсанто» (производитель ГМ-сорта кукурузы, которой и кормили крыс) для подтверждения безопасности ГМО в своих 90-дневных исследованиях. При этом «Монсанто» по окончании эксперимента анализирует выборку 10 из 20 животных общей группы, объясняя это необходимостью избежать погрешности. Возникают резонные вопросы: «Монсанто» выбирает для оценки наиболее здоровых животных или вполне сознательно ограничивает длительность проведения исследований, дабы не выносить на всеобщее обозрение негативные результаты?»

Ответ:

Смысл этого фрагмента в приложении к нашей статье нам понять не удалось. Вопросов два. Первый: при чем тут вообще Монсанто? Если, по мнению ОАГБ, Монсанто сделали какое-то исследование неверно, то каким образом это влияет на результаты Сералини и коллег? Мы все помним школьные годы, когда ответ «а почему ему можно?» казался весьма обоснованным. Нам кажется, что Сералили «тоже нельзя» делать неправильно, даже если Монсанто так делало (уж если мы вообще это обсуждаем, оторвавшись от проблем, описанных в статье).

Что касается работы Сералини, то проблема там не столько в размере выборки, а в том, что в ней не была использована корректная процедура статистического анализа. Если бы Сералини все же провел такой анализ и был интеллектуально честен, то его работа имела бы следующие выводы: «достоверных отличий между крысами, которые ели ГМО и не ели ГМО, обнаружено не было». К слову, у Сералини было замучено 200 животных (у него были ресурсы на проведение исследования с большой выборкой), но, по-видимому, создание дополнительных «множественных сравнений» путем разбиения выборки на множество маленьких групп, способствовало решению каких-то иных задач, нежели научных. Неудивительно, что работу Сералини отозвали из научного журнала.

Второй вопрос: откуда вообще взялись такие данные про Монсанто? Никаких ссылок ОАГБ не приводит. В своей статье мы даем ссылки на работы сотрудников НИИ питания РАМН, которые независимо проанализировали тысячи животных, употреблявших ГМО, а не как у Сералини. Суммарно ученые из НИИ питания РАМН провели больше дюжины исследований и не нашли никаких свидетельств вреда от изучаемых ими ГМО.

Мы бы также подчеркнули, что Монсанто – это не центр вселенной генетической инженерии организмов, что разработкой ГМО и проверкой из безопасности занимается огромное количество государственных научных институтов, в различных странах от Ирана до Великобритании, США и Китая.

Возражение:

«Выводы, сделанные экспертами-математиками на основании критики данных, опубликованных всего в семи научных статьях, отражают мнение лишь самих авторов. В связи с этим возникает вопрос – а по какому признаку выбраны именно эти статьи из многих десятков других работ, сообщающих о негативном влиянии ГМО на здоровье теплокровных?»

Нам была приятна лестная оценка нас как «экспертов-математиков», поэтому по-математически придирчиво хотели бы прокомментировать этот абзац. Во-первых, речь идет о шести, а не семи статьях. Это еще одно указание на то, что «эксперты ОАГБ» не очень внимательно читали нашу работу. Во-вторых, выводы мы делаем исключительно по этим статьям, а не по проблеме в целом. В-третьих, работы отбирались по следующему признаку: работы, опубликованные в рецензируемых научных журналах, в которых показаны нежелательные отличия между ГМО и не ГМО, имеющие отношение к здоровью организмов их употребляющих, получившие широкий общественный резонанс. На самом деле, все это описано в самом начале оригинальной статьи.

Возражение:

«Данная информация не является объективной: опровергнуть или подтвердить выводы тех или иных научных исследований может только повторная постановка экспериментов с соблюдением аналогичных условий, но с увеличением масштабов и интеграцией углублённых методов оценки исследуемых параметров.»

Эта очень важная фраза, смыслом которой, как нам кажется, часто пренебрегают некоторые группы исследователей, и нам приятно, что наша работа затронула настолько глубокие темы методологии науки. Мы еще раз хотели бы подчеркнуть важность сути вышесказанного для науки в целом, особенно в современных условиях, когда развитие техники и технологий требует огромных усилий и финансовых затрат. Именно в этом ключе так важно, чтобы результаты исследований были четкими, подтверждались экспериментами и были проведены на высоком уровне. Именно такие результаты можно подтвердить или опровергнуть в повторных исследованиях. К сожалению, так высоко нельзя отозваться о результатах рассмотренных нами работ.

Ни одна из упомянутых работ не была воспроизведена. Напомним, что первая из работ о «вреде ГМО» появилась еще в 1999 году. Авторы одной из обсуждаемых нами статей в письме отметили, что рассмотренная работа отличается от остальных работ по теме ГМО их коллектива. В остальных работах они не нашли негативных эффектов ГМО, а сами считают ГМО безопасными для употребления в пищу. На всякий случай приведем цитату на оригинальном языке:

(«In fact, we believe that GMO are safe for human beings, and we have published more than 20 papers to prove that GMO are equally safe compared with traditional food based on toxicology experiments»).

Вывод, который можно сделать на основании нашего анализа заключается в том, что рассмотренные работы содержат ошибки статистического анализа и не должны восприниматься как аргументы против ГМО.

Возражение:

«Когда речь идёт об оценке риска токсического действия ГМО на живые организмы, уместна аналогия с медицинской сферой: использование статистических методов с целью игнорирования существенных изменений показателей, обнаруженных при проведении лабораторного исследования, может привести к серьёзным негативным последствиям».

Ответ:

Нет, не уместна. Жалко, что происходит подмена понятий: «существенных изменений показателей» не было показано, так как тому нет доказательств. Является ли изменение каких-либо показателей существенным или нет, как раз и определяется на основании корректно проведенных (со всеми необходимыми поправками) статистических тестов. А не наоборот, как (по-видимому) полагают «эксперты ОАГБ».

Возражение:

«Некорректность использования статистических методов анализа при оценке рисков для здоровья живых организмов подтверждает трагический эпизод, произошедший в январе текущего года во Франции, когда погиб один из 90 добровольцев, испытывавших на себе новый лекарственный препарат. В данном случае учёные не стали дожидаться достижения статистически значимых результатов смертности, и исследование было сразу же прекращено. Следуя же логике авторов статьи про сравнение исследований безопасности ГМО, исследование потенциально опасного препарата нужно было продолжать до того момента, пока не погибнут 10, 20, 30 или более человек для получения статистически значимой выборки.»

Ответ:

Медицинские исследования – вещь весьма самостоятельная, а у новых лекарств всегда есть побочные эффекты и нежелательные последствия. Следуя примеру ОАГБ, мы тоже приведем случайный факт из медицины: химеотерапия ведет к выпадению волос и истощению иммунной системы. Тем не менее, она спасает жизни смертельно больных людей.

Заметим, что в пылу борьбы против ГМО, «эксперты ОАГБ» по-видимому решили и вовсе «отменить» все методы статистического анализа, одного из важнейших инструментов современной науки (в том числе и доказательной медицины). Лишь бы отстоять свою непоколебимую фактами позицию.

Здесь хотелось бы привести цитату из книги Элайзера Юдковского:

«Ложь множится, вот что я имею в виду. Тебе приходится лгать всё больше и больше, лгать о каждом факте, связанном с первой ложью. И если ты продолжишь лгать, продолжишь свои попытки скрыть это, то рано или поздно тебе придётся лгать об основных законах мышления. К примеру, кто-то продаёт тебе некое лекарство альтернативной медицины, которое не работает. И любой двойной слепой эксперимент подтвердит, что лекарство не работает. Тогда тому, кто захочет продолжать защищать ложь, придётся разуверять тебя в правильности экспериментального метода. Например, заявить, что экспериментальный метод годится только для научных лекарств, а не для столь чудесных продуктов альтернативной медицины, как у них. Или что хороший и добродетельный человек должен верить изо всех сил, и неважно, что при этом говорят свидетельства. Или что правды не существует, и нет такой вещи, как объективная реальность. Большинство из таких житейских мудростей не просто ошибочны, они анти-эпистемологичны, они системно ошибочны. На каждое правило рациональности, объясняющее, как найти правду, есть тот, кто хочет, чтобы ты поверил в обратное. Солгав однажды, ты обнаружишь, что правда отныне стала твоим врагом. И многие люди лгут…»

Возражение:

«Единственный способ расставить все точки над «i» в вопросах безопасности ГМО для здоровья живых организмов – это проведение масштабных независимых мультигенерационных и токсикологических исследований. Такие эксперименты не только должны соответствовать самым строгим международным научным стандартам, но и принципам открытости, а также гарантировать отсутствие каких-либо корыстных интересов. Это позволит получить объективные данные о способности ГМО оказывать негативное воздействие на здоровье человека и животных.»

Ответ:

Такие исследования проводились и неоднократно, а точки давно расставлены. В своей работе мы ссылаемся на огромный отчет Еврокомиссии (A decade of EU-funded GMO research), на обзор 1783 исследований ГМО за период с 2003 по 2013 год, опубликованный в том же Critical Reviews Biotechnology, на обзор 12 мультигенеративных исследований употребления ГМО и на работы НИИ питания РАМН, сделанных за государственный счет в Российской Федерации, которых больше дюжины. Снова, «эксперты ОАГБ» проявляют неосведомленность в современном состоянии науки.

Конечно, голосование ученых не является частью научного метода, но мы все-таки приведем любопытный факт: в вопросе безопасности ГМО существует один из самых больших разрывов между мнением обывателей и членов научного сообщества. Так, по данным исследования центра Pew, в безопасности употребления в пищу ГМО уверены 88% ученых из крупнейшей ассоциации ученых AAAS, издающей журнал Science. Среди специалистов в области молекулярной биологии, генетики и генной инженерии цифры были бы еще выше.

Напоследок, мы еще раз подчеркнем, что мы никогда не утверждали, что вывод о безопасности ГМО следует из нашего анализа. Нашей задачей было выяснить, почему несколько работ выбиваются из научного «мейнстрима» своими необычными результатам. Выводы о безопасности ГМО сделаны в вышеупомянутых обзорах задолго до проведения нашего анализа.

Разделение организмов на ГМО и не ГМО вообще имеет мало смысла с точки зрения биологии, но это отдельная тема для разговора, подробно рассмотренная в книге «Сумма биотехнологии».

Сохранено

</>

Ответ на критику критики работ о вреде ГМО

14 января в журнале Critical Reviews Biotechnology вышла наша статья , указывающая на существенные ошибки в статистической обработке результатов в шести наиболее нашумевших публикациях о генетических модифицированных организмах (ГМО). О нашей статье написали многие СМИ, например, Вести ...

Читать полностью

Источник

Оставить комментарий

Популярные посты:

sabinus

Интерфейс и функциональность Swapzone: руководство для пользователей

el_tolstyh

Логистику Россия выигрывает шаг за шагом

tvin270584

Установка и подключение водонагревателя (бойлера) в вашем районе Нижегородской

tsibirinka

маки

ru_auto

FORMULA 1 QATAR AIRWAYS BRITISH GRAND PRIX 2024

alexandr_palkin

Юрий Борисов: Диагноз дряхлеющего «гегемона»: глобальное растяжение сил

pantv

5 июля ● Начало "Курской битвы" и не только...

matsam

Донецк

val000

Очнёшься в когда-то...

• Архив