«Статья может хорошо цитироваться потому, что она ошибочна»

Почему библиометрия — плохой инструмент оценки работы ученого, как нерадивая ассистентка подтолкнула к самоубийству выдающегося биолога, почему статью с будущим нобелевским открытием не взяли в престижный журнал и зачем нобелевский лауреат призывает бойкотировать высокорейтинговые журналы, читайте в колонке доктора химических наук, профессора, академика РАН Евгения Свердлова. Колонка представляет из себя переработанный фрагмент из статьи, которая вскоре выйдет в «Вестнике РАН».

Сегодня оценка ученых все в большей степени определяется уровнем престижности их публикаций. Эта политика пагубна для науки. Любые библиометрические данные, тем более импакт-фактор журналов, в которых ученые публикуются, не могут служить критерием эффективности исследований или ценности публикаций. Невоспроизводимость статей стала обычным явлением. Например, в области онкологии она достигает 75%. Растет количество статей, отзываемых из журналов ввиду допущенных ошибок или фальсификаций. Отзыв статей принял такие масштабы, что разрабатывается база данных Retraction Watch, которая уже содержит 16000 записей об отозванных статьях: более 1000 появилось только в 2017 году и 650 — в 2016 году. Стремление журналов повысить свой импакт-фактор приводит к тому, что статьи оцениваются не по их научному потенциалу и новизне, а по перспективе их цитируемости, в результате чего пионерские статьи зачастую отвергаются.

Я неоднократно публично выступал на эту тему и достаточно хорошо изучил эту проблему. В частности, в 2006 году я опубликовал статью, где высказывал мнение, что любые библиометрические данные, в том числе цитируемость отдельных статей, в качестве независимой меры оценки научной значимости работ ученого не могут служить критерием эффективности исследований или ценности публикаций. Проблема корректного использования этих данных уже длительное время обсуждается во всем мире. Большинство крупных ученых либо выражают обоснованные сомнения в правильности их использования в качестве независимого критерия, либо отвергают вообще. При несомненной ценности библиометрических данных как вспомогательного средства оценки они не могут заменить экспертных заключений, основанных на анализе содержания статьи, ее вклада в развитие конкретной области знания и вклада оцениваемого автора в материал, представленный в публикации.

Один из основателей библиометрии Юджин Гарфилд прочел мою статью, написал мне письмо, выражающее согласие с основными положениями статьи, и поместил ее на своем сайте. Я тогда разослал статью членам отделения биологических наук РАН и получил многочисленные отзывы, в основном поддерживающие ее основные положения.

Сегодня, когда, как никогда раньше, оценка ученых все в большей степени определяется уровнем престижности их публикаций, я считаю необходимым предостеречь: эта политика пагубна для науки. Я попытаюсь (без особой надежды на успех) убедить в этом руководство наукой, начиная с помощников президента по науке, руководителей различных поддерживающих науку фондов, руководство РАН, директоров институтов и самих ученых.

Самурай от науки

С тех пор как я опубликовал вышеупомянутую статью (которая никого не убедила), прошло меньше десяти лет и пришло трагическое событие: Йосики Сасаи покончил с собой. Это произошло 5 августа 2014 года. Вот как об этом рассказывает Дэвид Цираноски в Nature.

В дни, последовавшие за трагической гибелью Йосики Сасаи, ученые, журналисты и блогеры в Японии спекулировали о причинах этого события. 52-летний всемирно известный ученый, работавший со стволовыми клетками в Центре биологии развития (CDB) RIKEN в Кобе, был вовлечен в скандальное исследование. Две статьи по работам, выполненные под его эгидой и вызвавшие широчайший резонанс среди исследователей, занятых в очень модной области стволовых клеток человека и их применений в медицине, были опубликованы в Nature (импакт-фактор выше 40) в январе 2014 года. В них описан способ преобразования зрелых клеток мыши в эмбрионально-подобное (плюрипотентное) состояние под действием различных стрессовых воздействий, например, путем их погружения в кислоту — метод, получивший известность как «получение плюрипотентности, вызванной стимулом» (stimulus-triggered acquisition of pluripotency, STAP). Это чрезвычайно важное открытие как с теоретической, так и медицинской точек зрения, поскольку оно позволяет достаточно просто получать стволовые клетки для трансплантации.

Однако очень скоро появились сообщения о подделках в опубликованных данных, и уже в июле 2014 года статьи были отозваны. Внутренняя комиссия по расследованию RIKEN в апреле обнаружила, что Харуко Обоката, молодая исследовательница, первый автор статей, виновна в фальсификации (этому посвящен специальный выпуск Nature «Рост и падение STAP» (The rise and fall of STAP). Внутреннее расследование также пришло к выводу, что Сасаи несет «серьезную ответственность» за невнимательное курирование работы, но невиновен в отношении любого прямого участия в получении подложных данных. Последовала целая серия отставок и широкое обсуждение причин случившегося. Сасаи не выдержал позора.

И это не единичный пример. Невоспроизводимость статей стала довольно обычным явлением, и в 2015 году Nature опубликовал специальный выпуск, посвященный этой проблеме. Вот что говорится во введении к выпуску: «Наука развивается быстрее, когда люди тратят меньше времени на то, чтобы стремиться к ложным целям. Ни одна исследовательская статья никогда не может считаться последним словом, но появляется слишком много таких, которые не заслуживают дальнейшего изучения. Объяснения включают повышенный уровень внимания, сложность экспериментов и статистики и давление на исследователей. Журналы, ученые, учреждения и финансирующие организации участвуют в решении проблемы воспроизводимости. Nature предпринял существенные шаги для повышения прозрачности и надежности того, что мы публикуем, и для повышения информированности в научном сообществе. Мы надеемся, что статьи, содержащиеся в этом выпуске, помогут в этом».

Вынуждающее публиковаться давление понижает качество работы

Так названо эссе в Nature. Так написано, что если больше — это хорошо, то тенденции в науке благоприятны. Число публикаций продолжает расти экспоненциально; оно уже к 2012 году приближалось к двум миллионам. «Что более важно и вопреки общей мифологии, большинство статей цитируются. …Одна из вероятных причин роста ссылок — невероятные возможности поиска, которые теперь предоставляет Интернет. Казалось бы, это хорошая новость. Но что если больше — это плохо?» В 1963 году физик и историк науки Дерек де Солла Прайс посмотрел на тенденции роста в исследовательской деятельности и сделал вывод, что научные достижения обеспечиваются очень небольшим процентом исследователей, и поэтому число ведущих ученых будет расти гораздо медленнее, чем количество просто хороших, и это даст «еще большее преобладание исследователей, способных писать просто научные статьи, но не умеющих писать статьи выдающиеся».

Невоспроизводимость в исследованиях рака

В последние десять лет, прежде чем выбрать направление исследований, ученые в отделении гематологической онкологии биотехнологической фирмы Amgen в Калифорнии пытались подтвердить опубликованные результаты, связанные с этой работой. Пятьдесят три статьи, отобранных для анализа, были признаны «знаковыми» исследованиями. С самого начала ожидалось, что некоторые из данных могут не воспроизвестись, потому что были умышленно выбраны статьи, описывающие что-то совершенно новое: новые подходы в таргетной терапии рака или альтернативные клинические применения существующих терапевтических агентов. Тем не менее научные данные были подтверждены только в 6 случаях (11%). Даже принимая во внимание особенности доклинических исследований, это было шокирующим результатом.

В недавнем аналитическом обзоре Бегли и Иоаннидиса относительно ситуации с воспроизводимостью биомедицинских данных, авторы, известные специалисты в области статистической обработки результатов экспериментов, пишут: «Оценки частоты невоспроизводимости варьируют от 75% до 90%. … Присущая биологическим системам изменчивость означает, что не следует ожидать, что результаты будут обязательно точно воспроизведены в мельчайших подробностях. Тем не менее кажется логичным, что один или два основных вывода, которые возникают из научной работы, должны выдерживать проверку. Кроме того, эмпирические оценки доклинических исследований показали массу других проблем, в том числе то, что эксперименты не повторялись, что использовались некорректные методы контроля, что качество реагентов не тестировалось и что использовались неправильные статистические тесты. Кроме того, исследователи для публикации часто выбирают наилучший эксперимент, а не суммируют полный набор данных».

В 2016 году Nature провел опрос более 1500 ученых относительно невоспроизводимости результатов. Указывается причина опроса: более чем 70% исследователей пытались и не смогли воспроизвести эксперименты, опубликованные другими исследователями. В связи с этим было задано несколько вопросов. Среди них: существует ли кризис воспроизводимости (52% ответили «да, сильный»; 38% — «да, незначительный») и какие факторы играют роль в невоспроизводимости (публикация выборочных данных >60%; вынужденность публикации >60%; низкая статистическая сила или плохой статистический анализ >55%).

Среди многих причин невоспроизводимости последнее время все большее место, особенно в высокорейтинговых журналах, занимают фальсификации, которые, при их обнаружении, приводят к отзыву статей. Боюсь, что многие подложные результаты остаются необнаруженными ввиду сложности и дороговизны проверок.

Средства огромные, качество данных вызывает сомнения

В Nature в 2012 году выразили, возможно в первый раз на форуме самого престижного научного журнала, тревогу не относительно того, что крупные проекты дают мало информации, поглощая огромные средства, а относительно получаемых при этом данных, качество которых вызывает много сомнений. «В действительности никогда не было так легко получать высокоимпактные ложнопозитивные результаты, как в геномную эру, когда массивные сложные биологические данные дешевы и доступны. Для ясности: большинство экспериментов в масштабах полного генома дает реальные результаты, которые было бы невозможно выявить путем исследований, направляемых гипотезой. Тем не менее охота за биологическими сюрпризами без должных мер предосторожности может легко давать богатый урожай артефактов и приводить к высокоимпактным статьям, основанным не более чем на систематическом экспериментальном шуме».

Далее авторы рассуждают, почему возникают ошибки. По их мнению, существует два источника. Во-первых, исключительно большой размер генома означает, что очень необычный результат может появляться случайно чаще, чем можно интуитивно ожидать. Здесь может помочь статистика. Во-вторых, все высокопроизводительные геномные технологии дают ошибки, некоторые из которых могут быть систематическими, и на неопытный взгляд могут показаться интересным биологическим явлением. В результате исследователи могут прийти к ложным заключениям.

Многие области наук о жизни в настоящее время имеют дело с массивными объемами данных, так что связанные с технологиями производства больших массивов данных артефакты не ограничиваются геномикой. В результате снова и снова биологи не планируют эксперименты правильно и подают в печать недоработанные материалы, например, полученные с недостаточным для статистического анализа количеством образцов, а затем возвещают о случайных результатах, как о биологических эффектах…

Бойкот высокорейтинговых журналов

Рэнди Шекман, бывший главный редактор Proceedings of the National Academy of Sciences, лауреат Нобелевской премии 2013 года по физиологии и медицине, объявил, что он больше не будет отправлять статьи в «роскошные» научные журналы, потому что они корродируют процесс публикации: «Эти журналы агрессивно курируют свои бренды, более способствуя продажам подписок, чем стимуляции наиболее важных исследований».

При этом высокая цитируемость конкретной статьи никак не связана со средней высокой цитируемостью всех статей, опубликованных в данном журнале. Если она есть, то это никак не связано с качеством статьи. Шекман пишет: «Статья может хорошо цитироваться потому, что она сообщает важный научный результат, или потому, что она привлекает глаз провокационным заголовком, или, наконец, потому, что она ошибочна. Редакторы журнала Luxury знают об этом, поэтому они принимают статьи, которые будут цитироваться, потому что они исследуют модные темы или содержат бросающиеся в глаза заявления».

В свое время Александр Гумбольдт сформулировал знаменитую триаду: «Всякая истина проходит в человеческом уме три стадии: сначала — какая чушь!; затем — в этом что-то есть; наконец — кто же этого не знает!».

Публикации и гранты, хотя и с трудом, всегда были возможны на стадии «в этом что-то есть». И, скорее всего, даже на этой стадии сегодня престижные журналы не рискнут публиковать такие статьи. А ведь великие открытия начинались со стадии «какая чушь». Этому есть много примеров.

Многие статьи с важными открытиями отвергали даже известные журналы

Как это бывает, показывает замечательный пример Марио Капеччи, лауреата Нобелевской премии 2007 года по физиологии и медицине. У него была идея, как осуществлять так называемый нокаут генов, то есть направленно разрушать заданные гены в геноме. Он подал заявку на получение гранта от Национального института здоровья (NIH), главного агентства исследований в области здравоохранения США, и получил ответ, что его амбиции не стоят того, чтобы над ними работать. Это было в 1980 году.

Четыре года спустя Капеччи, который изыскал способы, чтобы все-таки работать над «нестоящим» проектом, продемонстрировал, что технология нокаута, которую он разработал, была явно успешной. Он подал заявку на грант NIH во второй раз, и на этот раз его заявление приветствовали с энтузиазмом. «Мы рады, что вы не последовали нашим советам», — говорилось в письме. Работа перешла из стадии «какая чушь» в стадию «в этом что-то есть». Теперь ею широко пользуются. Она в стадии «кто же этого не знает», и статьи с ее использованием охотно публикуют.

Мы видим в России, как создается то, что Шекман назвал пузырями. Одни и те же исследователи, которые нашли способы опубликовать свои статьи в престижных журналах, у нас получают гранты, что способствует новым публикациям и, следовательно, новым грантам и т. д. Создается «пузырь», который часто не зависит от реальной значимости проблемы и который, возможно, отвлекает деньги от пионерских исследований, не набравших еще большой публикационной силы, то есть не вошедших в Гумбольдтовскую стадию «в этом что-то есть».

Шекман далеко не единственный, кто обращает внимание на проблему конфронтации между наукой и престижностью публикации. Но соблазн публикации слишком велик.

«Публикация в престижном журнале может принести хорошую должность, приглашения на конференции, гранты и денежные вознаграждения»

Так говорится в статье в журнале Nature от 16 октября 2013 года. Я остановлюсь на этой статье более подробно. На мой взгляд, она несет информацию, над которой имеет смысл задуматься нашим администраторам разных уровней, да и для ученых она не безынтересна.

Исследователи говорят, что публикация в престижных журналах может помочь сделать карьеру. И в течение многих десятилетий наиболее популярными из этих журналов были Nature и Science — широко читаемые журналы, которые отвергают более 90% рукописей, которые они получают. Однако издательский мир быстро меняется, и ведущие издания сталкиваются с растущей конкуренцией. Движение за публикации с открытым доступом набирает скорость. С 2010 года появилось более 5000 (!) журналов с открытым доступом. Эти журналы привлекают все большую долю представлений, угрожая популярности ведущих журналов.

Заключение

Я уверен, что большинство ученых все это понимает, и, более того, думаю, что и многие руководители науки тоже. Однако проще двигаться по пути формальных оценок, чем найти способы выработки объективных критериев оценки качества работ. В результате импакт-фактор стал единственным или основным критерием оценки. Хотя, если говорить об использовании библиометрических показателей, более корректным является использование индекса цитирования, при этом он тоже имеет свои недостатки. В результате люди, которые занимаются очень важными, но по тем или иным причинам непубликуемыми на данном этапе работами, оказываются обойденными.

Мне приходилось выполнять работы, в частности, по созданию первого отечественного рекомбинантного интерферона, которые очень мало публиковались, но сыграли существенную роль в отечественной медицине и, что немаловажно, помогая руководству Академии, в частности вице-президенту Юрию Овчинникову и академику-секретарю Александру Баеву, убедить руководство страны в том, что развитие биотехнологии и физико-химической биологии — это важно и что на эти направления следует выделить достойные деньги. Эта работа практически не цитируется, но я считаю ее одной из самых важных своих работ.

В моей лаборатории сейчас работает группа талантливых молодых людей, которые создали генно-терапевтический противоопухолевый препарат и сейчас пробивают лбом стену, проводя его доклинические испытания. Это требует гигантских усилий, поскольку в мировой практике только один препарат такого рода получил разрешение на использование, и у разрешительных инстанций нет соответствующего опыта и выработанных критериев оценки. Конечно, такая работа не может иметь многих публикаций, как в свое время и работа по интерферону. Я думаю, что в стране есть и будут впредь многие другие подобные примеры. Поэтому критерии значимости работы должны учитывать многие факторы, которые разумной экспертной оценкой несомненно могут быть учтены. Это поможет правильному, а не пузыреподобному развитию нашей науки.

Автор — Евгений Свердлов

Мнение редакции может не совпадать с мнением автора

Подписывайтесь на Indicator.Ru в соцсетях: Facebook, ВКонтакте, Twitter, Telegram, Одноклассники.