На страже науки: как (не) работает peer review

Двойное слепое рецензирование в научных журналах — барьер против лженауки, подтасовки фактов и невольных ошибок в исследованиях. Таков, во всяком случае, замысел этой практики. Indicator.Ru выяснил, в чем идеалистическое представление о рецензировании расходится с реальностью.

Казус Зака

В конце января в Rejuvenation Research вышла статья московского математика Николая Зака о французской долгожительнице Жанне Кальмэ (в более привычной русской транслитерации — Кальман). Считалось неоспоримым, что она прожила 122 года — дольше, чем какой-либо другой известный науке долгожитель. Николай Зак доказывает, что никакого рекорда не было: настоящая Жанна скончалась еще в 1934 году, а следующие 63 года под ее именем жила ее дочь Ивонн. Причиной подмены, как считают сторонники этой гипотезы, был угрожавший семье Кальмэ разорительный налог на наследство настоящей Жанны.

Само по себе подозрение в «подмене» Жанны Кальмэ не ново, но лишь в прошлом году с подачи геронтолога Валерия Новоселова Зак взялся за расследование. Впервые он представил аргументы в пользу своей позиции в ноябре 2018 года на заседании секции геронтологии Московского общества испытателей природы. Вскоре Зак опубликовал препринт с изложением своей гипотезы (на момент публикации этой статьи документ просмотрен почти 60 тысяч раз). Появились первые интервью Зака и Новоселова в российских СМИ, а в декабре случился настоящий медийный взрыв: Юрий Дейгин — предприниматель, биохакер и вице-президент Фонда поддержки научных исследований «Наука за продление жизни» — рассказал о гипотезе Зака и о собственных выводах в англоязычной публикации на блог-платформе Medium. О сомнениях в рекорде Кальмэ начали писать крупные зарубежные медиа.

Пару месяцев позицию Зака, Новоселова и примкнувшего к ним Дейгина (который в некоторых публикациях фигурировал как единственный автор гипотезы о подмене) регулярно называли конспирологической и недостойной серьезного отношения. Рекорд Жанны Кальмэ подтверждался документально и давно стал частью науки о старении, его учитывали в сотнях научных исследований, статей и книг. А выкладки Зака и Новоселова оставались препринтами: добросовестность их аргументов не была подтверждена независимым рецензированием.

И вот такое подтверждение появилось: работа была опубликована в рецензируемом издании Rejuvenation Research. Гипотеза о подмене мадам Кальмэ официально вошла в науку. Но у экспертов появились новые сомнения: теперь многие считают, что в академический журнал работа Зака пробилась только благодаря поддержке главного редактора издания, скандально известного британского геронтолога Обри ди Грея. Как сообщил в онлайн-журнале «Демоскоп» младший научный сотрудник института социальной политики НИУ ВШЭ демограф Илья Кашницкий, эксперты подозревают ди Грея в намеренном подборе лояльных рецензентов. Кашницкий рассказал Indicator.Ru, что о начале внутреннего расследования в журнале он узнал от известного демографа Джима Вопеля, одного из ученых-валидаторов рекорда Кальмэ.

Нужно заметить, что сомнения в честности рецензирования еще не означают необоснованности самой работы Зака. По мнению Ильи Кашницкого, пусть некоторые аргументы в пользу гипотезы о подмене и выглядят слабыми (например, слишком избирательный математический расчет, в котором оценивалась вероятность появления рекорда именно к 1997 году, и малоубедительный анализ старых фотографий), другие действительно заставляют сомневаться в правдивости истории Жанны Кальмэ. Это нестыковки между документально подтвержденной информацией и поздними интервью Жанны, изменение со временем ее подписи и неправдоподобно небольшое снижение роста с возрастом. По данным паспорта, выданного Жанне в возрасте 56—57 лет, ее рост составлял 152 см. Почти через 60 лет рост 114-летней долгожительницы равнялся 150 см. Но по всем медицинским закономерностям за эти годы она должна была потерять не меньше 10 см. «Это (проверка рекорда Кальмэ — прим. Indicator.Ru) действительно важный вопрос для дальнейшего развития демографии и геронтологии, — заключает Илья Кашницкий. — Мне глубоко неприятно высокомерное нежелание некоторых из экспертов "связываться с этими русскими" и "реагировать на нерецензированный текст". Я рад, что публикация в научном журнале заставит их реагировать, и надеюсь, что дело дойдет до анализа ДНК».

Споры вокруг рекорда Жанны Кальмэ немало говорят не только о достоверности данных в геронтологии, но и об отношении научного сообщества к практике рецензирования. Ее часто воспринимают как один из главных инструментов поддержания научной честности, ведь каждое новое слово, попавшее в научный журнал, должно быть проверено как минимум двумя независимыми рецензентами. Гипотезы вне журналов могут быть теориями заговора или подтасовками, но, если статья прошла рецензирование, — ей выдана гарантия базового уровня адекватности. И все же при желании редактор может влиять на результат рецензирования. Какая тут объективность и научная честность?

Бывает ли слепым double-blind peer review?

Практика двойного слепого рецензирования (double-blind peer review), когда ни автор, ни рецензент не знают о роли друг друга, появилась в науке не так давно. Потребность во внешних рецензентах возникла только в середине ХХ века, до этого редакции журналов справлялись со входящими рукописями сами. Развитие рецензирования стало ответом на запрос о большей объективности в выборе статей, которые будут напечатаны. И двойное слепое рецензирование задумывалось как эталон непредвзятости, когда ничто, кроме содержания и качества работы, не влияет на решение рецензента.

В реальности в науке практически нет областей, где идеалистическое представление об «ослепленном» и объективном рецензенте работало бы, считает научный сотрудник Института востоковедения РАН, социолог Артем Космарский. По сути, «слепым» остается только автор работы: он действительно не знает, кому редактор журнала отправит его рукопись. Редактор же, если ему по каким-то причинам не безразлична присланная работа, может влиять на ее судьбу, выбирая рецензентов по своему усмотрению. Рецензентам, в свою очередь, тоже сложно оставаться «слепыми». Это опытные ученые, которые хорошо знают работающие в их области научные школы, и они без особого труда могут понять, где и кем выполнена та или иная работа. После этого на честность рецензирования влияют уже не столько научные, сколько социальные факторы.

Нетрудно заметить, что в современном виде процесс рецензирования крайне непрозрачен. Редакции не обязаны отчитываться о нем, и получается, что качество работы рецензентов не оценивает никто, кроме редакторов. Если рецензент из года в год нарочно останавливает публикацию всех статей соперничающей школы или не читает по-настоящему ни одной попавшей к нему работы, никто вне редакции журнала даже не узнает об этом. Такая закрытость процесса, по мнению одного из администраторов сообщества «Этика науки», научного редактора издательства ПедиатрЪ Руслана Сайгитова, ведет к постоянным манипуляциям со стороны журналов. Издания пользуются своим высоким «рецензируемым» статусом, при этом редакторы и рецензенты ни перед кем не отвечают за результат своей работы и могут публиковать статьи относительно низкого качества, а публикацию значимых результатов откладывать.

Польза или вред?

Хорошо известная шутка о том, что Эйнштейн никогда бы не опубликовал работу о специальной теории относительности в рецензируемом журнале, отражает мнение, что рецензирование — барьер на пути как откровенно слабых, так и гениальных работ. Не рассуждая о непризнанных гениях, отметим, что рецензирование всегда увеличивает срок публикации. Но причина этого не в злонамеренности рецензентов, а в их занятости. Это часть другой большой проблемы современной системы рецензирования: предполагается, что ученый должен не просто давать абсолютно беспристрастные оценки попавшим к нему рукописям, но и делать это бесплатно в ущерб основной работе. Между тем в 2017 году ежегодную стоимость работы рецензентов по всему миру оценивали в 1,9 млрд евро. Считается, что рецензирование — долг ученого, и потраченный труд вернется к нему, когда другой анонимный исследователь напишет рецензию на его статью.

«На практике оказывается, что основную часть выходящих в разных отраслях научных публикаций рецензирует небольшой процент профильных ученых, — говорит Артем Космарский. – Известны данные по биомедицинским исследованиям, где 20% ученых рецензируют от 69% до 94% статей. Это может показаться несправедливостью только по отношению к тем альтруистам, кто все-таки посвящает свое время рецензированию, но на самом деле в проигравших — все научное сообщество. Большинство ученых не принимают никакого участия в обсуждении новых работ, что плохо сказывается и на их качестве, и на содержании научных дискуссий».

Проблемы сроков рецензирования и ограниченного обсуждения новых работ отчасти снимаются в системе препринтов. В «горячих» областях науки, где идет постоянная гонка за открытиями, уже больше десяти лет принято публиковать свои работы на arXiv.org и похожих ресурсах. Препринт — доказательство выполненной работы для коллег (а сегодня и для грантовых фондов) на то время, пока будущая статья проходит рецензирование и правку по замечаниям рецензентов. Другие ученые могут комментировать препринты, и это немаловажный плюс. Интерес научного сообщества, как показано для наук о жизни на примере bioRxiv, связан с последующей судьбой статьи. Высокоимпактные журналы, подчеркивает Руслан Сайгитов, часто демонстрируют неприятие медийной популярности и отказываются от публикации материалов, уже опубликованных ранее в коммерческих изданиях. Но популярные препринты, которые много скачивают, наоборот, чаще публикуются в журналах с более высоким рейтингом. Кроме того, прием препринтов грантовыми фондами и работодателями чуть ослабляет давление на рецензентов: авторы готовы ждать рецензий и публикаций дольше, сроки не так критичны для них. «При традиционном подходе рецензент находится в цейтноте, торопится дать заключение, что влияет на качество рецензирования», — замечает Артем Космарский.

Однако, как показала и история с Заком, рецензирование тем не менее — необходимая опция для научных работ. Чтобы исследование замечали, оно должно пройти независимую оценку. Но как сделать эту оценку не формальной, а полезной для науки? Эксперты считают, что вместо необъективного и не всегда качественно работающего фильтра оно должно стать формой диалога. «Нужно открывать участников рецензирования и его результаты и дать научному сообществу возможность участвовать как в рецензировании, так и в обсуждении его выводов», – отмечает Руслан Сайгитов. Все новые варианты peer review ставят во главу угла открытость информации.

Зачем знать имена рецензентов?

«Открытое рецензирование — это не однородная система, а скорее набор принципов, в рамках которых peer review возможно перестроить в духе “открытой науки”, — говорит Артем Космарский. — С учетом этих принципов процедура станет более прозрачной, что откроет путь к совершенствованию системы рецензирования. Пока рецензии, по сути, скрыты от научного сообщества».

Что препятствует переходу на открытое рецензирование (open peer review)? Главное препятствие, пожалуй, это позиция журналов. Открытость подразумевает гораздо больше ответственности за качество процесса: все рецензии должны публиковаться вместе со статьями, в идеале с именами всех рецензентов и ответственных за публикацию редакторов. Очевидно, не все к этому готовы. Среди крупных журналов, практикующих открытое рецензирование, — BMJ, EMBO Journal, PeerJ, eLife, Biology Direct. По модели открытого постпубликационного рецензирования работает издательская платформа F1000Research.

Уже первый год работы F1000Research показал, что отказ от анонимности рецензентов не побуждает их писать хвалебные рецензии на статьи своих друзей или влиятельных ученых. Более того, когда рецензенты знают, что рецензии будут опубликованы, качество их работы растет — они более ответственно относятся к своим аргументам. Опросы показывают, что научное сообщество в целом положительно относится к открытому рецензированию, по крайней мере, к открытой публикации текстов рецензий (относительно раскрытия личностей рецензентов мнения разнятся). Новый механизм рецензирования, считают эксперты, будет особенно полезен для России. «Открытое рецензирование сделает возможными открытую научную дискуссию о публикациях и более быструю и эффективную обратную связь для молодых ученых, поможет "очищению" российской науки от недобросовестных авторов», — комментирует Артем Космарский.

Открытость результатов рецензирования выглядит и первым шагом к настоящему признанию заслуг рецензентов. Сегодня уже существуют проекты, где рецензенты могут получить некие внутренние баллы (и в перспективе полезное дополнение к CV) за свою работу. Но такие проекты — например, самый популярный среди них Publons — никак не решают проблему анонимности и не позволяют сообществу по-настоящему оценить, какие рецензии пишет ученый. Рецензирование – такая же часть научного труда, как работа над собственными статьями, и должна признаваться так же широко. По крайней мере, это отвечает этическим принципам современной науки.

Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще.

Подписывайтесь на Indicator.Ru в соцсетях: Facebook, ВКонтакте, Twitter, Telegram, Одноклассники.