«Каждая метрика в отдельности создает возможности для манипуляций»

— Судя по последним опубликованным данным, в базе Scopus индексируются почти 600 российских научных журналов, но только девять из них входят в первые квартили по показателям цитирования в своих дисциплинах. Это типичная ситуация для стран, где большинство научных работ выходят не на английском языке? Какие основные причины сравнительно невысокой цитируемости российских журналов вы видите?

— Одну вы уже назвали — это язык. Но есть и вторая — это предмет, темы журнала, давайте начнем с нее. Журналы с разными темами привлекают разную аудиторию, и издания, связанные с определенной страной или регионом, нацелены, как правило, на аудиторию из этого места. Предлагаемые темы выпусков будут привлекать авторов из этого региона, и опубликованные статьи будут заметнее для местного научного сообщества. Но всего в Scopus включено 25 тысяч журналов со всего мира. И чем заметнее и доступнее журналы, тем больше людей в мире узнают о них и в итоге процитируют статьи в них. Сейчас журналы из России часто ориентированы на темы, важные для российского научного сообщества, но не такие значимые за пределами страны. А те девять журналов, что вошли в первый квартиль, посвящены как раз интересным во всем мире темам, например физике, горному делу, и поэтому привлекают цитирования и из-за пределов России. А чтобы конкурировать на международном уровне, вы неизбежно должны получать цитирования не только из остальных 600 российских журналов.

Язык публикаций часто связан с темой — журналы с региональной аудиторией и темами могут не использовать английский язык. Значит, меньше читателей в мире познакомятся с этим контентом и процитируют его. Так что да, язык публикаций влияет на цитируемость. И я не думаю, что это проблема, актуальная только для России. В Китае, например, большое количество научных результатов публикуются только на китайском языке. Видимость и доступность этих публикаций тоже смещены внутрь страны.

— Давайте обсудим, как журналы попадают в Scopus. Подача заявки — достаточно прозрачный процесс, и хорошо известны базовые критерии, которым нужно соответствовать: рецензирование статей, регулярные выпуски, редакционная политика, опубликованная на достаточно качественном сайте, и так далее. А что происходит дальше, кто и как проводит содержательную научную оценку статей, опубликованных в журнале?

— Да, все журналы должны соответствовать определенным техническим критериям, прежде чем их рассмотрят на включение в Scopus. Далее у нас есть набор из 14 критериев и независимый экспертный совет по отбору контента. Ни Scopus, ни Elsevier не отбирают журналы — этим занимаются независимые эксперты. Сейчас это 17 человек, они представляют разные страны мира и разные области знаний. Для каждой широкой области знаний, которую охватывает база Scopus, в совете есть эксперт — по медицине, физике, химии и так далее. Они проводят оценку по тем полным текстам статей, которые журналы присылают вместе с заявкой на включение. Эксперты определяют научный вклад этих публикаций и то, насколько качественно они написаны, соответствуют ли стандартам этой области.

В некоторых странах, в том числе и в России, у нас есть региональные экспертные советы, которые глубже погружены в контекст вокруг местных журналов. По составу российский совет практически отражает совет по отбору контента — в него входят около 20 экспертов в различных областях знаний. Перед тем как главный экспертный совет принимает решение включить или не включить в Scopus российский журнал, информация о нем отправляется в российский совет, который дает свое заключение.

— Это тщательный многоэтапный подход, тем не менее все базы научных статей сталкиваются с проблемами нарушений публикационной этики. И во всем мире часто «сторожевыми псами» в публикационном процессе выступают научные сообщества. Например, в этом году в России Комиссия РАН по противодействию фальсификации научных исследований сообщила о тысячах статей, опубликованных российскими авторами в «хищнических» журналах. Как вы оцениваете роль таких ассоциаций и сообществ в выявлении нарушений научной этики? Scopus как-нибудь взаимодействует с такими организациями?

— Мы знаем об этом докладе и поддерживаем контакт с комиссией. Взаимодействие с такими организациями очень важно для Scopus, чтобы получать обратную связь от сообщества о журналах, которые мы включили в базу, особенно о проблемах публикационной этики. Когда мы получаем подобные сигналы, мы расследуем их, рассматриваем эти журналы сами и, если действительно видим какие-то свидетельства нарушений, направляем их на повторную оценку Экспертному совету по отбору контента. И совет решает, должны ли эти журналы оставаться в Scopus. Эта обратная связь очень важна: да, мы можем автоматизировать процессы, использовать алгоритмы, но человеческий взгляд тоже необходим. Мы работаем над этим совместно со многими организациями по всему миру, чтобы идентифицировать подобные журналы в базе и прекратить их индексацию. В России мы сотрудничаем также с Ассоциацией научных редакторов и издателей (АНРИ) и с Российской академией наук. По новому соглашению РАН и Elsevier мы будем взаимодействовать по вопросам оперативного выявления и реагирования на факты нарушения этики научных публикаций, а также вопросам отбора и индексации новых российских журналов в Scopus.

— Какие механизмы использует сам Scopus для выявления нарушений в журналах?

— Как я упоминал, сейчас в базе около 25 тысяч журналов. И на большинство из них включение в Scopus повлияло положительно: они получили больше видимости, стали доступнее, их начали чаще цитировать, показатели в целом возросли. Иногда это не происходит. Может быть, сменился издатель, может быть, темы публикаций; может быть, издатель просто пытался получить выгоду от включения в Scopus. И такие журналы мы пытаемся выявить с помощью четырех механизмов. Первый из них я уже описывал, это как раз сигналы со стороны пользователей о неэтичных публикационных практиках. Второй — неудовлетворительные показатели, их мы измеряем уже в самой базе. У нас есть стандарты для журналов в разных областях, и, если издание, например, имеет низкий уровень цитирований, выпускает мало статей или пользователи реже обращаются к ним, чем в среднем по области, это оценивается как неудовлетворительные показатели. Третий механизм — поиск нетипичного поведения, выбросов в продуктивности. Для этого мы используем инструмент машинного обучения, так называемый Radar. Он может выявить неожиданный экспоненциальный рост числа статей в журнале — допустим, их было 100 в год, а теперь публикуется по тысяче. Или журнал нацелен на сообщество в определенной стране, традиционно большинство авторов в нем были оттуда, но внезапно ситуация меняется. Применяя все эти три механизма, мы можем отметить журналы для повторной оценки экспертным советом. Четвертый механизм — непрерывное курирование. Это происходит, когда экспертный совет по отбору контента принимает новый журнал в Scopus, но не уверен, как он будет развиваться в будущем. В этом случае мы сразу помечаем журнал для переоценки через несколько лет.

В результате переоценки индексация журнала может быть прекращена, и тогда никакой новый контент из него не будет индексироваться в Scopus. Но статьи, уже опубликованные на момент решения, мы сохраняем. Причина в том, что нам важно поддерживать стабильность базы. Многие метрики уже были рассчитаны с учетом этих статей, возможно, в авторских профилях используется этот контент. И если мы удалим из базы все статьи, мы повлияем на все эти показатели. Кроме того, когда-то этот журнал был включен в Scopus, значит, на тот момент он соответствовал критериям отбора. Мы не хотим наказывать весь журнал, удаляя его опубликованные статьи из базы.

— Вы упомянули метрики на базе Scopus, и еще одна тема, которую хотелось бы обсудить, — наукометрия в целом. Ученые часто говорят о негативных последствиях применения наукометрических оценок к управлению наукой, например когда ради большего числа статей один научный результат «нарезается» в серию «салями». Что, на ваш взгляд, можно противопоставить подобным явлениям как положительное последствие разумного применения публикационных метрик?

— Я думаю, что наукометрия играет большую и важную роль в оценке исследований. Конечно, со счетов нельзя сбрасывать и некоторые негативные эффекты. Но, думаю, польза их перевешивает. Я считаю, каждый раз, когда мы применяем наукометрию к оценке исследований, следует опираться на два «золотые правила», как мы их называем. Первое — количественные и качественные показатели должны использоваться совместно. Да, метрики важны и могут стать почвой для очень глубоких оценок, но количественные показатели должны обязательно использоваться вместе с качественными. Например, метрики по цитированиям говорят нам, что только девять российских журналов входят в первый квартиль по CiteScore. Но чтобы понять причины высоких или низких показателей цитирования, нам нужно знать контекст. Интерпретацию такой информации должны выполнять эксперты. Вот почему в национальных системах оценки науки часто можно увидеть, что учитываются не только количественные показатели, но также обычно действует экспертный комитет, который принимает решение на основе этих метрик.

Второе «золотое правило» — применяя количественные показатели, используйте больше одного показателя. Каждая метрика в отдельности создает возможности для манипуляций. Например, как возникает проблема «нарезки салями» (Salami slicing — Indicator.Ru)? Если у вас есть показатель, который оценивает только число статей, то, чем больше работ вы опубликуете, тем лучше. От вас требуется большое число статей, и это стимулирует к определенному поведению, например к разделению одной статьи на несколько. А это определенно неправильно. Но если наряду с показателем по числу статей используется, к примеру, показатель по числу цитирований, это снизит вероятность такого нежелательного поведения. Ведь по числу цитирований мы оцениваем эффект статьи, а он будет выше, если научное значение статьи выше. Разделение одной хорошей статьи на несколько неинтересных уже не будет так полезно для автора.

Еще один положительный эффект наукометрии — возможности ее использования в исследованиях. Например, недавняя основанная на данных Scopus работа (она еще не опубликована, но вышла в виде препринта) об иммиграции и эмиграции российских ученых. Она рассматривает, какой эффект на развитие научных областей имела исследовательская мобильность. Scopus позволяет изучать это, так как мы знаем, какое влияние имели опубликованные статьи, знаем, в каких странах и кем проводились исследования. Такие работы, на мой взгляд, очень полезны, в том числе для формирования научной политики.

— Существующие метрики основаны на показателях для научных журналов, но публикационный процесс сейчас сильно меняется. Растут роль препринтов и интерес к открытому доступу, появляются платформы с пост-публикационным рецензированием. Как Scopus учитывает эти тренды в базе?

— Действительно, в научном сообществе происходит много изменений, всем нам важно их учитывать в своих системах, и Scopus пытается это делать. Например, в случае с препринтами. Это относительно новое явление, хотя некоторые агрегаторы существуют уже давно, но в последние три года мы действительно видим, что больше исследователей используют препринты. А в связи с пандемией COVID-19, когда важность скорости публикаций возросла, они начали играть еще более заметную роль. Мы в Scopus воспринимаем препринты как ранний индикатор исследования. Это очень ранняя стадия публикационного процесса, и, поскольку препринты не прошли рецензирование, это другой уровень качества, они не должны рассматриваться так же, как статьи в журналах. Тем не менее ученым важно знать, какие исследования ведутся, кто работает над определенной темой и готовит по ней публикации. Так что мы работаем над тем, чтобы встроить препринты в базу Scopus. Уже в ноябре они будут отображаться в авторских профилях. При этом препринты будут отделены от статей в рецензируемых журналах — очень важно разграничить эти разные типы публикаций с разными стандартами качества.

Говоря о других направлениях, мы активно развиваем также открытый доступ. Сегодня около шести тысяч журналов открытого доступа включены в Scopus, и их число прирастает почти каждый день. В этом году, тоже в ноябре или начале декабря, мы планируем добавить разные индикаторы для статей в зависимости от категории открытого доступа: пользователям Scopus важно понимать, на каких условиях доступны статьи. Мы разделим четыре категории: золотой, гибридный, зеленый и бронзовый открытый доступ. Думаю, к этим четырем категориям в Scopus будут относиться около 15 млн статей из почти 80 млн индексируемых на данный момент в базе.

— Как изменяется наукометрия в связи с этими переменами в публикационном ландшафте? Например, не будут ли в будущем альтметрики более важным инструментом?

— Хотя метрики рассматриваются как определенные стандарты, они тоже развиваются. Сегодня важны одни показатели, через несколько лет другие показатели могут приобрести особую важность. Конечно, мы следим за тем, что происходит в научном сообществе, чтобы метрики Scopus отражали перемены. Например, наша метрика для журналов CiteSсore появилась не так давно, первая версия вышла в 2016 году. Но уже в этом году мы существенно улучшили этот показатель.

Наряду с эволюцией существующих показателей появляются новые, не основанные на цитировании, можно назвать их нетрадиционными. У нас есть инструмент для подсчета таких показателей Plum, уже встроенный в Scopus. Из новых метрик, к которым мы тоже присматриваемся, стоит назвать те, что отражают общественное влияние научных работ. Его можно измерить, например, по тому, как исследования влияют на политику, на принятие решений, цитируются ли они в политических документах, правительственными организациями и так далее. Практическое влияние научных статей можно также оценить по клиническим испытаниям новых лекарств, которые, безусловно, очень важны для общества. Еще одно направление — связь исследований с достижением Целей устойчивого развития ООН. Каждая из них может быть обозначена как тема или кластер тем исследований, и сейчас мы пытаемся сопоставить исследования в базе Scopus с этими целями, чтобы можно было увидеть, какие организации активны в этих вопросах, какие исследователи работают над ними.

Дискуссия о применении наукометрических индикаторов всегда затрагивает и их применение в разных научных областях. И я думаю, что для разных сфер науки метрики могут отличаться. Например, для социальных наук важнее может быть общественное значение исследований или альтметрики. И наряду с этим важна нормализация традиционных показателей. В гуманитарных и социальных науках цитирование всегда ниже, чем в биологии или химии, применять к ним метрики цитирования можно только с отраслевой нормализацией. Некоторые показатели в Scopus, такие как взвешенный по предметной области показатель цитируемости (Field Weighted Citation Impact, FWCI) и SNIP, нормализованный показатель цитируемости журнала, уже учитывают это. Коротко говоря, наукометрия меняется, и это касается не только появления новых показателей, но и развития традиционных.

Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще.

Подписывайтесь на Indicator.Ru в соцсетях: Facebook, ВКонтакте, Twitter, Telegram, Одноклассники.