Эволюция или революция: Как изменилась оценка журналов в Web of Science?

Сегодня для оценки качества публикаций и научных журналов, а также для оценки продуктивности ученых используют различные метрики. В их основе лежит количество цитирований. Действительно, именно цитирования отражают признание работы научным сообществом. Многочисленные ссылки на исследование обычно говорят о его востребованности и важности полученных результатов. Но у подхода есть и свои недостатки. Во-первых, уровень цитирования в математике, искусстве и гуманитарных науках гораздо ниже, чем, например, в медицине и биологии. Поэтому большинство журналов, посвященных искусству, не имеют импакт-фактора. Во-вторых, само по себе количество цитирований не говорит о качестве работ. В-третьих, на обзоры в среднем ссылаются чаще, чем на исследовательские статьи. Наконец, цитируемость статей одного и того же журнала может отличаться год от года. Все это приводит к неадекватной оценке полезности исследований.

Импакт-фактор журнала показывает, сколько раз в среднем цитируется каждая публикация в течение двух последующих лет после выхода. Его расчетом для журналов из Web of Science почти 50 лет занимается компания Clarivate Analytics, а результаты размещаются ежегодно в отчете Journal Citation Reports. Тщательно отобранные и структурированные журналы помогают лучше информировать научное сообщество, позволяя ученым выбирать оптимальные варианты для публикации. Кроме того, показатели журналов и публикаций влияют на финансирование тех или иных работ. Прошлый год показал важность адекватной оценки авторитетности журнала, поэтому в 2021 году появились довольно масштабные нововведения.

Главная новинка — индекс цитируемости журналов (JCI). Величина будет рассчитана для всех журналов в базе и будет использоваться в дополнение к импакт-фактору, а в случае его отсутствия — заменять его. Одно из главных преимуществ новой метрики по сравнению с импакт-фактором — ее нормализованность относительно сферы исследования, а также года и типа публикации. Для расчета индекса используется другая метрика Clarivate — нормализованная средняя цитируемость публикации по предметной области в системе InCites, или CNCI. Этот показатель не зависит от предметной области. По сути, эта величина — простое отношение цитируемости публикации к средней цитируемости всех публикаций того же типа, опубликованных в том же году и в той же предметной области. Для JCI используется общее среднее для всех статей и обзоров, опубликованных в журнале в предыдущие три года. То есть для журнала в 2021 году метрика вычисляется по данным 2020, 2019 и 2018 годов. Полученное число затем сравнивается с ожидаемым уровнем цитирований для данной области. Это позволяет избежать погрешности при сравнении двух сильно отличающихся областей.

Изменение периода, данные о котором используются для расчета, важно не меньше нормализации по областям. Для импакт-фактора используется количество цитирований за один год для статей, которые вышли максимум за два года до этого, а для JCI используют статьи, вышедшие за три года. Кроме того, импакт-фактор учитывает цитирования только за текущий год, а JCI — за любой период времени после публикации до конца текущего года. Это особенно важно для областей науки, где цитируемость не равномерна, и в один год может быть больше, а в другой — меньше. Более долгий период позволяет накопить цитирования, сгладив этот разрыв.

Другое изменение связано с расширением контента. Новое издание Journal Citation Reports содержит информацию о 20 тысячах журналов из 113 стран мира. Это на 70% больше, чем в прошлом году. Были добавлены журналы по искусству и гуманитарным наукам, а также относительно молодые журналы из Emerging Sources Citation Index. Импакт-фактор для них рассчитывать не будут, но они получат новый показатель, JCI. Всего десять журналов были исключены из отчета, что связано с высоким уровнем самоцитирования. Он был обнаружен с помощью обновленной методики поиска. Исключение журнала из отчета не означает исключение его из Web of Science.

«Новая метрика, безусловно, позволит ученым более адекватно оценивать видимость журналов для научного сообщества. Особенно ценно это для тех сфер, где раньше не существовало численного критерия для такой оценки. Какой-то революции в наукометрии не произошло, но все же такие изменения важны. Они открывают новые возможности. Появление в отчете Journal Citation Reports журналов из базы Emerging Source Citation Index (ESCI) — тоже значимое нововведение, в этой базе данных есть около двухсот российских журналов. Система оценки результативности ученых и полезности журналов и публикаций, вообще, достаточно детально разработана. Но необходимость постоянного развития никуда не может исчезнуть. И все же не стоит забывать о том, что ни один численный показатель не может полностью отразить ценность исследования, ученого или журнала. За цифрами всегда стоят сущностные научные вопросы, и они должны оцениваться с привлечением экспертов — ведущих ученых», — прокомментировал нововведения вице-президент РАН Алексей Хохлов.

Третье крупное изменение — это включение почти полумиллиона работ с ранним доступом. Некоторые журналы практикуют такой подход, публикуя статьи до официального выпуска. При этом возникала дилемма: с какой именно даты начинать считать цитирования? С даты официальной публикации или даты открытия раннего доступа? И что делать с уже вышедшими публикациями? Чтобы найти ответы на эти вопросы, Clarivate пришлось смоделировать различные ситуации. Теперь, начиная с 2020 года, подсчет цитирований будет вестись от даты раннего выхода. Для вышедших ранее статей точкой старта останется дата их официальной публикации. Это позволит отследить максимум цитирований, но при этом минимально повлиять на показатели уже опубликованных работ.

Текст: Анжелика Дун