База колебаний: как российские журналы попадали в базу данных RSCI

Как отличить «хороший» журнал от «плохого» и что лучше — цитируемость или экспертная оценка, специально для Indicator.Ru рассказывают члены рабочей группы по составлению рейтинга RSCI (Russian Science Citation Index) Геннадий Еременко и Андрей Назаренко.

Количество научных журналов, издаваемых в мире, непрерывно растет. Россия в этом плане тоже не является исключением. На рисунке 1 приведен график изменения количества издаваемых в России научных журналов. Рост количества журналов ускорился в 90-е годы прошлого столетия и сейчас составляет около 300 новых журналов ежегодно. То есть фактически в России в среднем каждый день появляется новое научное периодическое издание.

Этот рост объясняется в том числе и объективными причинами, характерными для развития мировой науки: появлением новых направлений исследований, дроблением направлений с выделением более специализированных журналов, формированием новых научных школ, ростом количества ученых и т.д. Есть, однако, и косвенные причины, провоцирующие рост количества научных журналов и количества научных публикаций в мире. Это повсеместное использование библиометрических показателей для оценки научной деятельности, стимулирующее ученых чаще публиковаться, причем иногда, к сожалению, в ущерб качеству самих работ.

В настоящее время в России всего издается более 6000 журналов, которые условно можно отнести к категории научных. Условно, поскольку сюда включены не только чисто научные издания, но и научно-практические, научно-производственные, научно-образовательные, общественно-политические, научно-популярные издания. Одна из основных отличительных черт научного журнала —рецензирование поступающих рукописей. Большинство журналов, индексируемых в РИНЦ, заявляют о наличии такого рецензирования. Однако проверить это весьма непросто. Кроме того, рецензирование тоже бывает разное. Часто полноценное рецензирование с привлечением нескольких внешних экспертов подменяется внутренним рецензированием, когда статьи для публикации отбирает редакционная коллегия или только главный редактор. Существуют также журналы, которые, декларируя наличие рецензирования, на самом деле его вообще не осуществляют.

Необходимо отметить, что РИНЦ не проводит какого-либо входного отбора научных журналов по их качеству. Задача РИНЦ — максимально полный охват всего публикационного потока российских ученых, чем национальный индекс принципиально отличается от международных баз данных Web of Science и Scopus, куда отбираются только лучшие журналы. Это необходимо учитывать и при выборе наукометрических показателей, рассчитываемых в РИНЦ, для оценки научной деятельности. Так, например, количество публикаций ученого в РИНЦ говорит лишь о его публикационной активности, но ничего не говорит о качестве этих работ. В то же время вполне возможно выделить в РИНЦ ядро лучших журналов, качество которых не вызывает сомнений, и рассчитывать для них свои показатели. Такой проект по оценке научного уровня журналов и формированию их высокорейтингового сегмента был реализован в 2015 году и завершился созданием пула изданий, вошедших в базу данных Web of Science.

Инициаторами проекта по размещению лучших российских журналов на этой платформе стали компании Thomson Reuters и Научная электронная библиотека eLIBRARY.RU. Первая является правообладателем самой авторитетной международной базы данных научного цитирования Web of Science, вторая — разработчиком и оператором Российского индекса научного цитирования (РИНЦ). Компании совместно выступили с идеей создания новой базы данных Russian Science Citation Index (RSCI), включающей 1000 лучших российских научных журналов.

Для Thomson Reuters этот проект интересен в контексте дальнейшего развития линейки региональных индексов научного цитирования, размещенных на платформе Web of Science. RSCI стала четвертой региональной базой данных на этой платформе после китайской (Chinese Science Citation Database), латиноамериканской (SciELO Citation Index) и корейской (KCI Korean Journal Database).

Для Научной электронной библиотеки этот проект важен, поскольку позволяет выделить в РИНЦ ядро лучших российских журналов и усовершенствовать методику расчета библиометрических показателей, используемых для оценки ученых и научных организаций.

Успешная реализация проекта является также важным шагом на пути решения в перспективе целого ряда задач, таких как, например, повышение качества российских научных журналов за счет приведения их к международным стандартам, рост библиометрических показателей российских журналов в Web of Science и интегральных показателей России в целом, интеграция российских научных журналов в мировое информационное пространство, продвижение результатов отечественных научных исследований на международном уровне.

Как объективно оценить качество научных журналов

Основной вопрос, который возник на стадии запуска проекта, — каким образом отобрать лучшие журналы для включения в RSCI. Вариант использования широко применяемого в мире способа оценки журналов только по их импакт-фактору отпал сразу. Во-первых, этот показатель сильно зависит от научного направления. Во-вторых, этот показатель легко поддается искусственной «накрутке» за счет повышения самоцитирования в журнале или взаимного цитирования из «дружественных» журналов.

Вариант использования в качестве основы для формирования RSCI перечня ВАК также не рассматривался: в этот список журналы включаются на основе чисто формальных критериев, в результате чего туда попадают даже журналы, относящиеся к категории «мусорных» (т.е. журналы, быстро публикующие за деньги все поступающие статьи без какой-либо их экспертной оценки).

Проекты, в рамках которых проводились глобальная оценка качества национальных журналов и разделение их на категории в соответствии с их научным уровнем, известны в мировой практике. Однако в России систематической экспертной оценки всего корпуса издаваемых научных журналов никогда не проводилось, известны только работы по оценке журналов в рамках отдельных научных направлений. В этом смысле проект по формированию RSCI оказался уникальным не только тем, что стал первым в своем роде, но и многообразием методов, которые использовались для достижения максимально объективной оценки качества изданий.

Существует два основных подхода к оценке результатов научной деятельности — использование библиометрических показателей и экспертиза. Эти же подходы используются и при оценке научных журналов. Каждый из этих подходов имеет свои плюсы и минусы, поэтому в идеальном случае желательно сочетать оба подхода.

Использование библиометрических показателей привлекательно, потому что позволяет быстро провести оценивание или ранжирование большого количества объектов: публикаций, ученых, организаций, журналов и т.д. К достоинствам этого подхода также обычно относят его объективность. В то же время этот подход часто оказывается слишком упрощенным для оценки такого сложного направления человеческой деятельности как научное исследование.

Экспертная оценка позволяет провести при необходимости всесторонний анализ и оценку научного исследования, но при этом занимает много времени. Основным недостатком этого подхода считается субъективность, которая может оказывать серьезное влияние на результаты оценки. Субъективность подхода может проявляться на разных стадиях процесса оценивания — начиная с выбора соответствующих экспертов и заканчивая интерпретацией результатов экспертизы.

Несмотря на принципиально разные способы оценки, между экспертизой и библиометрией много общего. По своей сути, оценка с помощью библиометрических показателей тоже является одной из форм экспертизы. Взять, к примеру, такой показатель, как число публикаций в ведущих международных журналах. Наличие статей в таких журналах означает, что эти работы прошли рецензирование, то есть экспертную оценку на стадии приема рукописи к публикации. Или другой показатель — число цитирований. Наличие ссылок на статью означает, что другие ученые таким способом косвенно уже оценили эту работу путем ее цитирования, то есть это тоже является формой экспертизы, но уже с помощью всего научного сообщества.

Соответственно, и проблемы при использовании этих двух способов оценки во многом общие. Поэтому их нужно не противопоставлять друг другу, а, наоборот, использовать совместно. Добиться адекватных результатов можно, только грамотно сочетая преимущества разных подходов к оценке результатов научной деятельности.

Для организации работы по оценке и отбору журналов в RSCI была сформирована Рабочая группа, члены которой возглавили соответствующие тематические экспертные советы. В ее состав вошли:

• Анатолий Григорьев (председатель Рабочей группы) — вице-президент РАН, председатель научно-издательского совета РАН, научный руководитель ГНЦ Институт медико-биологических проблем РАН (биологические науки и мультидисциплинарные журналы);

• Александр Баранов — директор Научного центра здоровья детей РАМН (медицинские науки);

• Леонид Гохберг (зам. председателя Рабочей группы) — первый проректор НИУ «Высшая школа экономики», директор Института статистических исследований и экономики знаний НИУ ВШЭ (социальные и гуманитарные науки);

• Геннадий Еременко — генеральный директор Научной электронной библиотеки eLIBRARY.RU (консультативный совет по библиометрии);

• Евгений Каблов — Президент Ассоциации государственных научных центров, Генеральный директор ФГУП «Всероссийский институт авиационных материалов» ГНЦ РФ (инженерные и технические науки);

• Валерий Козлов — вице-президент РАН, директор Математического института имени В.А. Стеклова РАН (математические, компьютерные и информационные науки);

• Юрий Лачуга — академик-секретарь отделения сельскохозяйственных наук РАН (сельскохозяйственные науки);

• Николай Соболев — главный научный сотрудник Института геологии и минералогии имени В.С. Соболева СО РАН (науки о Земле);

• Алексей Хохлов — проректор МГУ имени М.В.Ломоносова (физические и химические науки);

• Андрей Назаренко — Научно-издательский совет (НИСО) РАН, ученый секретарь Рабочей группы.

Руководителями тематических направлений были сформированы экспертные советы, куда были привлечены ведущие ученые, представители различных научных организаций (профильных отделений и научных центров РАН, федеральных и исследовательских университетов, государственных научных центров и др.). Каждый из членов Рабочей группы координировал организацию экспертизы журналов по одному из основных научных направлений. Кроме того, был создан постоянно действующий консультативный совет при РИНЦ, куда вошли специалисты по наукометрии. В компетенцию этого совета входила подготовка рекомендаций по методическим вопросам библиометрической оценки научных журналов.

Экспертная оценка

К оценке журналов с участием экспертов предъявлялось важное требование — минимизация влияния субъективных факторов. Так, исказить картину могли недостаток широты научного кругозора эксперта, выставление им более высоких оценок журналам, где он, эксперт, публиковался, или является рецензентом/членом редколлегии, а также конфликт эксперта с редакцией. Один из эффективных способов добиться объективности — увеличение количества экспертов, участвующих в процедуре оценки. Однако это усложняет процедуру оценки и увеличивает сроки экспертизы. Значительно увеличить количество участвующих в оценке экспертов удалось с помощью общественного голосования через Интернет.

Для организации работы по оценке и отбору журналов в RSCI была сформирована Рабочая группа, члены которой возглавили соответствующие экспертные советы по тематическим направлениям, в которых работают журналы. В их задачу входила прежде всего оценка научного уровня журналов. Учитывая специфику научных направлений, методика отбора журналов в каждом экспертном совете могла несколько отличаться, однако основные критерии для отбора журналов были общими:

• научный уровень статей, опубликованных в журнале за последние пять лет;

• степень неравномерности статей по качеству;

• актуальность статей, опубликованных в журнале;

• известность (узнаваемость) и авторитетность журнала среди профессионального сообщества;

• позиции журнала в России и в мире в данной предметной области.

Перед экспертами не ставилась задача отобрать в RSCI ровно 1000 (количество, предусмотренное в договоре между Thomson Reuters и НЭБ) или какое-то другое фиксированное число журналов. Точно так же не было задано каких-то начальных квот по количеству журналов по направлениям или пропорций между ними. В задачу экспертных советов входило отобрать журналы, не только занимающие лидирующие позиции в стране в данном научном направлении, но и представляющие интерес для международного научного сообщества.

При создании RSCI впервые в отечественной практике была проведена масштабная оценка уровня журналов с привлечением большого числа действующих ученых (общественная экспертиза). Расширенная общественная экспертиза журналов проводилась путем онлайн-анкетирования более 30 тысяч ведущих российских ученых. Экспертная оценка проводилась на сайте eLIBRARY.RU в течение 40 дней путем заполнения специальных анкет.

Для организации широкой общественной экспертизы российских научных журналов была использована база данных российских ученых, сформированная в информационно-аналитической системе Science Index, запущенной НЭБ в 2011 году. Каждый участник опроса мог самостоятельно выбрать не более трех научных направлений и оценить журналы по каждому из этих направлений, плюс, по желанию, мультидисциплинарные журналы. Каждый журнал в анкете мог быть отнесен к одному из четырех уровней:

4* — журнал международного уровня (достоин включения в Web of Science Core Collection);

3* — журнал национального уровня (безусловно достоин включения в RSCI);

2* — журнал среднего уровня (потенциальный кандидат для включения в RSCI);

1* — журнал низкого уровня (не достоин включения в RSCI).

В результате общественной экспертизы было получено 12800 экспертных анкет. Общее количество оценок, проставленных журналам, составило 240 тысяч (вариант «журнал не знаком эксперту» здесь не учитывается). Для каждого журнала были рассчитаны два дополнительных показателя: общее число полученных оценок и средняя оценка. Первый характеризует известность журнала (но, естественно, зависит и от числа ученых, работающих в данном направлении), второй отражает научный уровень и авторитетность журнала в профессиональном научном сообществе. Вместе с библиометрическими данными показатели были переданы в экспертные советы по научным направлениям.

Анализ результатов общественной экспертизы показал высокий уровень требований ученых к журналам. Так, к журналам мирового уровня было отнесено всего 110 журналов из почти 3000 включенных в анкеты (средняя оценка > 3,5 из 4). Оценку больше 3 получили 530 журналов, больше 2,75 — 900 журналов, больше 2,5 — 1400 журналов.

Окончательное решение о включении журнала в состав RSCI принимала Рабочая группа в соответствии с заключениями тематических экспертных советов, полученными на основании анализа и обобщения результатов оценки журналов экспертами, формальных критериев, библиометрических показателей журнала и общественной экспертизы журналов ведущими российскими учеными. Рабочая группа отобрала 652 журнала, достойных включения в Russian Science Citation Index. Это значительно меньше, чем предполагавшаяся изначально тысяча, что, с одной стороны, свидетельствует о достаточно строгих критериях отбора, а с другой, дает возможность постепенно расширять список на следующих этапах отбора.

Данный список не является окончательным и неприкосновенным. Принято решение о продолжении работы по ежегодному мониторингу качества журналов и внесению дополнений и изменений в список журналов, размещенных в Russian Science Citation Index на платформе Web of Science. В состав Рабочей группы включен академик-секретарь отделения историко-филологических наук РАН Валерий Тишков, который возглавил экспертный совет по гуманитарным наукам, выделенный в самостоятельное тематическое направление.

Любой российский журнал, выбрав правильную редакционную политику и установив строгие критерии рецензирования и принятия рукописей к публикации, имеет реальный шанс быть включенным в RSCI на следующих этапах отбора. И наоборот, если у журнала будет наблюдаться явная деградация качества публикуемых статей или будут обнаружены нарушения редакционно-издательской этики (в том числе попытки искусственной «накрутки» библиометрических показателей), то такие журналы будут повторно рассматриваться в экспертных советах и могут быть исключены из RSCI.

После формирования списка журналов для RSCI появилась возможность посмотреть, как распределены отобранные журналы по научным направлениям и насколько это распределение отличается от тематического распределения российских журналов в Web of Science и в РИНЦ.

Получилось, что если в Web of Science в основном индексируются российские журналы в области естественных и технических наук, то в РИНЦ, наоборот, в большей степени представлены общественно-гуманитарные и мультидисциплинарные журналы. Что касается RSCI, то для нее по большинству направлений получаются промежуточные значения, то есть в RSCI распределение журналов по направлениям более равномерное, чем в Web of Science. Это можно считать положительным моментом, поскольку недостаточный охват российских общественно-гуманитарных журналов в Web of Science затрудняет использование этой базы для корректного отображения деятельности российских ученых и научных организаций общественно-гуманитарного профиля.

В то же время, если сравнивать RSCI с РИНЦ, то доля отобранных журналов в области общественно-гуманитарных наук существенно меньше, чем в области наук естественных, технических, медицинских и сельскохозяйственных. Это означает, что научный уровень большинства общественно-гуманитарных журналов, по мнению экспертов, пока не соответствует мировому уровню либо эти журналы представляют недостаточный интерес для международного научного сообщества.

В заключение стоить обратить внимание на некоторые проблемы, связанные с использованием списков научных журналов для оценки научной деятельности. Несмотря на широкое распространение такого подхода, он часто является предметом острой критики со стороны научного и издательского сообществ. Причем критике подвергается не только и не столько включение журналов в список, сколько сам принцип использования подобных списков для оценки научной деятельности.

Действительно, как обычно на практике используют результаты отбора научных журналов? Составляют список условно «хороших» журналов (WOS, Scopus, перечень ВАК). И, к примеру, только статьи, опубликованные в журналах из этого списка, учитываются при оценке результативности научной деятельности ученых и организаций. Так или иначе, при таком подходе оценка группы журналов спускается на уровень оценки отдельных статей, в них опубликованных. Именно это и является основной ошибкой. Действительно, такой подход исходит из предположения, что научные статьи близки по своему уровню не только в пределах одного журнала, но и в пределах журналов, отнесенных к одной группе. Анализ распределения статей в журнале по их цитированию это предположение опровергает и показывает, что разброс в цитировании конкретных статей может быть очень высок. Поэтому нельзя утверждать, что статьи двух разных ученых, будучи опубликованы в одном журнале, имеют примерно одинаковый уровень.

Кроме того, существует проблема некорректного использования таких списков научными администраторами, которые начинают стимулировать исследователей публиковаться только в журналах из «хорошего» списка. То есть сами списки журналов из инструмента статистической оценки научной деятельности превращаются в инструмент административного влияния и давления на ученых. Это приводит, в свою очередь, к оттоку хороших публикаций из журналов, не попавших в список, их постепенной деградации и потере конкурентоспособности.

Все это не означает, что ранжирование научных журналов не имеет практического применения. Важно, чтобы в процессе оценки научной деятельности, основанной на ранжировании журналов, принимались во внимание описанные выше методологические ограничения такого подхода.

Авторы — Геннадий Еременко, Андрей Назаренко.