«Выхода нет, и приходится в это играть»: как правильно применять наукометрию

Известный астроном и создатель Астрофизической информационной системы (ADS) NASA Майкл Курц опубликовал на портале препринтов ArXiv небольшую статью, в которой приводит практические советы по использованию наукометрических показателей при принятии кадровых решений (Indicator.Ru перевел статью Курца). О том, насколько грамотно такие показатели применяют в России, в каких случаях и с какими ограничениями их нужно использовать и что хорошего принесло их повсеместное использование, рассказали директор Наукометрического центра НИУ ВШЭ Иван Стерлигов и советник директора Научной библиотеки им.Горького СПбГУ Ольга Москалева.

«Это все очевидные вещи, но, к сожалению, они часто совершенно не принимаются во внимание»

Наукометрические показатели используются на самых разных уровнях: и для того, чтобы обозначить приоритеты развития науки целой страны, и для того, чтобы оценить работу отдельных ученых. На высшем уровне они появились, например, в майских указах Владимира Путина. О выполнении некоторых пунктов, в том числе увеличении доли статей российских ученых до 2,44%, правительство РФ отчиталось весной этого года. Используется наукометрия и для того, чтобы принимать решение о судьбе научных центров и вузов: хоть и с ограничениями, она входит в систему оценки научных организаций, которую в этом году проводит Федеральное агентство научных организаций (ФАНО).

На уровне отдельных сотрудников с системой оценки, которая основывается на числе публикаций, сталкиваются в основном преподаватели вузов и сотрудники научных институтов. «Для них это, как правило, облекается в две формы: или, скажем так, кнут, то есть аттестация, когда все обязаны достигать каких-то показателей, или стимулирующие надбавки, пряник, когда доплаты назначаются в соответствии с тем, сколько публикаций выпустили сотрудники», – рассказал Иван Стерлигов.

По словам эксперта, степень «примитивности» методов такой оценки сильно различается в зависимости от организации. Самый распространенный показатель – простое количество публикаций, которые входят в базы данных Web of Science или Scopus. Некоторые институты стараются учитывать и качество публикаций, принимая во внимание импакт-фактор журналов. Немногие организации при этом делают поправку на научную область, в которой проводилось исследование: один и тот же импакт-фактор означает совсем разный уровень журналов в разных предметных областях, а для каких-то (прежде всего социальных и гуманитарных) наук этот показатель вообще плохо применим.

То, насколько уместно использовать наукометрию при оценке работы отдельных сотрудников (в том числе в системах эффективных контрактов), зависит, в том числе, и от их положения и обязанностей. По мнению Ольги Москалевой, лучше всего они подходят для людей, занимающихся фундаментальной наукой. А вот от преподавателей, особенно от тех, кто учит неспециальным предметам, требовать публикации вообще бессмысленно: «Если это преподаватель английского языка не для филологов, а для математиков, географов, физиков, то здесь публикации вообще ни при чем, ему совершенно не надо быть большим ученым, чтобы уметь хорошо учить студентов английскому языку». С другой стороны, нужно учитывать и нагрузку сотрудника: в отличие от преподавателей многих западных университетов, у которых выделено время на научные исследования, российские педагоги часто не могут заниматься наукой и получать результаты, которые можно было бы опубликовать.

Кроме того, для более-менее объективной оценки научной работы нужно использовать несколько показателей и применять их лишь для того, чтобы сравнивать близких по возрасту и научной области людей. «При приеме в одну и ту же лабораторию, при рассмотрении двух примерно одинаковых кандидатов, наверно, можно отдавать предпочтение человеку, у которого показатели лучше. Но даже если рассматриваются кандидаты на один факультет, но на разные кафедры, то сравнение по библиометрическим показателям может оказаться уже некорректным», – продолжила Москалева.

Впрочем, по словам Стерлигова, «в целом это все не от хорошей жизни». Когда наукометрические параметры становятся показателем результативности работы – от ученого до научной организации – следить за ними приходится и руководству институтов. «Как ни печально, руководители организаций сами поставлены в ситуацию, когда оценка идет по таким показателям, и от этих цифр прямо зависит, закроют вуз или нет, "сольют" НИИ с соседним или не сольют. Выхода нет, и приходится в это все играть», – заключил эксперт.

«Администраторы везде любят простые цифровые показатели, зачастую не очень понимая, что за ними стоит»

Наукометрические показатели применяют широко, но не всегда грамотно, при том, что они влияют на карьерный рост и заработную плату. Это неизбежно приводит к злоупотреблениям. К ним относятся и публикации в «мусорных» журналах, в которых статьи не проходят необходимой процедуры рецензирования (или она проводится формально), и зачисление в список соавторов людей, не принимавших участия в исследовании, не говоря уже о более грубых нарушениях.

В качестве варианта решения первой проблемы Иван Стерлигов предлагает создать «белый» список журналов, авторитетность и качество публикаций которых подтверждают эксперты. «Если мы остаемся в рамках упрощенной количественной модели, то главное здесь – минимизировать возможности для оппортунизма, например, составлять "белые" списки журналов и учитывать публикации только в них. И "белый" список – это, к сожалению, не Scopus и даже не Web of Science».

На экспертах, составляющих список, будет лежать немалая ответственность. «По сути, это аутсорсинг оценки труда сотрудника: говоря, что у человека должна быть статья в Q1 (первый квартиль, четверть наиболее авторитетных журналов по какой-либо предметной области, – прим. Indicator.Ru), мы как бы перепоручаем оценку его труда двум анонимным рецензентам хорошего уровня», – отметил Стерлигов.

Бороться с зачислением посторонних людей в соавторы может быть еще сложнее. Человеку, который не принимал участия в исследовании, оценить вклад соавторов и вычислить «примазавшихся» практически невозможно, тем более, когда в ход идет административное влияние.

Но есть и обратная сторона: какие-то заслуги, даже касающиеся публикации научных результатов, наукометрические показатели могут не учитывать. «Может быть, человек пять лет писал гениальную монографию, а его не переизберут, потому что у него за эти пять лет ни одна статья не вышла», – приводит пример Ольга Москалева.

«Просто голые циферки мало о чем говорят»

Оба эксперта отмечают, что если ученые будут стремиться к численным показателям, это может подменить собой саму цель развития науки. «Такая же ситуация и с рейтингами вузов. Нельзя ставить целью просто попасть в рейтинг. Ставить цель надо – развивать науку, развивать образование. Если вы это делаете хорошо, да, вы попадете в рейтинг», – уверена Ольга Москвалева.

С ней согласен и Стерлигов: «Сейчас есть даже направление исследований – оценка последствий тотального распространения наукометрии. Одно из них – подмена целей, когда развитие науки, появление сильных прорывных результатов подменяется целью добиться красивых показателей, чтобы получить финансирование, продвинуться в рейтингах и так далее».

По мнению эксперта, сфера применения наукометрических показателей будет только расширяться. «Думаю, в дальнейшем ситуация будет развиваться в сторону тотального распространения наукометрической оценки туда, куда она еще не пришла. Прежде всего это касается гуманитариев, для которых, по-моему, эти оценки вообще неприменимы, но которые вместо организованного противостояния им зачастую сами начинают увлекаться подращиванием своих "хиршей" в РИНЦ», – прогнозирует Стерлигов.

Поэтому становится понятно, что механизмы использования наукометрии нужно совершенствовать. Сейчас «правила игры» устанавливают чиновники, и специалистов они привлекают неохотно. «В Министерстве образования и науки работает закрытая группа, которая в очередной раз всю эту систему оценки собирается модернизировать. Но, так как они это делают в своем любимом формате полной закрытости и в сжатые сроки, энтузиазма у меня не очень много, – рассказал Иван Стерлигов. – В России и своих специалистов почти нет, и взаимодействие с ними совершенно случайное. Кто-то где-то в какую-то рабочую группу входит, но решающего голоса не имеет. Квалификация людей, которые занимаются дизайном индикаторов, зачастую совершенно недостаточна».

Впрочем, эксперт призывает не забывать и о положительных результатах внедрения наукометрии: «Прежде всего, люди стали гораздо активнее подаваться в международные журналы, и наша наука стала более открытой, смею сказать, что результаты наших ученых стали более известны в мире. К тому же, чтобы что-то написать в такой журнал, надо что-то почитать, поэтому знакомство наших авторов с мировой литературой тоже возросло».

Подписывайтесь на Indicator.Ru в соцсетях: Facebook, ВКонтакте, Twitter, Telegram, Одноклассники.