«Мы пытались придумать методику, которую уронить труднее всего»
© Pixabay/Alexander Cheng/Getty Images/10times/Indicator.Ru
Формула раздора
Опубликованная Министерством науки и высшего образования в январе этого года методика расчета комплексного балла публикационной результативности (КБПР) для научных институтов вызвала вал открытых писем к руководству страны, бурные дискуссии о вреде наукометрии для отечественной науки и многочисленные межведомственные заседания Российской академии наук, Министерства и других заинтересованных организаций. Из-за пандемии переработка методики в более приемлемую завершилась не весной, а лишь в конце августа.
Новый документ отличается от первой возмутившей всех версии особой шкалой для оценки научных публикаций по гуманитарным и общественным наукам. По умолчанию баллы за научную статью для организации умножаются на «коэффициент качества» журнала, равный, например, для изданий первого квартиля Web of Science 20, а для не включенного в международные базы данных журнала из списка ВАК — 0,12. Но для гуманитарных и общественных наук любая публикация в журнале, индексируемом в Web of Science, имеет коэффициент 3, а в ВАКовском — 1. Также гуманитарии получили право получать баллы за монографии и другие книги.
Неизменным остался главный принцип методики — фракционный счет, то есть дробление баллов за каждую публикацию по числу соавторов и аффилиаций у автора, работающего в организации, для которой считается балл. Сохранилась и спорная норма, согласно которой КБПР должен расти у всех, но у «догоняющих» организаций с низкими публикационными показателями — быстрее всех, на 30% в год. Не скорректированы, как отмечали участники дискуссии о КБПР, и плановые показатели балла на 2020 год.
На международной научно-практической конференции «Наука, технологии и информация в библиотеках (LIBWAY-2020)», организованной Государственной публичной научно-технической библиотекой Сибирского отделения РАН, темой дискуссии «КБПР: бенефициары и потерпевшие» стали не способы расчета баллов, а вероятные последствия от внедрения новой метрики. «Помимо уверенного роста количества научных публикаций, применение наукометрии на государственном уровне для оценки научной результативности способствовало развитию ряда негативных явлений, таких как мусорные журналы и конференции, покупное и подарочное соавторство, фиктивные коллаборации. Показатель КБПР вводился в том числе для минимизации этих последствий и создания новых стимулов для повышения качества публикаций», — напомнил участникам директор ГПНТБ СО РАН Андрей Гуськов. Будучи модератором беседы, он предложил ответить, кто выиграет и кто проиграет от введения КБПР, как новая метрика изменит практики публикационной активности и какую роль в оценке результативности научных исследований должна иметь наукометрия. Гипотезы прозвучали разнообразные.
«Выигрывает российская наука, проигрывают бездельники, которые не хотят, чтобы их оценивали»
Так оценил ожидаемые последствия внедрения КБПР вице-президент РАН Алексей Хохлов. «Если вы хотите посмотреть, что будет через несколько лет, посмотрите на Московский университет», — призвал он, подчеркнув, что МГУ имени М. В. Ломоносова давно оценивает баллами публикационную результативность сотрудников наряду с чтением лекций, работами по хоздоговорам и другими видами активности. КБПР будет двигаться к такой же всеобъемлющей оценке, только не для отдельных ученых, а для организаций в целом. Сейчас методика учитывает только фундаментальные исследования в научных институтах, но уже в следующем году, ожидает Хохлов, ее действие расширится.
Сейчас в рамках поручения президента о том, что должны быть сформированы единые требования к формированию госзадания на научные исследования, видимо, будут решения на 2021 год по распространению методики на вузы, и тут важно решить, как учитывать педагогическую работу <...> и прикладные исследования — патенты и хоздоговора. Фактически методика КБПР, поскольку это баллы, а не штуки статей, позволяет проводить такие обобщения.
Читайте также
С похожим прогнозом — от внедрения КБПР выиграют те ученые, кто активно работает, — ожидаемо выступил один из авторов методики, заместитель директора по развитию Физического института имени П. Н. Лебедева РАН Олег Иванов. Со стороны гуманитарных наук сдержанно оптимистичную позицию высказал профессор факультета социологии Европейского университета в Санкт-Петербурге Михаил Соколов, который подчеркнул: наукометрия не всегда меняет поведение ученых в худшую сторону. Допустим, в организации появляется показатель по числу статей в рецензируемых журналах. Сотрудники вынуждены его выполнять, постепенно многие из них осваивают позитивные публикационные практики, в которых раньше не было нужды, и вот уже через несколько лет без особых проблем пишут статьи для международных журналов. «Если исследовать картину на микроуровне, она кажется во многом искаженной — как будто большинство ученых недобросовестные, только и думают, как им обмануть систему. В каком-то смысле это очерняет человеческую природу и природу российского ученого в частности. На практике мы видим, что на разного рода публикационное давление реакция "броситься в мусорные журналы Scopus" не была количественно доминирующей», — отметил Соколов.
«Проигрывает физика высоких энергий, выигрывают химия и материаловедение»
Такой результат показали наукометрические расчеты, выполненные в ГПНТБ СО РАН. На дискуссии их представил заместитель директора библиотеки Денис Косяков. Работа включала расчет КБПР для организаций из разных областей наук и оценку того, какие практики публикаций более и менее выгодны при использовании нового показателя. В своем выступлении Косяков выделил четыре основных последствия. Во-первых, пострадают большие коллаборации, характерные для физики высоких энергий и астрономии: публикации с тысячами авторов станут приносить слишком мало баллов. В других случаях научного сотрудничества, считает Косяков, не все будут готовы делиться баллами за минорный вклад в исследование и включать в свои статьи соавторов из других организаций. Если продолжить эти рассуждения и посмотреть, кто за счет дополнительных баллов за высокорейтинговые публикации выигрывает, получится, что на полюсе «проигравших» — физика, «победивших» — химия, так как ученые в этой области публикуют заметное количество статей в высокорейтинговых журналах сравнительно небольшими коллективами. Во-вторых, многие ученые могут отказаться от указания дополнительных аффилиаций, ведь на них организации тоже будут терять баллы. Сходно с этим третье вероятное последствие: невыгодными для российских организаций станут фиктивные «программы привлечения» ведущих зарубежных ученых — фактически покупки аффилиаций. Если иностранный ученый реально не работает в России, но приписывает российскую аффилиацию как одну из многих, КБПР на нем организация не поднимет. Это единственное последствие, которое Косяков оценивает как в целом положительное. Четвертое поводов для радости не оставляет: пострадают добросовестные представители гуманитарных и общественных наук. Введенная для них в последней версии методики «плоская шкала» коэффициентов за статус журнала не оставляет никаких преимуществ тем, кто публикуется в высокорейтинговых изданиях. А скорее, даже наоборот, поощряет клиентуру мусорных журналов по-прежнему гнать вал некачественных статей. На этот счет Алексей Хохлов позже высказался, что методика еще будет меняться, и, если гуманитариям не понравится «плоская шкала», в следующем году ее можно будет и слегка «наклонить».
Соколов предположил, что вдобавок к «мусорным» статьям в недолговечных журналах в российской науке может развиться новая напасть для публикационной этики: фальсификация результатов. На вопрос Андрея Гуськова, как к этому может привести КБПР с его поощрением публикаций в журналах с качественным рецензированием, социолог ответил просто: ставки становятся выше. «Сейчас нет разницы между публикациями в Q4 и Q1, и можно пойти по более дешевому пути, не очень энергозатратному... А если первый квартиль станет необходимой мишенью, потому что будет весить гораздо больше, возникнет вопрос, как попасть туда. А попасть туда можно с сильным и важным результатом», — отметил Соколов. У большего числа недобросовестных исследователей появится соблазн слегка подправить свои результаты, чтобы они выглядели ярче. И выявить это на этапе рецензирования можно не всегда: рецензент не может воспроизвести эксперимент, изучить вслед за автором статьи все архивные документы или проинтервьюировать его респондентов.
«КБПР подталкивает ученых в мегажурналы с открытым доступом»
Иван Стерлигов, до недавнего времени директор Наукометрического центра Высшей школы экономики, привел несколько «предполагаемых эффектов», вероятное проявление которых стоит учитывать при внедрении новых публикационных индикаторов в научную политику. Это смещение целей исследовательской работы с научного результата на выход публикации; перефокусировка ученых на мейнстримные темы, работы по которым точно опубликуют; их отказ от деятельности, которая не оценивается баллами; индикаторный каскад — переход созданных для оценки целых научных направлений и организаций показателей на уровень отдельных ученых; и искажение сознания самих участников научного процесса, когда библиометрические характеристики (например, импакт-фактор журнала) используются для оценки качества научных работ или даже самих ученых. На больших масштабах, например на уровне страны, доля публикаций местных ученых в высокорейтинговых журналах может коррелировать с долей их высокоцитируемых статей, но на уровнях ниже эта корреляция теряется, напомнил Стерлигов.
Установить причинно-следственную связь между всеми этими эффектами и введением какой-то конкретной схемы оценки научной деятельности сложно, подчеркнул Стерлигов, — слишком много переменных в этой картине. Оценить «чистый» возможный эффект от КБПР тоже непросто. Гораздо важнее общий контекст, который новая методика застала в российской науке. Она, отметил Стерлигов, крайне слабо связана с трансфером технологий в коммерческий сектор и экономикой вообще.
Наука у нас — это некое социальное предприятие, связанное еще, может быть, с национальным престижем.
В результате, считает Стерлигов, очень сложно определить, а кто вообще из всей цепочки акторов научной политики в России заинтересован в качестве самой научной работы, а не в ее формальных показателях. Непосредственный результат от внедрения КБПР как новой системы формальной оценки, заключил он, будет в ориентации российских ученых на огромные междисциплинарные издания с относительно высоким импакт-фактором.
Сама система подталкивает ученых публиковаться в журналах, которые публикуют быстро с не очень строгим рецензированием, при этом имеют нужный квартиль. Это мегажурналы открытого доступа, например Scientific Reports... Такое поведение, может быть, — умеренный оппортунизм, но это хорошо с точки зрения, что мы вдруг соответствуем глобальным целям по открытому доступу.
«Надо пройти определенные стадии»
Самым сложным для участников дискуссии оказался вопрос о том, каким весом наукометрические оценки должны обладать в мониторинге научной деятельности вообще. Судя по словам Алексея Хохлова, он считает КБПР одним из этапов на пути к более адекватной оценке науки.
Надо пройти определенные стадии. Ту стадию, на которой мы сейчас, в Китае прошли еще десять лет назад. Сейчас они уже оценивают не вал публикаций, а лучшие работы, выдвинутые организацией.
Что стоит изменить в методике уже в ближайшее время, например в плане на 2021 год, по мнению Хохлова, так это «плоскую шкалу» коэффициентов качества для гуманитарных и социальных наук и требование к отстающим организациям расти быстрее, чем лидеры. Михаил Соколов тоже высказался за «наклон шкалы» для гуманитарных и социальных наук.
Кажется, что создатели КБПР махнули на нас рукой и решили, что мы исправлению не подлежим и все, что мы пишем, — мусорная часть Scopus, в сортах разбираться не будем. Но это несправедливо: наукометрия для гуманитариев даже в России работает достаточно хорошо. Даже такие примитивные методики, как разделение на «ядро — не ядро» РИНЦ имеют предсказательную силу в отношении научных репутаций, это можно продемонстрировать.
Иван Стерлигов резко негативно оценил «тоталитарный характер» КБПР: колоссальное отличие от аналогичных систем в других странах в том, насколько такие показатели влияют на зарплату российских ученых и на судьбу самих организаций. В других странах, где наукометрические показатели учитываются в научной политике, с ними связана, как правило, лишь небольшая часть бюджета организации. «Правильно ли насколько привязываться к этой метрике?» — закончил он риторическим вопросом.
В любом случае существующая метрика может сработать только как переходная на протяжении нескольких лет, считает Олег Иванов. «Мы пытались придумать методику, которую уронить труднее всего», — признался он. — Дальше необходим переход к более продвинутым метрикам, которые влезут внутрь статьи в каком-то смысле. Но для этого сама статья должна измениться — данные должны стать открытыми и так далее».
Что со временем системы оценки науки будут (и должны) усложняться, считает и Денис Косяков.
Давление показателей заставляет руководство научных организаций и исследователей обращать внимание просто на вал, на план по валу. Даже в правоохранительных органах собираются отказываться от «палочной системы», а в науке мы ее вводим. Наверное, это неправильно. И нужно более пристально посмотреть на объект оценки, ведь небольшой академический институт и разнонаправленный крупный вуз — это разные организации, нельзя их сравнивать, как единицы. И не стоит делать оценки в рамках одного года, потому что год на год не приходится <...>. Прийти к лучшему качеству российской науки мы можем через усложнение системы оценки, через открытые данные в этой системе, через то, что мы будем больше обращать внимание на нюансы в разных организациях и областях науки. Чем больше сложности, тем качественнее может быть и результат.
Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще.
Подписывайтесь на Indicator.Ru в соцсетях: Facebook, ВКонтакте, Twitter, Telegram, Одноклассники.