«Отечественная увлеченность западной по происхождению наукометрией»
«Наукометрическая» сессия Профессорского форума даже в своем названии целилась в широкий набор тем, но центральным вопросом стал такой: как и по каким критериям оценивать научную деятельность российских институтов, университетов и каждого ученого в отдельности? Практически каждый докладчик отвечал на этот вопрос, выражая свое отношение к наукометрии. Могут ли такие метрики, как количество статей или их цитирований, показывать реальный уровень научных достижений? По каким журналам и базам данных эти показатели надо считать? Должны ли российские ученые гнаться за числом статей в изданиях, индексируемых в пресловутых Web of Science и Scopus?
Поначалу казалось, что мнения участников дискуссии по этим вопросам в целом совпадают. Сессию открыл коротким выступлением об оценке результативности научных организаций России заместитель министра науки и высшего образования Алексей Медведев. Он напомнил, что в 2020 году завершается стартовавший еще в 2014–2016 году цикл оценки, и сообщил, что в 2021 году Минобрнауки хотело бы начать новый цикл с иными принципами и подходами. Связано это со справедливым недовольством предыдущей процедурой: в ней отсутствуют единые подходы, в различных системах сведения об организациях многократно дублируются, экспертиза вызывает сомнения, и при всей сложности процесса она не дает институтам и вузам никаких ощутимых преимуществ при финансировании исследований. «Мы хотели бы отойти от системы ведомственных площадок и сформировать единую национальную платформу оценки в формате научного аудита», — подчеркнул Медведев. Детали еще предстоит обсуждать, прежде всего, в Российской академии наук, но уже ясны направления изменений. Это расширение корпуса экспертов, в том числе за счет международных; переход от «чистой наукометрии» к большему весу качественных оценок; учет репутации организации, например по работе ее диссертационных советов. Количество и уровень научных публикаций, судя по этому предложению, Минобрнауки считает нужным учитывать в оценке научной деятельности, но только как одну часть в сумме факторов.
Подробнее о том, почему университетам и институтам не нравится система оценки их научной работы, рассказал директор центра мониторинга и рейтинговых исследований МИФИ Сергей Киреев. Данные по научной деятельности, отметил он, отслеживаются в 16 государственных мониторингах. Это около 300 ежегодных плановых запросов от различных ведомств к вузу и столько же, если не больше, внеплановых. Изменения в системе оценки явно надо начать, сократив эту бюрократическую переписку. Что касается наукометрических показателей, в том числе основанных на данных международных баз, Киреев считает их важными для любой оценки научной деятельности.
Наука глобальная, нет российской науки или американской, и мы должны это учитывать, кроме закрытых направлений. Как у нас развивается количество публикаций? По нему в Scopus, например, мы отстаем в восемь раз от Китая и США. А если мы посмотрим на качество публикаций? <...> В Q1 у нас 23%, а у Великобритании — 67%, у Китая 55%, у США 64%. Нам есть над чем работать. <...> Но качество публикаций зависит во многом не от того, что ученый пишет или не пишет, а есть ли у него необходимые средства, научная инфраструктура и так далее. И мы видим существенную разницу финансирования науки в России и в тех странах, о которых я говорил. Скажем, по расходам на НИОКР мы отстаем в 10 раз от этих ведущих стран.
Сергей Киреев
Директор центра мониторинга и рейтинговых исследований МИФИ
Ректор МГИМО Анатолий Торкунов назвал избыточной ориентацию российских методик оценки научной деятельности на данные международных баз. В их пользу, отметил он, есть серьезные аргументы, например именно в них отражаются тенденции международной науки — то, что цитируется в русскоязычной или испаноязычной научной среде, не всегда соответствует глобальным трендам. Но, если показатели Web of Science и Scopus становятся ключевыми в управлении наукой, это может привести к разного рода искажениям. Хуже по этим данным выглядят те науки, в которых научные результаты обычно публикуются в монографиях; в которых принято публиковаться на национальных языках; больше становится научной недобросовестности для «накрутки» показателей и так далее.
Отечественная увлеченность западной по происхождению наукометрией связана, как это ни печально, с кризисом доверия внутренним механизмам контроля качества исследования, особенно в социогуманитарной сфере, где проверка достоверности представленных результатов наиболее проблематична и требует развитого саморегулируемого профессионального сообщества. Даже лучшие журналы в этих сферах до недавнего времени работали по старинке: публиковали преимущественно авторов из своего института, скептически относились к практике слепого рецензирования, спускали работу главного редактора на технических сотрудников.
Анатолий Торкунов
ректор МГИМО
В оценке работы российских научных организаций нельзя, считает Торкунов, отказываться от использования международных баз данных: за позициями отечественных статей в них важно следить, так как это индикатор международного влияния российских исследований. Но дополнительно к этому инструменту нужно разработать практику содержательной оценки научных работ, а также учитывать в методиках разницу научных областей. Например, разрешить университетам самим выбирать, по какой базе считать их публикационную активность. Еще один важный момент — возвращение доверия к издаваемым в России научным журналам. Ректор МГИМО предложил сделать более открытым их отбор в различные списки, опубликовать критерии, по которым издания попадают в перечень ВАК или в РИНЦ.
Председатель Российского профессорского собрания Владислав Гриб на это замечание ответил, что в России пока нет альтернативы так называемому списку ВАК, хотя каждый ведущий вуз имеет свой список рекомендованных журналов, и предложил создать Национальный совет по наукометрии и научной периодике, который бы занялся этим вопросом. Между тем, по инициативе Минобрнауки, рассказал Сергей Киреев, группа экспертов, в том числе из МИФИ, уже разрабатывает методику ранжирования отечественных научных журналов.
РАН не согласна с тем, что альтернативы перечню ВАК нет, отметил в своем выступлении вице-президент Академии Алексей Хохлов. «Как говорится, есть такая партия!» — заявил он. Это RSCI — «русская полка» Web Of Science. Сейчас в этом списке 792 российских журнала, которые прошли, по словам Хохлова, тройной контроль: отбор по оценке научного сообщества, учет мнения экспертов и количественных данных. Большую часть доклада вице-президент РАН посвятил развитию наукометрии и ее роли в оценке российской науки. Он напомнил, что наряду с международными и национальными базами данных существуют локальные, как ИСТИНА в МГУ, которые позволяют учитывать больше видов активности. Опыт использования наукометрических критериев в России — от оценки грантовых проектов с начала 90-х до свежего КБПР в оценке госзадания — позволяет сделать вывод, что чисто количественные критерии по количеству публикаций и цитирований неточны и допускают «накрутки». Сегодня использовать наукометрию в оценке научной деятельности, по мнению Алексея Хохлова, значит применять современные инструменты — цитируемость относительно области исследований по каждой работе и по изданию — и учитывать особенности разных научных областей. Также вице-президент РАН согласился с тезисом замминистра Алексея Медведева о важности содержательной экспертной оценки.
Наукометрическая и экспертная оценки должны использоваться вместе. Тут есть подводный камень... Очень часто, когда речь идет об экспертной оценке, эксперты экономят время и прежде всего смотрят, сколько статей опубликовано и где, и на основании этого пишут свою оценку. Тут необходимо максимально развести наукометрическую и экспертную оценку. И с этой точки зрения я в принципе согласен с тем, что говорил Алексей Михайлович (Медведев — Indicator.Ru). Мы сейчас обсуждаем это в Российской академии наук: ни в коем случае не надо при экспертной оценке читать полный отчет организации. Нужно, чтобы организация очень коротко, желательно на одной странице, сообщила бы, какие замечательные достижения у нее есть, и привела несколько ссылок. <...> Такой документ вы оцениваете с точки зрения научного вклада, тут никакие «накрутки» не помогут. И потом наукометрическую оценку и экспертную надо будет свести вместе. И заодно будет понятно, что некоторые организации гонятся за количеством, а по сути того, что мы называем наукой, там ничего не сделано.
Алексей Хохлов
вице-президент РАН
Исследовательский взгляд на использование наукометрии представил социолог, научный руководитель Центра институционального анализа науки и образования Европейского университета в Санкт-Петербурге Михаил Соколов. Он рассказал о двух исследованиях ЦИАНО, которые показывают: не все гипотезы о «дурном влиянии» наукометрических оценок на науку подтверждаются. Например, считается, что к любому формальному показателю адаптируются в первую очередь самые недобросовестные — те, кто склонен «накручивать» любые показатели. Социологи изучили данные о проектах, поддержанных Российским научным фондом, до и после того, как фонд повысил требования к их руководителям по числу опубликованных научных статей. Предположение, что чаще стали выигрывать те, кто делает ставку на количество публикаций в ущерб качеству, не подтвердилось. Среди грантополучателей РНФ после ужесточения требований не стало больше ученых с публикациями в журналах низких квартилей международных баз. Массив публикаций по результатам проектов тоже сдвинулся в сторону первых квартилей.
Второе исследование — сравнение наукометрических оценок и результатов экспертного опроса в социологии. Работающие социологи назвали в опросе 7835 значимых для них российских коллег. Исследователи составили два рейтинга — по результатам опроса и по наукометрическим показателям упомянутых в нем социологов в Российском индексе научного цитирования. И в рейтингах обнаружились значительные пересечения. По мнению Соколова, это подтверждает, что научная репутация и наукометрия — не совсем два разных мира. Тем не менее то, насколько наукометрические показатели отражают научное влияние, признание и значимость работ отдельных ученых, надо определять эмпирически. Заранее нельзя предсказать, какие метрики работают. Но даже для социогуманитарных наук некоторые из них вполне релевантны. Например, многие выводы о российских гуманитариях, работы которых слабо отражаются в Web of Science и Scopus, можно вполне обоснованно делать по «ядру РИНЦ».
Быть признаваемым коллегами ученым, который широко известен и считается влиятельным, производящим хорошие работы, и не иметь высоких цитирований и прочих показателей, видимо, невозможно. Обратное неточно — есть люди, которые имеют разные высокие показатели, но при этом занимают в репутационном рейтинге достаточно низкое место.
Михаил Соколов
Научный руководитель ЦИАНО ЕУСПб
Несмотря на то что эксперты и администраторы в унисон говорят о важности содержательной экспертизы, в оценке науки преобладают количественные показатели, отметил научный руководитель Института всеобщей истории РАН и председатель Общественного совета при Минобрнауки Александр Чубарьян. В обнародованном проекте программы стратегического академического лидерства, считает он, переизбыток формальных критериев, а последнее решение ВАК о возможности присуждения докторской степени по научному докладу тоже предполагает недостижимые для социально-гуманитарных наук наукометрические показатели. О совершенствовании системы оценки нужно думать, согласился академик с предыдущими докладчиками. Но если в нее будут добавляться новые параметры, такие как репутационная оценка, то нужно и для них разработать достаточно четкие критерии. Например, особые метрики нужны, чтобы оценить, как научные результаты используются в бизнесе и государственном управлении.
Позиции остальных участников дискуссии совпадали с предыдущими высказываниями значительно слабее. Позже на Facebook Алексей Хохлов написал, что уловил в некоторых выступлениях «ксенофобские мотивы». Главный камень преткновения — подсчет всех показателей по Web of Science и Scopus. «Сложившаяся ситуация, когда ученые завязаны нормативным порядком на два англосаксонских коммерческих индекса, не может быть признана нормальной. Должно быть многообразие, должна быть конкуренция», — заявил профессор кафедры государственного и муниципального управления РАНХиГС Игорь Понкин. Он призвал коллег ориентироваться на неанглоязычные научные журналы европейских стран, которые «не заморачиваются» включением в международные базы, а считают себя самодостаточными. Не считает он нужным и углубляться в тему «хищнических» журналов — ведь вполне себе качественные журналы открытого доступа тоже берут деньги за публикации! Лучше не увязать в этом неоднозначном вопросе, считает Понкин, а сосредоточиться на развитии национальных баз научной периодики. При этом нужно строить оценку изданий на цифровых инструментах, уйти от субъективизма. В конце сессии Понкин еще раз призвал убрать из нормативных документов требования публиковаться в индексируемых Web of Science и Scopus журналах. Дело не в том, подчеркнул он, что не надо публиковаться за рубежом, а в привязке к конкретным базам. На замену им в нормативные документы можно включить составленный в России список качественных зарубежных журналов.
В своем выступлении главный ученый секретарь ВАК Иван Мацкевич высказал более острую позицию: наука — это конкурентная среда, и российских ученых не ждут в англоязычных коммерческих базах данных. Особенно возмутительным Мацкевич считает то, что государство в России платит дважды за некоторые публикации: сначала за выход статьи, потом за доступ к ней. К тому же ориентация на индексируемые в международных базах журналы, по его мнению, загоняет ученых в ловушку строго определенного формата, а наука — это творчество. «Ни в коем случае не призываю отказаться от сотрудничества с Web of Science, Scopus и другими базами, но к этому надо подходить взвешенно, не надо делать из него фетиш», — подытожил Мацкевич.
Позицию Понкина и Мацкевича поддержал директор Центра интеллектуальной собственности Российского профессорского собрания Иван Близнец, который заявил, что выступает за создание национального совета по наукометрии и научной периодике и за развитие национальных баз. Его доклад и другие выступления по связанным с интеллектуальной собственностью темам были посвящены конкретным проблемам: как должны определяться права на «служебные» результаты интеллектуальной деятельности, если их авторы работают в нескольких организациях по совместительству, какие нормативные барьеры мешают развитию цифровой среды в России, как учитывать патенты в оценке научной деятельности. Но звучали в них и призывы к более осторожному отношению к научным публикациям, особенно за рубежом, по абсолютно прозаическим причинам. Как пояснил управляющий партнер Центра интеллектуальной собственности «Сколково» Антон Пушков, публикация научной статьи об открытии или изобретении до подачи патентной заявки может привести к тому, что позже сам автор не сможет запатентовать свой результат. Если между публикацией и патентной заявкой прошло больше шести месяцев, эта публикация будет считаться открытым источником, из которого и получены сведения для заявки. Изобретение сочтут непатентоспособным. В то же время за эти шесть месяцев абсолютно посторонний человек, прочитав статью, может подать на ее основе свою заявку на патент, и именно он будет иметь приоритет. Одним из решений проблемы может быть предварительная патентная заявка. Пока их не существует в российском праве, но опыт других стран показывает, что это хороший способ в упрощенном порядке закрепить за собой право на изобретение. Предварительная заявка не публикуется, и, если за определенный срок (например, год) автор ею не воспользовался, она просто «сгорает».
Строго «по букве» выводы Алексея Хохлова о развитии наукометрии и рекомендация для Российского профессорского собрания, зачитанная Иваном Мацкевичем, почти совпадают. Вице-президент РАН отметил такие задачи, как совершенствование способов учета научных результатов, противодействие фальсификации научных публикаций и мошенничеству в этой сфере, развитие собственных баз данных и поддержка отечественных журналов. Пункты Мацкевича — поддержать работу по ранжированию отечественной научной периодики и на ее основе создать систему рейтингования; создать новую отечественную наукометрическую базу и общую базу для Евразийского экономического союза; выйти с предложением к Президенту РФ о запуске грантовой программы для отечественных научных журналов. Однако взгляды за двумя наборами предложений отличаются, и представления о результатах, видимо, тоже.
Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще.
Подписывайтесь на Indicator.Ru в соцсетях: Facebook, ВКонтакте, Twitter, Telegram, Одноклассники.