Рейтинг молодых ученых России: разработка Indicator.Ru

Рейтинг молодых ученых-лидеров фундаментальной науки, руководителей проектов РФФИ, был представлен проектом Indicator.Ru и инициативной группой ученых 1 декабря в рамках VII Всероссийского съезда Советов молодых ученых и специалистов.

Глобальная задача составителей рейтинга заключалась в том, чтобы совместить два подхода к рейтингованию, наукометрический и экспертный, каждый из которых сам по себе является несовершенным. Недостатки наукометрического подхода заключаются в том, что тот же индекс Хирша не может служить объективным критерием оценки деятельности ученого: он отражает суммарный результат работы, а не эффективность. Кроме того, имеют место самоцитирование, цитирование ученого коллегами и учениками, а также негативное цитирование (правда, стоит признать, что его доля в общем показателе, как правило, невелика).

Экспертный подход на настоящий момент используется, например, при оценке работы ученых, претендующих на получение грантов. При этом многие представители научного сообщества полагают, что экспертный подход во многом зависит от личных симпатий и антипатий экспертного совета. При этом в случае, когда решение о выдаче гранта принимается на основании суммы баллов, поставленных каждым экспертом, для отказа будет достаточно лишь одной низкой оценки. Многие ученые могут подтвердить, что нередки случаи, когда экспертиза пишется не по научной части проекта, а на основе аргументов из серии «ой, да я его знаю, мало ли что статьи в Nature, он уже 10 лет в Америке сидит, а тут еще пытается кусок отхватить» или «это такие хорошие люди, как им можно не дать денег, даже если они написали полную ерунду».

Идея рейтинга, представленного руководством проекта Indicator.Ru (Николай Подорванюк, Яна Хлюстова) и инициативной группой ученых (Илья Тихомиров, заведующий лабораторией «Интеллектуальные технологии и системы» Института системного анализа ФИЦ ИУ РАН; Роман Суворов, ведущий научный сотрудник Института системного анализа ФИЦ ИУ РАН; Николай Пакулин и Анна Щербина, представители оргкомитета Всероссийского съезда Советов молодых ученых и специалистов «Кадровый вызов для общества знаний»), заключается в том, чтобы объединить преимущества обоих подходов, подключив к этому работу искусственного интеллекта. Целью работы было построение объективного, основанного на проверяемых данных рейтинга молодых российских ученых (дата рождения — после 1 января 1977 года), которые возглавляли поддержанные РФФИ проекты.

Список ученых-руководителей проектов РФФИ (1210 человек) был предоставлен Фондом. Кроме того, в работе использовались наукометрические показатели, вычисленные на основе данных Scopus (индекс Хирша, количество цитирований, количество публикаций) и eLIBRARY (индекс Хирша, средний импакт-фактор, количество цитирований, количество публикаций). Использование обеих баз данных обусловлено следующим фактором: если показатели ученого высоки в обеих системах, то уверенность в их объективности высока, если же показатели сильно отличаются, возникают сомнения относительно их достоверности.

Интересно отметить, что, согласно данным из eLIBRARY, самый распространенный индекс Хирша ученых равен трем, количество цитирований — от 30 до 130, количество публикаций — от 22 до 52, а самый часто встречающийся импакт-фактор журнала, где были опубликованы статьи, — от 0,5 до 1.

Данные Scopus немного отличаются: самый распространенный индекс Хирша варьируется от 5 до 8, количество цитирований — от 50 до 400, а количество публикаций — от 20 до 40.

Экспертное мнение при составлении рейтинга учитывалось через результаты экспертизы проектов РФФИ. Список ученых был отсортирован с использованием ранжирующей функции, учитывавшей имеющиеся данные. Важно отметить, что сравнение ученых проходило внутри отдельных научных направлений: это значит, что биологи не сравниваются с физиками, а представители гуманитарных дисциплин — с геологами.

В итоговый рейтинг ученые попали в соответствии с квотами по тематикам из исходной выборки.

В результате работы был получен представленный на съезде Советов молодых ученых рейтинг. С молодыми руководителями поддержанных грантами РФФИ проектов, попавших в первую сотню рейтинга, можно ознакомиться в таблице ниже. Ученые отсортированы по алфавиту.

Недостатки рейтинга заключаются в ограниченном объеме информации (использовались только данные РФФИ, а значит, рейтинг не может считаться объективным отражением работы всех молодых ученых России). Кроме того, определенные проблемы создает использованный классификатор научных направлений: так, физики учитывались вместе с астрономами, из-за чего в Топ-100 не попали некоторые крупные астрономы, например сотрудник ГАИШ МГУ и Гарвард-Смитсонианского астрофизического центра Игорь Чилингарян, который является ведущим автором двух статей в Science, опубликованных в течение последних семи лет.

Преимущества такого подхода к рейтингованию ученых заключаются в том, что при увеличении объема информации (использование данных РНФ, патентных баз, НИОКР, Фонда Бортника и др.) можно использовать методы интеллектуального анализа данных (искусственный интеллект), что повысит достоверность результатов. Кроме того, использование перечисленных выше данных позволит отранжировать ученых, занимающихся не только фундаментальной наукой, но и прикладными исследованиями.

Проект Indicator.Ru предлагает принять участие в дискуссии и прокомментировать идею рейтинга, его преимущества и недостатки, а также внести предложения по улучшению методики составления такого рейтинга.