Наука подобрать: помогает ли наукометрия принимать кадровые решения

Майкл Курц — астрофизик из Гарвардского университета и создатель Астрофизической информационной системы (ADS, Astrophysics Data System) NASA — бесплатной интерактивной базы данных по астрономии из рецензируемых и нерецензируемых источников — опубликовал на портале препринтов ArXiv.org небольшую статью, в которой приводит практические советы по использованию наукометрических показателей при принятии кадровых решений. Indicator.Ru публикует перевод статьи, который сделали наши редакторы Алена Манузина и Мария Азанова.

Библиометрические показатели, количество цитирований и скачиваний статей все чаще используются при принятии кадровых решений, таких как прием на работу или повышение. Эти параметры очень часто применяют неправильно. Мы предлагаем обзор факторов, которые необходимо учитывать при использовании так называемых количественных методов для оценки персонала. Практические правила предназначены для тех, кто только начинает использовать библиометрические показатели для сравнения близких по уровню кандидатов.

Несколько вещей, которые вы должны знать, если используете библиометрию для сравнения сотрудников

Это серьезное дело. На карьерный рост могут сильно влиять решения, основанные на библиометрических показателях.

Важно знать, насколько точны эти параметры. Такие индикаторы, как количество цитирований или скачиваний статьи важны не сами по себе, а как показатель (исследовательских) способностей человека.

Относительную полноту и точность библиометрических показателей обсуждают часто, однако при сравнении работников это не столь важно. Разброс значений параметров — даже с идеальными входными данными — довольно велик, и накладывает ограничения на использование этих показателей для того, чтобы принимать карьерные решения.

Перед тем как использовать количество цитирований или скачиваний для сравнения кандидатов на какую-либо должность, необходимо скорректировать эти показатели с учетом систематических ошибок, возникающих из-за возраста ученого, его научной дисциплины и наличия соавторов.

Общее количество цитирований работы ученого составляет приблизительно квадратичную зависимость от его «возраста», где под «возрастом» понимается время работы в качестве активного исследователя. Из этого следует, что, если взять квадратный корень из числа цитирований ученого и поделить на его «возраст», то для человека с постоянным уровнем продуктивности это окажется постоянной величиной. Однако для молодых исследователей определить эффективный «возраст» довольно сложно, что делает этот показатель неточным.

Научные дисциплины и субдисциплины отличаются культурой цитирования, и количество ссылок нельзя сравнивать прямо, не делая поправку на научную область.

Сейчас работы, написанные коллективом авторов, — это норма. Библиометрические показатели должны учитывать степень участия исследователя в создании статьи.

Чтобы сравнивать ученых, работавших в разное время, нужно принимать во внимание устойчивый рост количества работ и количества цитирований на работу. Число статей каждые 15 лет увеличивается примерно вдвое, число цитирований растет схожими темпами.

Статистика общего влияния работы (Total Research Impact – TORI), учитывающая количество соавторов и общее число ссылок в сославшейся работе, призвана преодолеть недостатки, связанные с влиянием соавторства и культуры цитирования. Коэффициент влияния работы (Research Impact Quotient — RIQ) должен нивелировать воздействие возраста. Оба этих индекса используются в статистике Астрофизической информационной системы NASA.

Скачивания, или прочтения, — еще один полезный библиометрический показатель. Количество скачиваний статьи учеными схоже с цитированием и может предсказывать его уровень. Однако с этой информацией следует обращаться осторожно, потому что статью могут скачивать не только ученые, что искажает статистику.

ADS составляет статистику Read10 — нормализованное по числу соавторов количество статей, которые ученые просматривают в базе ADS за год. Причем эти статьи должны выйти в течение последних десяти лет. Так как за последнее время интернет-сервисы используют значительно чаще, сравнивать количество скачиваний за разные годы следует с осторожностью.

Используя различные выборки и показатели, созданные для минимизации систематических ошибок в измерениях, можно определить неточности в оценках исследователей, основанных на различных библиометрических показателях. Это возможно благодаря сравнению оценок различных наборов, состоящих из написанных одними и теми же людьми работ. Так как настоящее значение этих наборов остается тем же, различия в его оценках, измеренных разными техниками, вызваны характерными для того или иного метода недочетами.

Так как количество цитирований и просмотров образуют логнормальное распределение, ошибка может быть выражена как логарифм измерений. Для сравнений астрономов в середине карьеры стандартное отклонение составляет 10^0,17, мультипликативный фактор 1,48.

Число цитирований (и скачиваний) также используется для того, чтобы предсказывать результативность. Именно поэтому их используют для того, чтобы принимать кадровые решения. Для людей, защитивших диссертацию пять лет назад, то есть примерно в том возрасте, когда обычно получают место доцента, даже использование апостериорной выборки, которая должна давать более точные предсказания оценок, приводит к стандартному отклонению в 10^0,395, мультипликативный фактор 2,5.

Заключение

Библиометрические показатели, цитирование и количество скачиваний показали себя полезными и точными в некоторых областях. Если говорить о таких больших общностях как университеты, страны или журналы, библиометрия может дать точную оценку количества и качества работ. Также почти всегда люди с высокими показателями цитирования — признанные ученые. Это означает, что число цитирований можно применять для того, чтобы распознавать таких ученых и предвидеть их будущие достижения.

Эти успехи привели к тому, что библиометрические показатели стали применять для оценки сотрудников. Но во многих случаях статистические методы приводят к искажениям. Использовать число цитирований или скачиваний во время принятия решения можно для того, чтобы определить лидеров в научной области, но эти показатели зачастую не подходят для того, чтобы обосновать выбор между несколькими похожими кандидатами.

Из-за того, что в любой реальной ситуации различные корректировки по возрасту, соавторству, области наук и т.д. не столь очевидны, как в изучаемых идеальных условиях, имеет смысл требовать, чтобы при сравнении двух людей разница в количестве их цитирований или скачиваний и работ была больше двух стандартных отклонений (при уровне значимости 95%), прежде чем отдавать предпочтение кому-либо из них на основе этих параметров. Рекомендуемое значение отклонения, в таком случае, фактор двух для ученых в середине карьерного пути, и фактор пяти – для кандидатов на должность доцента. Без использования этих методов корректировки объяснить различия показателей сложно.

Автор — Майкл Курц

Подписывайтесь на Indicator.Ru в соцсетях: Facebook, ВКонтакте, Twitter, Telegram, Одноклассники.