Хиршефобия и пророк Валаам: как работает наукометрия

Доктор физико-математических наук, профессор Игорь Ерухимович рассказал Indicator.Ru о наукометрических показателях и о том, почему технология увеличения индекса Хирша не работает.

Часть I. Введение

Индексы Хирша и цитирования (объяснять здесь, что это такое, было бы оскорбительно для читателя) все больше видятся двуликим Янусом: универсальной отмычкой, позволяющей отличить овнов от козлищ, для научного начальства и презренной вульгаризацией для большинства (во всяком случае, значительной части) научного сообщества. Навскидку, из пяти материалов на эту тему, опубликованных на портале «Наука в Сибири», math.nsc.ru, saveras.ru, в блоге экономиста Константина Сонина, только одна (первая) принадлежит защитнику.

На этом фоне блистает совершенно изумительная формулировка, которая принадлежит академику (математику) Виктору Васильеву: «Я, конечно, понимаю, что обращать внимание на свои показатели цитируемости — значит себя не уважать (а уж заботиться об их повышении вместо того, чтобы решать интересные задачи, — и вовсе злостное разбазаривание полезных ресурсов), но так или иначе нас постоянно заставляют думать об этих презренных материях».

Для начала несколько общих соображений

Очевидный недостаток индекса Хирша, как и других наукометрических характеристик, состоит в том, что с его помощью нельзя однозначно определить «научную силу» ученого, о чем многократно говорено самыми разными людьми. Собственно говоря, этот факт сам по себе «хорошо известен науке и интереса не представляет». Достаточно сослаться на источник №1: «И обратился я и видел под солнцем, что не проворным достается успешный бег, не храбрым — победа, не мудрым — «Хирш» место в Академии Нобелевская премия гранты хлеб, и не у разумных — богатство, и не искусным — благорасположение, но время и случай для всех их» (Екклесиаст, 9:11).

Но отсутствие прямой корреляции между сущностью и проявлением относится в равной степени и к наукометрической, и к так называемой экспертной оценке (скажем, к выборам академиков академиками, награждению премиями, выбору грантополучателей фондами и т.п.).

Более нетривиален и заслуживает особого рассмотрения тот факт, что экспертная оценка не встречает такого резкого публичного неприятия, как наукометрическая. Вот, разве что, несколько дней назад слабый ропот вызвало сообщение о результате работы экспертной комиссии по выборам в РАН секции наук о материалах Отделения химии и наук о материалах РАН.

В этой связи интересно появившееся пару месяцев назад окончательное разоблачение «технологии увеличения индекса Хирша» (далее ТУИХ), которое с энтузиазмом Understandable, understandable! было встречено в блогах (см. первый и второй примеры).

Удивительно, но никто из принявших участие в обсуждении не заметил, что на самом деле текст ТУИХ представляет собой смесь достаточно очевидных недоразумений и неожиданно глубоких, но неправильно интерпретированных наблюдений. Подобно пророку Валааму, автор, пытаясь проклинать индекс Хирша, на самом деле славит его. Именно поэтому обсуждение текста ТУИХ представляется хорошей исходной точкой для обсуждения всей ситуации в нашей науке (точнее, того, что от нее осталось). Итак, давайте прокомментируем тезисы ТУИХ несколько подробнее, что потребует серии постов.

Часть II. Очевидные недоразумения

Сколько человеку «Хирша» надо?

Автор ТУИХ, доктор технических наук Валерий Имаев, начинает с мелких неточностей:

1. «Безусловно, индекс Хирша был придуман как унифицированная оценка эффективности труда ученого независимо от области его исследований. В научном сообществе принято считать, что состоявшийся ученый в области физики обладает h-индексом более 10, у нобелевских лауреатов он может составлять 50-60 и выше».

Ну, во-первых, сам Хирш (который, кстати, не библиотекарь-наукометрист, а физик с h=63) ясно пишет): «For the few scientists that earn a Nobel prize, the impact and relevance of their research work is unquestionable. Among the rest of us, how does one quantify the cumulative impact and relevance of an individual’s scientific research output?». «Для тех немногих ученых, которые заслужили Нобелевскую премию, влияние и значимость их исследовательской работы бесспорны. Для всех остальных из нас, как можно количественно оценить влияние и значимость полного результата индивидуальной научной работы?» То есть а) речь идет о суммарном результате, а не об эффективности (различие такое же, как между работой и мощностью), и б) Нобелевские лауреаты вне классификации.

Во-вторых, а в каких единицах мы будем мерять «Хирш»? То, что вопрос этот совершенно не шуточный, показывает следующая таблица (N – число публикаций (number of papers), cit – общее число цитат (full number of citations)).

Автор	WoS, n	WoS, cit	WoS, h	РИНЦ, n	РИНЦ, cit	РИНЦ, h
Имаев В.М.	7	17	3	88	788	14
Колмаков А.Г.	42	86	6	350	3962	25
Кручинина И.Ю.	14	9	2	82	178	6

Мы видим, что, по РИНЦ, доктор Валерий Имаев вполне состоявшийся ученый, а вот по всемирной классификации... То же относится и к недавно рекомендованным в академию Алексею Колмакову и Ирине Кручининой (см. ссылку).

Другими словами, заметная часть отечественных ученых оказывается по тем или иным причинам практически не вовлеченной в развитие мировой науки, так что их классификация требует постоянных оговорок.

Невероятная результативность

Свою анафему хиршелюбам автор «технологии увеличения индекса Хирша» начинает с англичанина Теренса Г. Лэнгдона, который «опубликовал 942 статьи, каждая из которых была процитирована в среднем 40,5 раз», и нашего Валиева Р.З., у которого 742 статьи, процитированных ~29500 раз (данные из SCOPUS). Это, по мнению автора, есть «невероятная результативность» по сравнению, скажем, с Петром Капицей, и потому не есть хорошо. Но не проявлял ли сам Капица «невероятную результативность» по сравнению, скажем, с Ньютоном, который (за неимением журналов) вообще не писал статьи?

Поэтому давайте лучше сравним Лэнгдона и Валиева с более современными персонажами: с президентом РАН В.Е. Фортовым, с неоспоримым советским авторитетом в области полимерной химии покойным академиком В.А. Кабановым и лидером цитируемости в области полимеров К. Матыяшевским (в таблице ниже данные для русских авторов взяты из РИНЦа и потому не совпадают с данными ТУИХ, что несущественно — все равно наукометрия имеет смысл лишь для качественных, а не абсолютных сравнений).

Автор	Статьи	Ссылки	«Хирш»	Cоавторы
Матыяшевский К.	1 446	78714	136
Лэнгдон Т.Г.	~1 000	~40 000	99
Валиев Р.З.	1 286	33 550	82	945
Фортов В.Е.	1 513	~15 000	52	1724
Кабанов В.А.	775	9 270	39	662

Итак, в данных «злостных хиршелюбов» Лэнгдона и Валиева нет ничего невероятного. Они вполне типичны для людей, которые начинали как самостоятельные активные ученые, а впоследствии, возглавив крупные научные коллективы, нашли для них широкое поле деятельности. «Заниженность» данных для Кабанова легко понять, если учесть, что он на поколение старше Фортова и на полтора поколения — Валиева, а образ жизни и производительность научного работника, как мы все знаем на своем опыте, довольно сильно зависят от времени — в смысле, от эпохи, а не только от возраста.

С ног на голову

Далее автор ТУИХ замечает: «По-видимому, на определенном этапе своей работы он (Лэнгдон) увидел, что эти области малоэффективны с точки зрения роста цитируемости и индекса Хирша (действительно, эксперименты на ползучесть могут длиться месяцами), и с какого-то момента проф. Т.Г. Лэнгдон начал заниматься ультрамелкозернистыми материалами и интенсивной пластической деформацией. Совместно с профессорами Р.З. Валиевым и З. Хоритой им была опубликована большая серия работ по интенсивной пластической деформации различных металлов и сплавов методом равноканального углового прессования (equal-channel angular pressing)».

Вот это уже криминал. Здесь перепутаны (и, похоже, намеренно) причина и следствие: высокоцитируемые работы по «equal channel angular pressing» появляются уже в 1996 году (как легко видеть по ссылке [7], приводимой самим автором текста ТУИХ), а само понятие индекса Хирша появилось только в 2005 году.

Автор это прекрасно знает, но предпочитает сделать вид, что забыл. Ведь иначе придется сказать совершенно другие слова: «После выполнения серии работ, в которой Лэнгдон, Хорита и Валиев перешли на сравнительно новый метод равноканального углового прессования, их работы привлекли гораздо большее внимание и, соответственно, стали активней цитироваться». Но как же тогда доказывать мошеннический умысел?

Аналогично, приведенные автором графики роста статей по рассматриваемой тематике (см. Рис. 1 из ТУИХ) также показывают, что в интервале 2001-2015 годов никаких драматических изменений ежегодной публикуемости по рассматриваемым тематикам, связанных с появлением индекса Хирша и охотой на него, не наблюдается.

Ну ладно, черт с ним, с индексом Хирша, но ведь цитируемость учитывается давно? Ее-то они, мошенники, и накручивают! Вот при описании этого накручивания Валерий Имаев и делает те глубокие, но неправильно интерпретированные наблюдения, которые действительно помогают понять не только механизм появления высоких индексов Хирша, но и почему это хорошо. Мы обсудим эти наблюдения в следующей части.

Часть III. Глубокие, но неправильно интерпретированные

Создать множество команд

То, казалось бы, очевидное, но в действительности глубокое наблюдение, которое делает статью Имаева чем-то намного более осмысленным, чем собрание очевидных недоразумений, состоит в том, что в области, лидеры которой имеют большой «Хирш», публикуется не просто много статей, а очень много статей. Он пишет: «...важно не просто объединить большое число исследователей в научной работе для выполнения экспериментов и написания статей, а создать множество команд (в рамках одной большой команды) для взаимного цитирования».

Далее, на основании графика публикационной активности, где показано наличие десятков тысяч публикаций, автор делает оценку (с которой я вполне согласен), что существует «около 200 групп исследователей, входящих в одну огромную группу. Таким образом, как минимум несколько тысяч исследователей в мире занимается интенсивной пластической деформацией металлов и сплавов». Далее автор опять пытается манипулировать читателем, приводя пример 4-х статей с экстрацитированием лидеров. (Во-первых, из десятков тысяч публикаций наверняка можно выбрать десяток таких, что будут говорить о чем угодно, и, во-вторых, три из этих четырех статей являются обзорами, где наличие сотен ссылок традиционно).

Но важно не это, а принципиальный тезис автора, с которым я опять-таки соглашусь: «Вряд ли можно усомниться в том, что интенсивное взаимное цитирование разных команд в рамках одной большой команды носит согласованный характер».

Но, думаю, и автор согласится со мной, что размножение клеток во время роста эмбриона или раковой опухоли тоже «носит согласованный характер». Более того, «согласованный характер» носит и рост зародышей новой фазы в пересыщенном растворе и образование упорядоченных доменов во время перехода жидкость — кристалл. Но являются ли все эти процессы результатом сознательного cговора соответствующих клеток или молекул? Видимо, да, вряд ли раковым клеткам или молекулам воды труднее договориться, чем 200 завлабам.

А если серьезно, то работа профессора В. Имаева позволяет впервые (по крайней мере для меня) разделить два вопроса: 1) что является причиной ускоренного роста публикационной активности в той или иной области науки, и 2) является ли такой рост прогрессивным (научной революцией, как это было, скажем, с квантовой механикой) или регрессивным (надуванием «лажевого пузыря» в терминологии vteninn, см. подробности на сайте). Второй вопрос важен не менее, если не более, чем первый, но он выходит за рамки настоящей серии, Поэтому я сейчас постараюсь показать, как, на мой взгляд, возникает высокий «Хирш», и о чем он говорит.

Самоорганизация, Ватсон!

Итак, пусть имеется область науки с аномально большим временем эксперимента (напомним, что «эксперименты на ползучесть могут длиться месяцами»). Аналогичная ситуация имеет место при исследовании антикоррозионных покрытий (см. пост и обсуждение), при работе с полимерными гелями и т.п. Одна из причин такого большого времени эксперимента, хорошо описанная Имаевым, - то, что эксперимент полагается правильным на конструкциях в натуральную величину. Но вот кто-то предлагает забыть о натурных экспериментах и перейти к модельным образцам («метод равноканального углового прессовани»!), где можно, наконец, навести приличную статистику, быстро опробовать различные режимы и пр. Результатом является быстрый переход под новые знамёна профессоров и аспирантов, которые рады возможности предъявить в своих диссертациях не один график за три года аспирантуры, а, по крайней мере, несколько десятков, что, в свою очередь, приводит к резкому увеличению числа публикаций.

Теперь, отсылая новую статью в журнал, я должен обосновать её отличие от многих предыдущих. Для этого я должен указать не только старые учебники и статьи основателей нового подхода, но и сослаться на тех, i) кто делал то же, что и я, но не с тем, ii) кто делал то же, что и я и с тем же, что и я, но в других условиях и т.п.

A то ведь рецензенты могут не понять! Таким образом, рост публикационной активности приводит и к росту списков цитирумой литературы, а последний, в свою очередь, к росту цитируемости всех участников процесса (так, на пустоши указать место можно очень просто: «между рекой и горой», а вот локация участка на золотом месторождении требует гораздо более сложного размежевания).

Благословение Валаама

Таким образом, следование за основными этапами рассуждений профессора Имаева приводит нас (по крайней мере, меня) к прямо противоположному результату. Мы не утвеждаем, что каждый исследователь с высокими наукометрическими показателями (скажем, Лэнгдон или Валиев) непременно является гением науки и, вскорости, обладателем Нобелевской премии. (Абсолютное значение h зависит от скорости реакции данного сообщества на новые работы, от количества исследователей, вовлеченных в данную область, от способности лидера собрать под своей эгидой талантливую молодежь и т.п.) Но мы утверждаем, что никакой «технологии увеличения индекса Хирша» нет, а есть незапланированная самоорганизация работы многих исследователей, каждый из которых имеет свои научные и жизненные интересы. Соответственно, наличие высоких индексов Хирша является признаком отнюдь не сговора хитроумных людишек, а существования такой наукоемкой области исследований, которая не только привлекает исследователей, но и позволяет большинству из них так или иначе проявить себя в процессе самоорганизации исследований.

Заканчивая, хочу напомнить, что рост эмбриона и рост злокачественной опухоли оба являюся примерами самоорганизации, но нам нравится только первый. Проблема разделения этих двух видов самоорганизации в науке ждет решения.

Автор — Игорь Ерухимович