Хирш с правом совещательного голоса: наукометрия в математике

В каком случае ученые похожи на альпинистов в Гималаях, почему слово «объективность» понимают неверно и кого можно признавать выдающимися учеными, рассуждает академик РАН, президент Математического общества Виктор Васильев. Заметка публикуется в ответ на колонку главного научного сотрудника Института проблем механики имени А.Ю. Ишлинского РАН Андрея Полянина, опубликованную на портале Indicator.Ru.

В своем тексте от 27 декабря Андрей Полянин обращается ко мне с рядом вопросов, прежде всего касающихся учета индексов цитируемости при выборах в академию. Ниже я отвечаю на них с необходимыми пояснениями, а также даю прочие комментарии, двигаясь последовательно по его тексту и указывая номера соответствующих абзацев из этого текста.

«Хирша можно не тревожить»

Повторю цитату из Андрея Полянина: «В Уставе РАН написано: "Членами-корреспондентами РАН избираются ученые, обогатившие науку выдающимися научными трудами"». Стало быть, и при выборах надо смотреть исключительно на то, насколько выдающиеся труды у каждого из кандидатов, и, более того, считать это единственной целевой функцией, не вводя никаких формальных довесков ни к этой целевой функции, ни к системе уставных ограничений.

Из статистики, да и из здравого смысла известно, что выдающиеся труды часто коррелируют со значительным цитированием. Поэтому если у какого-то кандидата показатели цитирования низкие, то это является поводом к дополнительной осторожности и ответственности при рассмотрении его кандидатуры. Точно так же имеются и другие статистические зависимости, которые позволяют делать на основании библиометрических данных те или иные гипотезы, подлежащие рассмотрению при выборах. Образно говоря, Хирш должен присутствовать на выборах – с правом совещательного голоса.

Отсюда же следует, что, предпочтя кандидата с низким цитированием, выборщики должны быть готовы к тому, что им будут заданы неприятные вопросы, на которые придется дать содержательные и достаточно весомые ответы: чем объясняется эта коллизия и почему тем не менее работы кандидата достаточно выдающиеся. Вполне возможно, что на эти содержательные ответы поступят не менее содержательные возражения и завяжется содержательная дискуссия, которая в условиях открытости и корректности должна сходиться к понятному для научного мира выводу и, в случае достаточно отрицательного результата, к существенным репутационным потерям. Если выборщиков это не волнует, то есть им наплевать на мнение квалифицированного научного сообщества (в этом случае они, скорее всего, вместо содержательных ответов отпишутся какой-нибудь демагогией), то в этом регионе академического мира уже ничего нельзя спасти никакими формальными показателями: кроме вороньей слободки тут ничего не получится (вороньей слободкой иносказательно называют рабочий коллектив, где царят зависть, интриги, взаимное недоброжелательство, выражение пошло из романа «Золотой теленок», где так называлась большая и скандальная коммунальная квартира, — прим. Indicator.Ru). Но и с другой стороны, если вместо содержательных возражений на действительно содержательные ответы критики принесут попугая, умеющего кричать одно слово «Хирш», то и это следует рассматривать как неприличное уклонение от корректного спора.

Итак, ключевым требованием является способность объяснить свой выбор на содержательном уровне в глазах мирового квалифицированного научного сообщества, образующего адекватную, устойчивую и жизнеспособную систему. Если про какого-то кандидата заранее понятно, что никаких проблем с этим возникнуть не может, то и Хирша можно не тревожить, зарезервировав его ценные услуги для более сомнительных случаев.

Теперь ответ на первую порцию вопросов Полянина: да, в подлунном мире не исключено существование ситуаций, когда при низком цитировании и очень большом самоцитировании работа вполне себе замечательная и мировым сообществом признана (пояснения и примеры – ниже). Доля таких ситуаций во всем массиве ученой литературы статистически мала, но дело в том, что вершины науки (о которых в идеале только и должна идти речь на академических выборах) – это почти что одна сплошная девиация, наполненная отклонениями в любые возможные стороны. В любом случае сильные ученые – товар штучный и заслуживает индивидуального рассмотрения по существу, а не по статистическим критериям. Патетический отказ Полянина продолжать после этого обсуждение я считаю не точкой зрения, а нежеланием знакомиться с реальностью.

Чистая математика

Что касается второй части вопросов, «считаю ли я определение члена-корреспондента из устава РАН соответствующим существующей практике присуждения этого звания», то тут не обойтись без уточнений и оговорок. Я не буду ничего говорить о чужих науках, а ограничусь «чистой» математикой, на выборах по которой я только и присутствовал. Я хочу отрешиться от интересного вопроса о том, были ли избраны наиболее выдающиеся (if any) из всех кандидатов. После этого все упирается в расплывчатое слово «выдающийся». Если ориентироваться на последнее употребление этого слова, виденное мною на форуме в связи с этой дискуссией и сделанное дружественной к Андрею Полянину стороной, то осторожный ответ таков: на последних выборах «да» не менее чем на 70%, но скорее всего, не менее 80%. При поступлении более конкретных определений этого слова, можно обсудить заново.

О понятии «объективность»

Прежде чем идти дальше, я хочу отметить уже надоевшее misuse (неправильное словоупотребление – прим. Indicator.Ru) слова «объективность» в контексте утверждения, что индексы цитирования – наиболее объективный показатель. В момент, когда это утверждение обосновывается, слово «объективность» понимается не более чем в смысле малой зависимости от чьего-то субъективного произвола, что намного меньше той позитивной эмоциональной нагрузки, которой обычно снабжается это слово. Вероятно, настоящим источником этого позитива является сладкое чувство освобождения от необходимости либо доверять, либо уж разбираться по существу.

Два доктора физико-математических наук из ведущих физического и математического институтов РАН с большой вероятностью люди одного круга, близких способностей и трудолюбия, легко взаимодействующие друг с другом; при чуть ином раскладе жизненных случайностей они могли бы поменяться местами. Тем не менее, их индексы цитирования обычно различаются в разы. Получается, что в этом примере ученая степень оказывается менее вводящим в заблуждение признаком. В любом случае, если уж абсолютизировать «объективность», то по этому параметру любые индексы цитирования неизмеримо хуже, чем сравнение ученых по длине среднего пальца, которая не зависит даже и от благоволения цитирующего. Как мы видели в случае докторов физико-математических наук (скорее всего, имеющих пальцы сопоставимой длины), такое сравнение иногда дает и менее парадоксальный вывод о сравнении научной силы.

Я согласен с Андреем Поляниным, что эмоциональные высказывания в поддержку кандидатов не должны восприниматься сколько-нибудь серьезно, но индексы цитирования – не единственная возможная и не всегда лучшая гарантия качества, и вот почему.

Как бы это объяснить попонятнее? Представьте себе, что вы только что впервые взошли на вершину в Гималаях. Выше идти некуда. Никто не использует вашу финальную остановку как промежуточный лагерь для дальнейшего штурма. Никто не упомянет вас, гордо написав впоследствии, что поднялся на целых десять метров выше самого́ NN (это – о цитировании, если кто не догадался). Через несколько лет кто-нибудь применит ваш опыт на другой горе, но до тех пор сидящий в Госкомспорте бывший инструктор ДОСААФ успеет смешать вас с грязью за несоответствие привычным ему представлениям о приличной массовости спорта.

Далее, до вас на этой горе никто не поднимался выше 7000 метров. Следовательно, дойдя до ее вершины, вы оказались единственным пользователем замечательных, но, увы, своих собственных рекордов: прохода стены на 7100 метрах, камнепада на 7300 и т. п. (Это, соответственно, о самоцитировании). Тут можно поговорить о том, хорошо ли лезть на гору, когда не вся картошка собрана, но все-таки это несколько другой (хотя и важный) разговор, не имеющий отношения к вопросу о «выдающности».

Теперь мне неминуемо придется обратиться к случаю Александра Гайфуллина, раз уж из-за него начался весь этот сюжет, а заодно и потому, что это дистиллированный пример для всего сказанного. Возьмем, например, наиболее легко объясняемый результат Гайфуллина – теорему о «кузнечных мехах», говорящую, что при любой непрерывной деформации многогранника с треугольными гранями и неизменными длинами ребер сохраняется его объем. У этой задачи, идущей от Огюстена Коши, долгая история, связанная с доказательствами в разных частных случаях (например, для выпуклых многогранников). Предыдущий прорыв в этой задаче – неожиданное полное решение в трехмерном случае – относится аж к 1996 году. При этом было ясно, что использованные методы не годятся в более высоких измерениях. Потребовалось 15 лет, чтобы Гайфуллин нашел подход, работающий в четырех измерениях… но опять непосредственно не продолжаемый дальше. Еще месяцы (или год?) работы, и тот же Гайфуллин (вот оно, самоцитирование!), используя неожиданную технику, которую никто в этой области не применял, находит способ преодолеть эту трудность и доказывает теорему во всех размерностях. Еще через пару лет он же (ага!) находит совсем другой, олимпиадный по духу подход, позволяющий распространить результат на неевклидовы пространства. Да, на сегодняшний день он оказался не имеющим конкурентов восходителем на эту вершину, работающим на этом уровне. Надо ли ставить это в вину? Или кто-нибудь готов аргументированно оспорить это описание ситуации?

Судьбы еще двух результатов Гайфуллина сходны между собой: это знаменитые проблемы, возникшие в 1950-е годы, в период взрывного развития алгебраической топологии, затем изучавшиеся великими математиками (а Израиля Гельфанда, Рене Тома и Джона Милнора без натяжек можно так назвать) и добитые Гайфуллиным в неулучшаемом виде (во всяком случае пока непонятно, как бы их можно было улучшить).

Можно говорить об издержках этого «рекордсменского» стиля работы на покорение знаменитых вершин (часто встречающегося у бывших суперолимпиадников). Но нельзя не признавать эти работы более заслуживающими название выдающихся, чем деятельность подавляющего большинства мирных тружеников, спокойно нарабатывающих свои индексы цитирования, например, на ниве издания и переиздания справочной литературы или же проведения квалифицированных, но не очень неожиданных опытов или обсчетов серийных прикладных задач (каковая деятельность находит быстрый отклик у многочисленных коллег, столь же размеренно возделывающих соседние делянки). Хорошо понимаю негодование таких честных тружеников в адрес тех их соседей по пашне, которые не делают и такой работы с должным усердием, а продвигаются за счет знакомств и интриг; понимаю и желание внедрить какой-нибудь норматив, чтобы уесть таких разгильдяев. Только давайте не навязывать этих нормативов тем, кто в Гималаях: все там устроено по-другому, и если что-то из вышесказанного противоречит статистическому опыту, накопленному кем-то «за всю свою счастливую жизнь», то ведь и каждое одоление старой задачи является таким противоречием: ну вот сколько себя помню, всегда эта проблема была нерешенной, и вот вам пожалуйста…

В связи с этим сравнением предвижу обвинения в потакании эстетству, элитарности, декадентству и в невнимании к нуждам народного хозяйства. Более того, признаю, что тут есть реальная проблема, и многие хорошие математики сами комплексуют от невозможности дожить и убедиться в непосредственных приложениях своего труда. Эта тема требует особого разговора, а пока сошлюсь на справедливые слова Вигнера о непостижимой эффективности математики в естественных науках, на безусловную необходимость ее присутствия в жизни общества, а также на то, что жизнь, азарт и поддержание квалификации в математику в очень большой степени вносятся именно решением очень трудных задач, вытекающих из ее (математики) внутренней логики и красоты. Поэтому среди разнообразия стилей занятия математикой право на существование имеют все стили, кроме унылой халтуры, и этот альпинистский стиль не в последнюю очередь.

Вопрос остается открытым

Андрей Полянин превратно трактует мои слова о шести-восьми годах отсрочки. Результаты Гайфуллина уже сейчас должным образом восприняты мировым научным сообществом, ведь (по определению амбициозные) публикации, в которых заявляется решение классических проблем, в журналах высшей лиги неизбежно предваряются проверкой с пристрастием, а исчезновение такой проблемы из разряда нерешенных – событие в жизни этого сообщества. Повторю для такого случая и о пленарном приглашенном докладе на Европейском математическом конгрессе. Поэтому разъясняю: предлагая вернуться к вопросу через шесть-восемь лет, я выразил свою надежду, что к тому времени знаки общественного признания работ Гайфуллина достигнут такого уровня, что переубедят любых скептиков (для многих из которых, боюсь, все сказанное выше пока что не пересиливает их системы предубеждений), а ярых критиков выставят в комическом свете. Хотя, конечно, можно полностью окуклиться тезисом о недобросовестности вообще любых человеческих оценок и решений, но это совсем уже привет от епископа Беркли.

Я признаю́сь в этих надеждах с большой неохотой и тревогой, поскольку в такой тонкой сфере, как психология научного творчества, нам с вами очень легко навредить своими оценками и прогнозами любого знака.

О «Корпусе экспертов»

В следующих двух абзацах Андрей Полянин неточен: на самом деле речь идет не о топологическом парадоксе, а о статистическом, состоящем в радикальном различии между статистической и детерминированной зависимостью. Существование одной из них не противоречит отсутствию другой – вот и весь парадокс. Именно на признании этого различия основан подход «Корпуса экспертов», эксплуатирующий статистическую зависимость между научными заслугами и цитируемостью на первом этапе, т.е. при наборе некоторого начального ядра экспертов. В силу этой зависимости по идее в это ядро не должно проникнуть фатально много слабых ученых с высоким индексом цитирования. На втором же этапе предполагается обязательно применять человеческую неформальную экспертизу, позволяющую доминирующему большинству, состоящему из сильных ученых, кооптировать по своему разумению также сильных ученых с менее высоким индексом. Конечно, при предположении о существовании детерминированной зависимости все эти сложности были бы не нужны.

Мне нравится эта идея, но с некоторым опасением: система может оказаться неустойчивой, если менее квалифицированная часть околонаучного сообщества преуспеет в наращивании своих формальных индексов цитирования.

Нельзя забывать, что исключение человека из системы оценки и передача этой функции любому сколь угодно сложному (но известному) алгоритму позволяет немедленно написать программу, способную накрутить любые индексы и импакт-факторы за счет ею же, программой, написанных статей достаточного количества взаимоцитирующих «авторов» в достаточном количестве специально для этого учрежденных журналов.

Про то, следует ли совсем не учитывать наукометрическую информацию, я уже писал выше. Надо ее учитывать и использовать как косвенное свидетельство при обсуждении кандидатов, которых мы плохо знаем, в частности, как сигнал, что надо бы про них узнать получше. Более того, она может быть стимулом для того, чтобы перепроверить свои представления о тех, кого мы знаем.

Нужен ли перед выборами фильтр?

Отсеивающий фильтр, конечно, вводить нельзя, исходя хотя бы из рассмотренного выше примера, а также из множества других. Все-таки не картошку отбираем. Если где-то такой фильтр является меньшим злом, то боюсь, что в этом месте надо попробовать вообще все переделать заново, но во всяком случае не заставлять всех остальных травиться тем же лекарством.

Моя полная поддержка тезиса о важности реакции мирового научного сообщества на работы кандидатов также видна из сказанного выше, равно как и то, что индекс Хирша не тождествен достаточно полному описанию этой реакции. А про то, как мировое математическое сообщество реагирует на воинствующую наукометрию, сказал Станислав Смирнов в интервью, упоминавшемся перед текстом Андрея Полянина.

Стоит ли отменить молодежные вакансии?

В связи с предложением об отмене молодежных вакансий могу лишь сказать, что в этот раз при выборах академиков по нашей секции дискриминированной оказалась именно «молодежь», так как список кандидатов в этой номинации выглядел внушительнее (а мест было меньше), чем во «взрослой» группе. И да, только в номинации молодых членкоров результаты выборов по нашей секции представляются мне практически оптимальными. Наконец, повторю самое главное. Важнейшим инструментом доброкачественных выборов (а также много чего еще) является институт репутаций – в данном случае не столько кандидатов, сколько самих выборщиков, отвечающих за свой выбор. К формальным показателям как доминирующему критерию приходится обращаться, когда с репутациями становится совсем плохо, и в этом случае уже мало что можно поправить.

Этот же инструмент, а не формальные показатели должен быть определяющим в любом околонаучном споре, предполагающем рассмотрение по существу. Давайте заметим, что по вопросу о том же Гайфуллине все, кто что-то понимает в этой науке, кто что-то читал и слушал по существу его работ, говорят одно и то же, а с другой стороны слышится исключительно «Я Гайфуллина не читал, но верую, что эти его работы ничего не стоят, потому что Хирш…». Внутренний голос подсказывает мне, что и многие читатели этого текста думают про себя, что по этому вопросу я навожу тень на плетень: «Ведь не может же это быть правдой, так как все мы знаем, что Хирш…». Но отыщите хоть одного уважающего себя и дорожащего своей репутацией серьезного специалиста по современной топологии/геометрии (желательно где-нибудь подальше, чтобы не было сомнений в независимости от местных административно-семейственных эффектов), который перед лицом того самого высокого мирового математического сообщества ответственно и сознательно присоединится к такому мнению. Вот тогда и будет о чем говорить.

Автор — Виктор Васильев

Подписывайтесь на Indicator.Ru в соцсетях: Facebook, Вконтакте, Twitter, Telegram.