Двое против всех: новое исследование онлайн-упоминаемости российских вузов

Специалисты «Коммуникационной лаборатории» Российской венчурной компании (РВК) и компании Digital Science опубликовали исследование онлайн-упоминаемости научных публикаций российских университетов на основе Altmetric Score — индекса влиятельности статей, который рассчитывают на основе количества просмотров, скачиваний, упоминаний статьи в СМИ, блогах и социальных сетях. Его часто используют зарубежные организации, такие как журнал Nature. Можно ли применять этот показатель к публикациям отечественных вузов и почему исследователи сосредоточили свое внимание только на вузах Проекта «5-100», практически не рассказав о других университетах? Об этом и о некоторых других нюансах анализа Indicator.Ru поговорил с одним из авторов работы, директором Центра научной коммуникации Университета ИТМО Дмитрием Мальковым.

— Как получаются цифры показателя Altmetric Score?

— Показатель формируется из суммы баллов за упоминания научной публикации во всех источниках, которые индексирует Altmetric. За упоминания в разных источниках публикации присваиваются разные баллы. К примеру, за упоминание в СМИ публикация получит 8 баллов, за упоминание в блоге — 5, в Twitter — всего 1. Таким образом, показатель для вуза – это сумма всех баллов, полученных всеми публикациями вуза во всех источниках за анализируемый период.

— Можете подробнее рассказать, какие именно составляющие учитываются в Altmetric Score? Какие-то российские источники там учитываются?

— Altmetric Score учитывает СМИ, блоги, Twitter, Facebook, LinkedIn, Reddit, YouTube, Q&A разделы сайтов, Википедию, различные правовые и политические документы и ряд других источников. Из российских источников учитываются некоторые российские СМИ, у которых есть лента RSS и которые попали в мониторинг Altmetric. Когда мы начинали работать с этим сервисом, из российских СМИ в базе Altmetric были «Газета.Ru», «Наука и жизнь», «Лента.ру» и еще парочка.

— К слову об условных весах источников. Почему вес Facebook в четыре раза меньше веса Twitter?

— Мне сложно ответить на этот вопрос. Тут логика не совсем очевидна, но я бы предположил, что это связано с тем, что на Западе Twitter в разы чаще используется для профессиональной коммуникации, особенно среди ученых, нежели Facebook. Для нас это не совсем интуитивно, потому что в России все, пожалуй, с точностью до наоборот. Но надо понимать, что разработчики Altmetric в большей степени ориентировались на западные страны.

— Среди источников вы упомянули политические и правовые документы. Что это под собой подразумевает? Каким образом научная статья или пресс-релиз вообще может попасть в политический документ?

— Правовые или политические документы — это различные отчеты ООН, ЮНЕСКО или, к примеру, документы, размещенные на всяких правительственных сайтах типа gov.uk.

На научные публикации часто ссылаются в правительственных отчетах по разным областям науки, будь то нанотехнологии, генная инженерия или что угодно. Скажем, если это какой-нибудь отчет по климату, то там обязательно будет часть, посвященная обзору доказательной базы, где могут оказаться ссылки на научные публикации.

— Вы отдельно анализируете внимание аудитории Twitter к российской науке, не затрагивая более популярный в России Facebook (он тоже есть в числе источников для Altmetric Score) и не анализируя еще более популярные социальные сети «ВКонтакте» и «Одноклассники», аудитория каждой из которых минимум в три раза больше аудитории Twitter. Насколько показателен в свете этого ваш анализ?

— Altmetric не мониторит ни «ВКонтакте», ни «Одноклассники», поэтому мы в любом случае не смогли бы включить их в анализ. Сейчас мы сами (уже не на базе Altmetric) проводим похожее исследование в сотрудничестве с коллегами из ВК – смотрим на упоминаемость публикаций с российской аффилиацией в ВК. Но эти результаты появятся позже. Что касается Facebook, то он есть в мониторинге Altmetric, но по большинству вузов упоминаемость там была довольно скромной, так что сравнивать было нечего.

Twitter же за последние годы стал одним из самых мощных инструментов коммуникации ученых на Западе, так что было интересно посмотреть, насколько исследования с российской аффилиацией также проходят по этому каналу коммуникации. Более того, у большинства вузов была хоть какая-то Twitter-активность, достаточная для сравнительного анализа.

— Есть ли тогда какая-то альтернативная платформа для оценки упоминаемости, в которую можно было бы включить значимые именно для России источники публикаций? Кроме упомянутых социальных сетей, это и РИА, и ТАСС, и другие крупные СМИ, которые достаточно много пишут о науке. О том, какая у них аудитория, говорить не буду, это и так понятно.

— Такой национальной платформы не существует. На самом деле, нет никакой проблемы с тем, чтобы включить РИА или ТАСС в мониторинг Altmetric, скорее всего, британские коллеги это уже сделали. А вот с другими источниками, релевантными только для России, сложнее.

— Вы рассматриваете онлайн-упоминаемость научных публикаций только российских университетов. Почему из фокуса исследования исключены институты РАН?

— Для того чтобы получить данные по вузам, нам пришлось прогнать через Altmetric более 250 000 публикаций. Анализ такого объема статей занимает много времени и сил, поэтому мы решили пока ограничиться вузами. Аналогичный анализ по институтам может и должен стать предметом отдельного исследования. В остальном я согласен, что сопоставить онлайн-упоминаемость вузов и институтов было бы довольно любопытно.

— Так это все вручную делается, не автоматически?

— Отчасти. Дело в том, что библиографические данные по вузам, в том числе DOI публикаций, мы выгружали через профили вузов в Scopus. Эта база данных дает широкие возможности для анализа публикационной активности, но при этом Scopus ограничивает размер единоразовой выгрузки до 20 000 публикаций. Кроме того, нам нужно было проверить каждый организационный профиль в Scopus по всем 100 вузам, чтобы убедиться, что при выгрузке в данные не закрались ошибки.

Затем весь массив DOI по каждому вузу прогоняется через интерфейс Altmetric. После этого данные необходимо чистить, сортировать по датам и источникам упоминаний. Работа, на самом деле, колоссальная, и даже коллеги из британского офиса Altmetric очень сильно удивлялись, что мы взялись за анализ такого огромного массива.

— Давайте поговорим о представленных в исследовании графиках. На первом из них вы сравниваете МГУ, СПбГУ, все вузы Проекта «5-100» и все остальные вузы из топ-100 Национального рейтинга университетов. При этом показатели 21 вуза «5-100» выглядят лучше всех.

Насколько корректно сравнивать на одном графике результаты одного вуза, даже МГУ или СПбГУ, и суммарно двадцати одного? Ведь глядя на такой график, зритель, который не будет сильно вникать в описание, легко может ошибиться: ему покажется, что вузы «5-100» намного успешнее МГУ и СПбГУ. Хотя, если взять среднюю цифру по «5-100» и по не «5-100», картина будет совершенно иная.

— В обратном случае нам пришлось бы объединять МГУ и СПбГУ с группой вузов, которые не входят в «5-100», что очень сильно исказило бы картинку. Более того, мне кажется довольно показательным тот факт, что МГУ и СПбГУ по отдельности сопоставимы по активности с десятками ведущих вузов — довольно серьезный разрыв.

Усредненные показатели можно было использовать, но с ними получилась бы аналогичная проблема. Тогда невнимательный читатель может подумать, что вузы «5-100» в совокупности еле поспевают за МГУ и СПбГУ, что совсем не так. Тут, на мой взгляд, интереснее посмотреть на абсолютные показатели, тем более что вузы «5-100» в некотором смысле воспринимаются как единая сила в российской науке, этакий драйвер трансформации науки в университетах страны. Безусловно, мы не хотим никого вводить в заблуждение.

— Почему вы решили на первом графике группировать вузы, а не рассматривать их по отдельности?

— Мы рассматриваем по отдельности вузы первой и второй волны Проекта «5-100», с остальными вузами нам это было в меньшей степени интересно. Кроме того, сравнить 70 вузов на одном временном графике было бы затруднительно, даже с 15 вузами первой волны «5-100» приходится сильно всматриваться, чтобы понять, кто есть кто.

— Можно использовать ваши данные для того, чтобы анализировать, насколько хорошо пресс-службы вузов «5-100» выполняют свою работу без ручной их корректировки?

— Можно, но делать это нужно осторожно. В исследовании мы пишем о том, что работа пресс-службы — это лишь один из факторов, который влияет на альтметрики, наряду с публикационной активностью и международной деятельностью. Наш анализ позволяет сделать срез по упоминаемости публикаций российских вузов, но выводы о работе их пресс-служб нужно делать очень внимательно. Знакомство, пускай даже поверхностное, с каждым конкретным вузом помогает в этом.

— В вашем исследовании есть раздел «Анализ ключевых сообщений», в котором вы оцениваете каждый вуз Проекта «5-100» по отдельности, при этом исключая из выборки публикации без «прозрачного и очевидного упоминания самого университета». Что показывает этот раздел? Ведь любое СМИ или любой блогер (не говоря уже о правовых и политических документах) может легко убрать упоминание университета из своей публикации, даже воспользовавшись пресс-релизом, который подготовил вуз.

— В Altmetric можно посмотреть все новостные сообщения с упоминанием той или иной научной публикации. При таком ручном анализе становится довольно очевидным, где есть вклад пресс-службы, а где его нет. Скажем, если мы находили в списке новостей пресс-релиз на EurekAlert! (крупнейшем международном агрегаторе научных пресс-релизов), который исходил от российского вуза, мы сразу понимали, что этот вуз был инициатором коммуникации. Мне кажется, что случаи, когда СМИ получает релиз от вуза и решает вообще не упоминать его в материале, происходят достаточно редко, чтобы ими можно было пренебречь.

— Почему, несмотря на заявленные в заглавии исследования «российские университеты» вообще, особое внимание вы уделяете именно университетам Проекта «5-100»? Вы рассматриваете отдельно каждый из них, обходя вниманием СПбГУ и МГУ, которые тоже заслуживают анализа и оценки. И в выводах вы их тоже почему-то не упоминаете.

— Большинство из этих вузов мы хорошо знаем, поэтому нам было проще анализировать их и делать какие-то выводы. СПбГУ и МГУ очень сильно выбиваются по суммарному количеству научных публикаций и международных коллабораций (да и вообще занимают особое положение в российской науке и образовании), в связи с чем сравнивать их напрямую с вузами «5-100» довольно затруднительно. Но в целом я согласен: безусловно, они также заслуживают внимания.

Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще.

Подписывайтесь на Indicator.Ru в соцсетях: Facebook, ВКонтакте, Twitter, Telegram, Одноклассники.