Истина в одной из инстанций

Кажется, что научная статья воплощает истину в последней инстанции. Пара абзацев про контекст и актуальность исследования во введении, исчерпывающее описание всех использованных техник, ключевые результаты с погрешностями и обязательным обсуждением всех подводных камней и возможных интерпретаций. В реальности все немного иначе. Физик и научный журналист Михаил Петров рассказывает, как в их лаборатории повторяли эксперимент статьи из журнала Nature и что из этого вышло.

…В прошлом году нам в лаборатории нужно было повторить эксперименты из статьи Nature 2014 года, в которой гарвардские ученые рассказывают о создании нового типа аккумуляторов — экологичных, дешевых, эффективных. В общем, лучше процитировать оригинальную работу: «Кроме того, существуют натуральные продукты, которые тысячелетиями извлекаются из такого общераспространненого сырья, как корень ревеня, и могут служить возобновляемым источником для изготовления будущих электролитов на основе антрахинона» (т. е. топлива для тех самых батарей).

После такого предложения моя воля серьезно ослабляется. Возобновляемые источники энергии, тысячелетние секреты, ревень (что это вообще?). Пальцы тянутся отстукивать новость с очевидным заголовком, голова мечтает о тексте побольше, опыт экспериментальной работы будит скепсис и указывает на уловку, наживку для журналистов (или коллег, далеких от темы).

Читаем статью целиком и видим: во-первых, 99,9% текста не пересекается с посылом про ревень. Во-вторых, ни в этой, ни в одной из последующих работ коллектива не делается попыток экспериментально проверить чудесную возможность использования ревеня. И в-третьих, в конце цитируемого предложения, вклинившегося между рассуждениями о влиянии различных функциональных групп на свойства топлива и словами про квантово-химические расчеты, даже нет ссылки на источник информации. В итоге получаем десятки научных новостей, большинство которых фокусируется именно на ревене, и более 500 цитирований в научных публикациях, часть которых наверняка пришла именно на этот трюк. Впечатляющая эффективность такой небольшой уловки.

<...>

Кажется, что научная статья должна быть прямой инструкцией к действию — прозрачной, обоснованной, исчерпывающе запротоколированной. Идеальным кирпичиком господствующей научной парадигмы. Экстерьер гарвардской работы отлично попадает в это представление.

Во-первых, она очень плотно написана — что-то вроде набоковской прозы, но только вместо образов и метафор цифры, графики и гипотезы. Ультракраткое введение, дислоцирующее читателя на местности. Мечты о гегемонии возобновляемой энергетики — недостатки доминирующих технологий хранения энергии — преимущества проточных батарей и, в частности, антрахинонной химии. Все укладывается в 2100 знаков и несколько минут читательского внимания — тут я испытываю чисто писательскую зависть.

Дальше все развивается в установленном ритме. Каждый абзац — лаконичное описание измерений, сделанных с помощью разных экспериментальных методов. Никаких самоповторений, развернутых любований деталями и искусственного преувеличения важности работы.

Большинство научных статей, по моему опыту, бесконечно воспроизводит устоявшуюся композицию колосса на глиняных ногах: сначала пространно расскажем о мировых проблемах и наметим сто четких шагов к их решению, а потом очень путано и невнятно подумаем, как можно сделать шаг №53, и покажем, как разные варианты шага №72 влияют на возможность сокращения пути с шага №95. В общем, под громкой вывеской подается что-то очень фрагментарное, смутное и неоконченное. Работа с антрахинон-бромной батареей этим не страдает.

Еще один ее плюс — это полифоничность. В статье используется много разных электрохимических методов, что дает, во-первых, объемную картину идеи, а во-вторых, оставляет точки входа для читателей с близким, но не идеально совпадающим научным бэкграундом.

В общем, прекрасное научное чтение. Однако нам нужно было не насладиться текстом, а повторить ключевые результаты. И когда от чтения мы перешли к экспериментам, идеализированная картина начала разрушаться. За внешней гармонией всей конструкции скрывалась сложно сочлененная внутренняя жизнь.

Между строк

Тут мне хочется поступить в истинно европейском рациональном ключе — классифицировать все и получить список. Иначе рассказать о трудностях превращения (казалось бы) хорошей научной статьи в четкую инструкцию к действиям будет проблематично.

Итак, при попытке воспроизвести статью абстрактный внешний разум читателя-переходящего-в-экспериментатора может столкнуться с препятствиями трех типов: фактическими ошибками, умолчаниями и уловками.

Фактические ошибки. Ключевые компоненты мембранно-электродного блока — это электроды, на которых протекают реакции с электролитами. Чаще всего это разные углеродные бумаги, и здесь авторы протоколируют, что использовали бумагу Toray толщиной 7,5 микрона. Но такой толщины Toray в природе просто не бывает! Минимальная толщина этой бумаги — 110 микрон, и мне очень сложно представить, с какой вероятностью можно случайно перепутать на клавиатуре кнопки «1», «0» и «7», «,» и «5», особенно если ты десятки раз измерял толщину электрода штангенциркулем, чтобы подобрать другие элементы сборки батареи, а потом записывал результаты где-то на обрывках салфеток, терял их, находил снова, и так по кругу. Получается, автор текста статьи про антрахинонную батарею (во всяком случае той ее части, где упоминается толщина электрода) не очень часто собирал саму батарею.

Умолчания. Для проточных батарей традиционно приводят ватт-амперные характеристики — это серия графиков, которые показывают, с какой максимальной мощностью может разряжаться батарея в зависимости от степени ее заряда. В статье ватт-амперные характеристики, конечно, есть, но ни слова не говорится о том, как они были получены, что несколько странно: среди электрохимиков нет особого согласия по тому, как измерять эти характеристики, а результаты, полученные разными способами, могут заметно отличаться друг от друга.
При этом в тексте статьи есть скрытое признание того, что проблема в принципе существует, — приводятся ватт-амперные характеристики для батареи, заряженной на 10, 50 и 90%, а графика для 100% нигде нет. Потому что именно при 100% особенно явно проявляются проблемы, которые не дают ученым договориться о единой технике.

Уловки. Антрахинон-дисульфокислоту AQDS, которую использовали в аккумуляторах, готовили из ее соли, но параллельно наметили и более дешевый путь, для которого в качестве исходного топлива нужен только антрахинон и олеум. В статье приводятся некоторые результаты предварительных электрохимических измерений с таким топливом, но в самой батарее оно не используется, в то время как оценку стоимости работы батареи авторы дают именно для случая использования дешевой топливной смеси (антрахинон стоит порядка 2000 рублей за 250 граммов, а соль антрахинон-дисульфокислоты дороже почти в 40 раз). При этом нигде в следующих работах коллектива больше не упоминалось об использовании электролитов, полученных по дешевому пути. Или тем более полученных из ревеня, принесшего этой статье столько упоминаний в прессе.

В сухом остатке выходит, что под внешне безупречной конструкцией скрываются детали, усложняющие точное повторение работы в другой лаборатории и преувеличивающие перспективность ее результатов.

В результате характеристики нашей антрахинон-бромной батареи оказались почти в два раза хуже заявленных в работе. На это были свои причины: мы использовали менее концентрированные электролиты, более толстые электроды, по-своему мерили вольт-амперные характеристики — в общем, немало мелких отличий от оригинала. Но скорее всего, серьезная часть наших расхождений с гарвардскими результатами объясняется именно трудностями воспроизведения.

Так что прямой инструкцией к действию даже статью из Nature точно не назвать. <...>

Автор: Михаил Петров

Оригинал текста