«Вред от этого больше, чем от диктаторов»

В чем компания Theranos «прокололась» перед лингвистами, как BBC врет про Трампа, а Sputnik – про шпили, как профессиональная ложь создает проблемы в медицине и может ли алгоритм искать фейковые новости и видеть обман в рекламе, научных статьях и грантовых заявках, читайте в продолжении материала Indicator.Ru.

На лингвистической конференции «Диалог» мы поговорили с Борисом Галицким и Диной Писаревской – разработчиками алгоритма, который благодаря анализу дискурса отличает правдивые жалобы клиентов банка от ложных. Из второй части интервью вы узнаете о профессиональных лжецах, недостатках глубокого обучения, фейковых новостях, псевдонауке и «серых зонах» рекламы (в том числе медицинской).

«В ложных текстах больше причинно-следственных связей!»

– Как анализ дискурса можно использовать для того, чтобы читать новости и видеть, где ложь, а где правда?

Б. Г.: Очень сложное ментальное состояние, много коммуникативных действий (когда я говорю, что мне кто-то сказал, потому что ему объяснили, я это выслушал и ответил, и тогда…), слишком сложное объяснение явлений (не в физическом мире) – так часто врут профессиональные журналисты. В моем выступлении я приводил в пример BBC. Там очень хорошо разработанная тема – сговор Трампа и России. И на него якобы есть компромат. Но как наврать, чтобы его не просили предъявить? Можно сказать: «Про то, что был компромат, кто-то сказал в своем докладе, и если бы его не было, то другой человек не сказал бы, что была организована комиссия для его рассмотрения…» Может, с моими словами про Трампа вы не согласитесь, но здесь конструкция подозрительно сложная. Был бы компромат – показали бы его, и дело с концом. А раз приходится изобретать сложные ментальные состояния, вероятнее всего, его нет.

Д. П.: Когда мы только начинали заниматься этой темой, появились вещи, которые противоречат нашей интуиции. Как отличить текст ложный от правдивого? Наверное, правдивые содержат логическую аргументацию, а недостоверный упирает на эмоции, автор «льет воду». Но если человек хочет замаскировать недостоверную информацию, он начинает выстраивать более изощренную аргументацию, сложные по структуре причинно-следственные связи. В науке это очень заметно, и этот подход применим к разным языкам. Например, есть работы для научной журналистики, научных статей, где авторы использовали алгоритм для сравнения ложных и правдивых текстов и увидели, что в ложных больше причинно-следственных связей!

«Сообщество глубокого обучения не заморачивается о качестве данных»

– Раз уж вы заговорили о научной журналистике: когда научно-популярный портал рассказывает, как работает некий физический или физиологический процесс – вот вам и масса причинно-следственных связей. Некоторые порталы еще и эмоционально окрашивают тексты – стиль такой. Что с этим делать в рамках вашего подхода?

Б. Г.: Очень важно различать профессиональное вранье и непрофессиональное. Если все профессионально сделать, обнаружить ложь почти нельзя, если вы не эксперт в этой области. Как-то я читал описание доклада, которое очень мне понравилось, а потом специалист послушал и сказал, что это полная ерунда. Я вам сейчас таких теорий про лингвистику придумаю! Скажу, что есть у одних лягушек специальный язык, у которого специальные дискурсивные свойства, и вы этого не проверите.

Д. П.: Наша теория опирается на языковые признаки. Если речь идет про научный текст, не обойтись без экспертной оценки. С другой стороны, из неязыковых признаков можно добавить фактчекинг: например, говорится «по теории такой-то», а такой теории нет, или она опровергнута. Нужно будет опираться на другие ресурсы, например базы знаний, энциклопедии и словари по данной теме.

Б. Г.: Да, но это тоже нужно делать с умом. Есть такой метод – глубокое обучение. Алгоритм работает с огромными массивами данных и принимает решения, опираясь на механизм, который абсолютно непонятен. И сообщество глубокого обучения вообще не заморачивается о качестве данных – главное, чтоб их было много. Если вы поищете FakeNews.com, на их результаты посмотрите, в некоторых случаях вообще будет непонятно, почему это отнесли в фейк, а то в правдивые новости. Но те, кто работают с алгоритмом, просто говорят: смиритесь, глубокое обучение лучше человека все знает. Сейчас этот метод очень популярен, потому что он легко применяется и дает высокий процент совпадений. Но обучающие выборки бывают просто бессмысленными. У вас будет ответ, а объяснения не будет, и ответ будет выглядеть как взятый с потолка.

Д.П.: Недавно один из крупных порталов, которые занимаются фактчекингом, вывесил список СМИ, публикующих недостоверные новости. На них обрушился шквал критики, список называли очень субъективным, потому что были непонятны критерии. Список пришлось убрать, потому что пока мы не можем придумать такие критерии.

«Вопрос в том, насколько человек сам знает про себя, что лжет»

– Но есть же заведомо ложные вещи, о которых в интернете куча текстов написано. Возьму и расскажу вам про плоскую землю – вы своим алгоритмом чего только не найдете.

Б. Г.: Это вопрос авторитетности источника. Если взять не просто Google, a Google Scholar, то там уже никто не напишет про плоскую землю.

– В PubMed можно найти кучу научных статей, подтверждающих противоположные точки зрения на диеты и лекарства – в зависимости от того, кто финансировал исследование или какая теория автору больше нравилась. Грубо говоря, если вы продаете вишни, вы проводите или поддерживаете исследования о том, как много в них витаминов, и как все сразу вылечатся, когда начнут их есть. А если вы противник вишен, вы посчитаете количество сахаров в них и напомните, что сахар – зло.

Б. Г.: Во многих случаях исследователи обязаны говорить, кто их финансирует, можно внести и такое уточнение в алгоритм. Можно коммерческие работы вообще не считать.

Д. П.: Да, мы не можем понять, достоверна или нет эта информация, но сможем увидеть, что существует дискуссия, что ее упоминают в уважаемых научных источниках.

– А можно ли отличить по тому же алгоритму высказывание человека, желающего казаться экспертом в теме, в которой на самом деле он не разбирается?

Б. Г.: Да, тут та же самая задача, просто выборка другая. Возьмем прием на работу: чтобы создать впечатление о себе, пройти собеседование, нужно убедить и в риторическом пространстве, и в пространстве фактов.

Д. П.: Текст человека, который умышленно обманывает и знает, что не разбирается в теме, будет по структуре отличаться от текста, написанного уверенным в своих словах человеком, даже если он сделает какие-то ошибки. То есть вопрос еще в том, как человек строит коммуникацию, насколько он сам знает про себя, что лжет.

«Только государство может это пресечь»

– В докладе вы упоминали случай Элизабет Холмс, говоря, что давно используете ее слова как пример обмана. Как вы поняли, что ее технология не работает, до того, как была доказана несостоятельность метода?

Б.Г.: Тот же самый способ – я увидел сложные ментальные состояния. С чего все началось: двое работников ушли, потому что поняли, что метод не работает. Они очень расстроились, потому что очень ей верили, были с ней знакомы. Они сначала пытались написать в компанию, спросить, как же так, а не просто уволились, потому что что-то не нравилось. Их сразу стали пугать – мол, молчите вообще. И они тогда написали письмо журналисту Wall Street Journal, и там вышла статья, что это все похоже на липу, когда официальные органы еще не занимались проверками. Я случайно прочитал и увидел, как компания отвечает. В Theranos никогда не отвечали по-простому, они стали оправдываться: «Эти работники на нас обиделись, плохие люди, а журналисты этим воспользовались». Компаниям весь этот шум неприятен. Гораздо быстрее и проще предоставить документы, что тест правильный, и уже никому не важно, кто там что сказал. Но во время этой дискуссии считалось, что есть два монополиста в этой сфере, которым выгодно Theranos убить, потому что метод анализа крови от этого стартапа более дешевый и угрожает захватить рынок. Вред от этого больше, чем от диктаторов или политиков, коррупции экономической – ведь сколько людей получили ошибочный результат анализов, принимали не те лекарства или остались без своевременной диагностики опасных болезней.

– В России с этим вообще беда. По закону реклама медицинских препаратов и услуг очень ограничена, а приводить конкретные примеры чудесного исцеления нельзя. Но куча производителей (особенно БАД) распространяют брошюры, выглядящие так, как вы описали профессиональное вранье: меня зовут баба Зина из Хабаровска, мне 72, я болела с такими-то симптомами, пила столько-то капель живицы трижды в день, и вот колени мои прошли, голова не болит, а спина как у молодой!

Д.П.: В соцсетях такого тоже очень много.

Б.Г.: Здесь еще хуже: ты приходишь в аптеку, и даже без печатной рекламы тебе начинают рассказывать. И тут невероятно высокий уровень доверия, особенно в старшем поколении. Им всю жизнь по телевизору или в газетах что-то навязывали – то пропаганду, то рекламу. В США (снова вспомним Theranos) люди не так привыкли верить рекламе, но кто будет оспаривать результаты анализов крови? Только государство может это пресечь, но анализам крови мы привыкли доверять, кто пойдет делать их повторно для перепроверки? И вред может быть просто огромным, это прямая угроза жизни.

«Если честно говорить, то грант, может, и не дадут»

– Как вы считаете, можно применять ваш алгоритм для оценки достоверности рекламы? Или слишком много заинтересованных сторон, и денег здесь не дадут?

Б.Г.: Рекламу контролировать централизованно сложно, конечно. А вот сделать себе расширение в браузере, например, в Яндекс.Браузере или Google Chrome, можно было бы – пожалуйста, это выгодно пользователям, идея хорошая. Даже если все против – кто тебе на свой компьютер установить помешает? Сделать, чтобы был индикатор, который мигает, когда много признаков обмана в новости или рекламном тексте. Как AdBlock.

Д.П.: Действительно, можно, но есть опасность, что это будет гонка вооружений. Недавно все новости рассказывали о программе, которая создает фото никогда не существовавших людей – смотришь на них, и не видишь отличия от настоящих. Так создают и программы, которые мимикрируют под как можно большее число признаков достоверного текста. Соответственно, если будет известно, что расширение для браузера будет реагировать на тексты с определенной структурой, то это будет вечное перетягивание каната: одни улучшают алгоритмы, другие ищут способы их обойти.

Б.Г.: Более того, уже делают для компаний тексты, которые не людей обманывают, а поисковые системы. Допустим, есть небольшая компания, и ей хочется всем внушить, что она по каким-то модемам главный эксперт. Берутся рецензии с Amazon, меняется название модема на другое, они соединяются, генерируются тысячи разных рецензий, Google их индексирует. И когда люди ищут «купить такой-то модем», приходят на их сайт. И компаниям это очень нужно. Если поисковик это обнаружит – он заблокирует. Но иначе ничего не сделаешь – это проще, чем писать все эти рецензии от руки.

– Можно ли применить программу к другим сферам деятельности? Например, к анализу заявок на научные гранты? Придется ли как-то изменить при этом алгоритм?

Б.Г.: Действительно, бывает, что кто-то преувеличивает результат, ведь иначе и грант не получишь, и статью не примут в печать. Если приводить пример, на одной конференции представляли робота и о нем такого рассказали! И настолько он умный, и то он умеет, и это может. Робот способен обучаться с простых примеров: «Я сижу на синем стуле. На каком стуле я сижу?» Но там настолько сложные были фразы и понятия – никак не обучишь так отвечать. И речь не о роботе даже, а о программе, которая учится разговаривать, робот там только для вида. Это очень напоминает профессиональное вранье. Но если честно говорить, что я показал пять стульев, спросил робота, какой из них красный, и он ответил, – то грант, может, и не дадут.

Д.П.: Мы пробовали работу системы на текстах разных жанров: жалобы, в чем-то сходные с ними отзывы, также мы в статье приводим примеры, как выглядит дискурсивная структура новостей, вызывающих сомнения в плане фактологии, и как анализ коммуникативного дерева дискурса позволяет это выявить. Для оценки мы также использовали датасет, содержащий деловую корреспонденцию. Мы планируем рассмотреть, как система работает и на текстах других жанров, так как у нас есть гипотеза, что определенные паттерны в структуре дискурса могут сохраниться (и грантовых заявок это тоже касается). Поскольку система только на начальном этапе разработки, безусловно, мы будем вносить в нее изменения.

«Анализ фейковых новостей – это вопрос разработки критериев»

– Есть ли различия между жанрами, когда вы говорите про ложную или правдивую информацию?

Б.Г.: Во-первых, есть целая теория текстовых жанров. Каждый год мы на «Диалоге» встречаемся с Сергеем Шаровым и спорим: слова-то одни и те же, а жанры разные, но дискурсивные признаки те же или нет?

Я вам такой пример приведу (мы и патент делали на эту тему). Допустим, есть в компании секретные документы – инженерные, технические спецификации. И вам захотелось по какой-то причине файл по облаку переслать. Если это патент или научная статья, то почему нет, пересылайте. Не запрещать же все – работники будут жаловаться. А вот если это техническая документация, описание проекта или системы, то нельзя. И здесь тексты имеют четкие различия по структуре, по стилю, и программа их увидит.

Д.П.: Мы пробовали систему на жалобах и на отзывах, и во многом эти тексты, подстроенные под разные задачи, оказались похожи. Также мы использовали датасет с деловой корресподенцией. В дальнейшем мы как раз хотим этим заняться.

– А к разным жанрам подходит один и тот же алгоритм?

Б.Г.: В идеале для каждого жанра алгоритм обучается индивидуально. Но неудобство в том, что для его обучения надо все вручную отсортировать, чтобы он имел готовые примеры. И с жалобами все просто: либо ты удовлетворяешь их, либо отклоняешь. А вот с фейковыми новостями, цитатами Трампа и подобным все хуже: это часто неоднозначные вопросы, и на ответ будет влиять позиция проверяющего эту выборку.

Д.П.: Если говорить про анализ новостей, это вопрос разработки критериев, по которым эксперты смогут определять – фейк это или нет. Но если причины разметить новости по группам необъективны, то и система необъективна. Придумывают их тоже люди, у которых есть свои позиции, свои взгляды.

Поэтому дальше, во-первых, как мы уже сказали, мы планируем продолжить эксперименты с текстами разных жанров, чтобы проверить, можно ли построить универсальную систему классификации для достоверных и недостоверных текстов, основанную на дискурсивных признаках применительно к самым разным жанрам текстов. Во-вторых, мы планируем сфокусироваться на повышении точности (уменьшить число false positives – текстов, которые система ошибочно распознает как недостоверные). Нам кажется, это наиболее важная задача в нашей сфере.

– Как вы планируете это сделать?

Б.Г.: Для этого надо придумать более точные модели, добавить к анализу дискурса какую-то информацию, например про страны, организации, людей, географическое положение. Возможно, попробовать другое обучение. Но главное, конечно, найти интересный индикатор: пока у нас есть речевые акты, а можно, допустим, количество отношений добавить. Есть анекдотические истории: например, с любителями соборов в Англии (Александром Петровым и Русланом Бошировым, которых в Великобритании обвиняют в отравлении нескольких человек, — прим. Indicator.Ru), когда Sputnik пытался как-то объяснять, что произошло. И это тоже не программистская задача, а лингвистическая. В общем, нужно искать интересные области, интересные примеры.

Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще.

Подписывайтесь на Indicator.Ru в соцсетях: Facebook, ВКонтакте, Twitter, Telegram, Одноклассники.