Армии ботов, хакнувшие свободу слова. Интервью с продакт-дизайнером Twitter Джоном Беллом о троллинге и двойной сплошной в соцсетях

— Расскажите, что вы делаете в Twitter и зачем приехали в Москву.

— Прямо сейчас я уже не работаю в составе abuse-команды Twitter, но проработал в ней примерно полтора года. Сейчас работаю над тем, чтобы Twitter загружался как можно лучше в различных странах мира — в том числе, в странах с дорогим, медленным или нестабильным интернетом.

Когда я работал в abuse-команде (официально — команда по вопросам безопасности и нарушений), мы занимались всем — от буллинга и троллинга до вопросов нарушения privacy. Меня пригласила сюда «Стрелка», поскольку их исследования о будущем резонируют с тем, какие вопросы интересуют Twitter: как люди общаются и — что еще важнее — как не соглашаются друг с другом, какие формы будет принимать сопротивление в будущем (от борьбы с правительственной цензурой до случаев, когда люди подло поступают по отношению к бывшим партнерам — и все случаи в пределах этого спектра).

— Начнем с частного. Что такое троллинг по версии Twitter? Как его можно категоризировать?

— Сначала хочу отметить, что не могу представлять официальную точку зрения Twitter — можно опросить сотню сотрудников и получить сотню разных ответов. Раньше троллинг был достаточно однозначным явлением: заходишь на форум болельщиков «Барселоны» и пишешь, что «Реал Мадрид» лучше, а потом наблюдаешь за баталиями и смеешься. Это была такая разновидность пранка, когда ты сознательно подбиваешь людей на споры.

Теперь это слово стало практически бессмысленным — мы, конечно, будем его и дальше использовать в качестве этакого зонтичного термина, но сегодня троллинг в первоначальном смысле слова представляет лишь ничтожную часть явления. В современном смысле троллингом занимаются и спонсируемые на государственном уровне армии ботов, и парни, которые издеваются над бывшими. Теперь это слово фактически значит «говорить что-то гадкое» или даже «говорить что-то, что мне не нравится».

— Как компании, управляющие крупными социальными сетями, должны определять троллинг, чтобы не нарушить права на свободу слова и допустимое высказывание критической позиции?

— Это сложная проблема, у которой нет красивого и легкого решения. Начнем с простого: если решить, что свобода слова абсолютно превыше всего, то в соцсетях будут, скажем, детская порнография и терроризм — где-то так или иначе приходится проводить линию. Вред детской порнографии или открытых призывов к терроризму проговорить достаточно просто, но затем сразу попадаешь в серую зону, в которой каждой компании приходится проводить свои границы. Я читал интервью с людьми, стоявшими у истоков YouTube, когда у пользовательских видео было всего два запрета: нельзя показывать убийства и нельзя показывать секс. Все просто! Но пользователи сервиса загружали столько видео, которые не попадали ни в одну из этих категорий, что пришлось кодифицировать дальше. «Если есть такое, плюс такое, минус такое, получается...» — получается длинное уравнение, но довольно скоро они поняли, что уравнениями проблему не решить.

Знаете знаменитую американскую историю про судью Верховного суда, который так описал различие между эротикой и порнографией: «Узнаю, когда вижу»? Нельзя подходить к этому с мерилом вроде «один сосок — пойдет, два соска — уже слишком». Не может быть каких-то математически четких критериев.

В Twitter есть вещи, о которых мы говорим публично, и есть внутренние гайдлайны. Компании всегда действуют так: мы декларируем, что красная линия проходит вот тут, но приходится оставлять за собой право принимать сложные решения в случаях, когда технически никаких нарушений нет.

— А как тогда дать пользователям понять, что разрешено, а что нет? Пользователь может этого не знать или не понимать.

— Это огромная проблема — не только в Twitter, но вообще везде. Понимаете, если объяснить хакеру, как работают механизмы защиты, он сразу поймет, как их обойти. Со временем мы осознали, что то же правило действует в случае с abuse. Лично я как сотрудник Twitter видел детальные гайдлайны, но мы понимаем, что если эти же правила увидят какие-нибудь преступники, они поймут границы серой зоны, в которую нужно бить сильнее. Получается противоречие: конечно, нужно объяснить пользователю, что можно делать, а что нельзя — и это же самое объяснение поставит под угрозу его безопасность. Отсюда возникают неидеальные решения — мы всегда думаем, что есть какое-то Решение, но существует ли оно вообще?

— Сотрудничают ли IT-компании по этой проблеме? Вырабатываются ли общие принципы и методы? Общественная дискуссия на эту тему фактически не ведется — обсуждаются в основном конкретные случаи блокировок известных аккаунтов или подобные скандалы. В итоге у каждой компании собственный свод правил и красных линий, о которых пользователю практически ничего не сообщается.

— Точно так же со странами: например, в Таиланде нельзя критиковать короля, в мусульманских странах запрещено изображать пророка Мухаммеда и так далее. По поводу сотрудничества между компаниями: я проработал в abuse-команде полтора года, а проблема стоит перед обществом последние 20 лет. При этом раньше такие проблемы обсуждались в первую очередь в неформальной обстановке: приходишь к кому-нибудь на вечеринку в Калифорнии, а там знакомый из Facebook, или вот знакомый из Google, вот и обсудили. За последние пять лет этот процесс стал гораздо более формальным: у Twitter есть Совет по доверию и безопасности, в который входят люди из разнообразных организаций, занимающихся различными формами abuse — целая ООН из людей, которые занимаются проявлениями таких проблем. И теперь, когда Twitter собирается что-то сделать, у них спрашивают, не может ли та или иная функция навредить. Это, конечно, замедляет работу инженера и дизайнера, потому что нужно учитывать большое число мнений, но процесс обсуждения стал качественно иным.

Взять, к примеру, детскую порнографию. Не знаю, публичные ли это вещи... вот и выясним. Поиск детской порнографии сегодня превратился в механический процесс — он всегда таковым был, но сильно улучшился за последнее время. Я слышал, что этими алгоритмами поделились со всеми IT-компаниями: «Слушайте, у нас тут есть отличный алгоритм по распознаванию детской порнографии! Нужен кому?». И все такие: «Да!». Такие вещи случаются все чаще.

Фото: Институт «Стрелка»

— Хотелось бы обсудить ситуацию в Google в связи с увольнением инженера Джеймса Дэмора, опубликовавшего спорный манифест о трудностях женщин с техническими дисциплинами. Простой вопрос: как бы эту проблему решали в Twitter? Что бы произошло, если бы сотрудник компании распространил такой манифест?

— Я думаю, в Силиконовой долине и в IT в целом проблема существует. Есть вещи формально верные, но зачем об этом говорить? Есть вещи, которые кажутся научно обоснованными, но использованы они некорректно. Есть вещи, в которые кажутся правильными, но на самом деле — ничего подобного. Кто бы ни решил заняться столь сложной проблемой, как отношения между двумя государствами, военный конфликт, сексизм, расизм и так далее — этот человек может сознательно подбирать научные доводы в поддержку абсолютно любых своих тезисов. В 1990-х такое было — тогда вышла знаменитая книга The Bell Curve. Ее научное обоснование было категорически опровергнуто — не каким-нибудь кружком обидевшихся либералов, просто она оказалась фактически ошибочной.

Мы живем в мире, где каждый может подобрать научные исследования в качестве доказательства своей позиции. Поэтому проблема не в том, что случилось или не случилось бы в Twitter, надо брать шире: в масштабах всего мира никогда прежде не было так просто водить людей за нос ненаучными и дикими идеями любого сорта. «Прививки вызывают аутизм», например — единственная работа, на которую опиралась эта идея, была последовательно опровергнута (в 2010 году авторитетный медицинский журнал Lancet отозвал опубликованную 12 лет назад статью британского исследователя Эндрю Уэйкфилда о связи между аутизмом и тривакциной против кори, паротита и краснухи MMR; после этого его лишили права заниматься медицинской деятельностью — МЗ). Но родители детей с аутизмом открывают поисковик, кликают на статьи в духе «власти скрывают» и находят в них ответы. Поэтому суть проблемы не в том, как Google отреагировала или Twitter отреагировал бы на публикацию манифеста, а в существовании дезинформации, для которой всегда было достаточно места. Но сейчас, по-моему, этого больше, чем когда-либо.

— Еще один момент по этой теме. Сначала проблема была сугубо внутренней, но потом манифест был опубликован в интернете и стал публичным, из-за чего и началось широкое обсуждение. Как вы считаете, есть ли у компаний возможность решать такие проблемы без широкой огласки, и должны они ли так поступать?

— Все всегда утекает наружу. Говорят, ложь облетит полмира, пока правда успеет надеть штаны — ложь и ненависть распространяются молниеносно. То, что написал этот человек, было фактически некорректно. Есть многочисленные исследования, которые подтверждают: когда мужчинам дают какой-нибудь «тест на эмпатию», они выполняют его на 20% хуже женщин (не уверен, что привожу точную цифру, но расклад примерно таков); если в названии теста не упоминать эмпатию, в мужском мозгу не срабатывает триггер «я мужик, я не должен быть сентиментальным и проявлять эмпатию, это для женщин» — и результаты мужчин и женщин уравниваются. Это социальный конструкт. Если говорить девочке, что перед ней задания по программированию или по математике, она будет считать их «мужскими», хотя сами задания, по последним данным, женщины выполняют даже лучше мужчин.

Хорошо, что эту проблему обсуждают, но важно отметить еще вот что. Вот я сейчас сижу и спокойно рассказываю вам, что думаю. А когда этот инженер говорит всем: «Эй, я тут вычитал кое-что, и у меня есть важное мнение» и тут же подвергается нападкам со всего мира — это его радикализирует. Он уже не сможет оправиться от такого. Он будет думать, что просто написал политически некорректный манифест, и найдет людей, которые станут ему подпевать.

Примерно такая же логика работает с террористами: если у парня в какой-то стране погибла семья при ракетном ударе, наверное, он уже не сможет полюбить Америку. Никогда. Он уже не сможет это переосмыслить. Когда одна страна открыто осуждает другую, когда бомба убивает твою семью или когда инженер пытается порассуждать на тему сексизма, ошибается в деталях и его за это просто уничтожают, происходит радикализация. И это экзистенциальная угроза для всего человечества — если мы будем делиться на группы и воспринимать только ту информацию, которую хотим, я не представляю, как можно решать сложные проблемы.

Знаете, есть смешная картинка. Сидит человек и думает: «Пора докопаться до истины в интернете». Открывает самую первую ссылку в поисковике и радуется: «Джекпот!». Из этого пузыря сложно выбраться, потому что интернет позволяет фолловить и получать мнения только от тех людей, которые тебе нравятся.

— К вопросу о превращении локальных проблем в международные. Недавно была громкая дискуссия по поводу отзыва домена у ультраправого сайта Daily Stormer. Им отказали в размещении Google и GoDaddy, и тогда они переехали в Россию в надежде получить поддержку здесь. Не вышло — здесь их тоже достаточно скоро лишили регистрации. Действительно ли IT-компании и общество в целом должны привлекать дополнительное внимание к таким явлениям блокировками и запретами?

— Они получают дополнительную известность, но невозможность открыть сайт все-таки делает их менее заметными. Недавно основатель сервиса Cloudflare Мэтью Принс опубликовал в блоге компании пост о запрете Daily Stormer, в котором подчеркнул нежелание ввязываться в политические дискуссии и готовность предоставить площадку для абсолютно любых разрешенных законом высказываний. Все понимают, что удалять контент по политическим соображениям — классическая скользкая дорожка, и дальше последует «у нас не будет протрамповского контента, потому что нам не нравится Трамп». И он пишет: «Мы старались придерживаться принципа свободы слова, у нас есть четкая позиция, и мы понимаем опасность ситуации, но мы решили сделать единичное исключение». Он понимает, что все похоже на пресловутую «скользкую дорожку», понимает, что его компании будут меньше доверять. Один из сотрудников задал полусерьезный вопрос: «Это будет тот день, когда умрет интернет?». Угроза цензуры, страх перед которой разделяют многие из нас, ощущалась как вполне реальная.

Мэтью Принс, основатель Cloudflare. «Свобода слова < due process»:

«Когда обсуждают вопрос о том, кому можно, а кому нельзя оставаться в сети, обычно отталкиваются от принципа свободы слова. Мы считаем более важным принципом due process (соблюдение процедур и правил). Лично я верю в необходимость защиты свободы слова, но я понимаю, что это весьма американская идея, которую не разделяют в других странах. В то же время концепция due process близка к универсальной: по сути она означает, что ты должен иметь доступ к правилам, которым система будет следовать, когда ты станешь частью этой системы.

Due process требует, чтобы решения были общедоступными, не произвольными. Именно поэтому мы всегда говорили, что наш подход заключается в выполнении требований закона в тех юрисдикциях, в которых мы работаем. Правоохранительные органы, законодатели и суды должны иметь политическую легитимность и предсказуемость для принятия решений об ограничениях. Компании — не должны».

В том же посте Принс поясняет, что отказать Daily Stormer в услугах компания решила из-за заявлений администрации ультраправого сайта о «тайной поддержке» со стороны Cloudflare.

Но есть другой нюанс. Американский союз защиты гражданских свобод (ACLU), который знаменит своей поддержкой абсолютно любых форм свободы слова, защищает не только черных активистов, но и нацистов. Разумеется, их критикуют с обеих сторон; ACLU пытается объяснить, что у Америки нет будущего, если она перестанет защищать свободу слова. После событий в Шарлотсвилле ACLU пришлось пересмотреть свой подход: после насилия на акции «объединенных правых» Союз сказал, что будет тщательно изучать каждый запрос о юридической поддержке от крайне правых движений и, в частности, откажется от сотрудничества с группами, которые планируют участвовать в акциях протеста с оружием.

Фото: Люба Козорезова / Институт «Стрелка»

От себя прямо скажу, различные группы в США нашли способ «хакнуть» идею свободы слова, чтобы использовать ее против общества. И вот эти мелкие исключения, вроде пункта об оружии, они позволяют хотя бы немного снизить накал ситуации.

— Хотел спросить у вас про так называемые fake news. Формально такие сообщения также подпадают под требование защиты свободы слова, но IT-компании и государства постоянно говорят о необходимости с ними бороться, учить людей их распознавать и так далее. Насколько серьезно обстоит ситуация в Twitter?

— Всем технологическим компаниям, которые имеют дело с коммуникациями, так или иначе приходится решать, будут ли они бороться с мыслепреступлениями. Предположим, ты создаешь чат для обсуждения видеоигр — неужели там нужен специальный цензор, который будет читать сообщения и при виде какой-нибудь лжи писать: «Так, чтобы вы понимали — это ложь! Теперь продолжайте». Это неосуществимо с финансовой точки зрения, да и людям такое не нужно.

С другой стороны, если использовать fake news в качестве оружия для распространения дезинформации при помощи миллионной армии ботов, да еще и таргетировать эти сообщения для тех, кто готов к принятию такой информации, мы переходим от категории «полиция мысли» к категории «кажется, так мы можем потерять демократию навсегда». Если мы начинаем верить человеку с мнением больше, чем журналисту, потратившему месяцы на расследование, возникает вопрос: осталось ли вообще место для правды в нашем обществе.

Ситуация с интернетом сегодня чем-то похожа на ранние годы Дикого Запада, когда полиции еще не было, а были гастролирующие банды, соперничающие между собой — какая оказывалась сильнее, той и принадлежал город. В интернете есть свои полевые командиры, полиция пытается сделать хоть что-то, но силы несопоставимы — в итоге власть оказывается в руках крупнейших пропагандистских изданий, крупнейших ботнетов и крупных агентов дезинформации.

Это серьезная проблема. Если честно, я не знаю, как ее можно решить — распространители дезинформации стали столь могущественны, что с изрядной долей уверенности можно предположить, что правда уже навсегда исчезла из наших бесед в интернете. Возможно, восстановить уважение к журналистике уже не удастся, потому что кампании по дезинформации за последние десять лет были столь успешными.

— А как Twitter вычисляет ботнеты? Существуют массовые залежи фейковых аккаунтов, которые ничего не делают до того времени, когда их потребуется использовать.

— С бездействующими мы не можем сделать ничего. Про остальные поясню так. У каждого телефона есть уникальный идентификатор — сейчас не про ботнет, но примерно — и когда человек заводит 20 фейковых аккаунтов, и мы знаем, какой из его аккаунтов основной, мы знаем, что ему принадлежат остальные 20. Мы знаем, кто пишет с такого фейкового аккаунта всякие гадости. Когда мы видим масштабную атаку, к примеру, с 4chan, в ней зачастую участвуют такие одноразовые аккаунты. Если мы знаем, что «нацистский» аккаунт зарегистирован тем же человеком, что и аккаунт «нормального» профессора из колледжа, мы можем направить владельцу предупреждение: «Мы знаем, что это вы, и под другим аккаунтом вы нарушаете правила сервиса».

В случае с ботнетами ситуация сложнее, это не один-единственный телефон с десятком фейковых аккаунтов. Мы используем технологии машинного обучения, мы вкладываем значительные ресурсы — это, наверное, все, что я могу сказать.

— Боты пытаются вести себя как обычные аккаунты?

— Да, разумеется, их создатели активно работают над тем, чтобы выдавать ботов за людей. Например, всякий раз, когда вы видите аватару с лицом аниме-персонажа, есть высокая вероятность, что это бот. Они так часто делают. Сообщения от аккаунтов с «яйцом» вместо аватарки попадают в фильтры и отсекаются, поэтому в последнее время получили популярность аниме-аватары. Конечно, не каждый аккаунт с лицом из аниме — бот, но многие боты используют такие картинки. Это игра в кошки-мышки: они пытаются притвориться людьми, а мы должны установить, что в них нечеловеческого.

— Каков жизненный цикл рядового члена ботнета в Twitter: аккаунт регистрируют, он ждет часа X, потом участвует в нападении на кого-то или в продвижении чего-либо, потом его блокируют? Или все происходит несколько иначе?

— Я не знаю точно, но могу представить, как аккаунт используют, а затем «прячут» при помощи различных VPN и прочих трюков. При этом я слышал, что размеры ботнетов сегодня колоссальны, учитывая гонку вооружений на этом рынке. Все пытаются создать «ядерный» ботнет, который сможет обрушить абсолютно любой сайт, и ждут момента.

Фото: Люба Козорезова / Институт «Стрелка»

— Распространение дезинформации — это одна сторона медали, а ограничение распространения данных — другая. В России блокировками сайтов, изданий и соцсетей занимается Роскомнадзор — к примеру, LinkedIn у нас заблокирован. Многие говорят об использовании запретительных методов в том числе для подавления открытого обсуждения неудобных проблем: Роскомнадзор следит за соблюдением запрета так называемой гей-пропаганды, выносит СМИ предупреждения за упоминания [Роскомнадзора]. Twitter тоже получает от российских властей запросы на удаление информации — можете рассказать подробнее об алгоритмах работы с такими запросами?

— Я могу сказать, что это очень сложная тема, и лучшие сотрудники компании занимаются поиском золотой середины [между удовлетворением таких запросов и прямым отказом]. И это все, что я могу сказать — это замечательный вопрос, но я не уполномочен комментировать такие темы, поскольку вероятность того, что я скажу глупость, слишком велика.

Но я хотел бы добавить вот что. Американцев часто считают бесцеремонными, и это достаточно заслуженная репутация: по всему миру их называют как угодно в диапазоне от захватчиков и агрессоров до соседей-обидчиков. За время работы в abuse-команде я узнал много нового о чувствительных темах в разных странах, и понял, что единого ответа на сложные вопросы не существует в принципе, и чем сильнее человек уверен в своей полной правоте, тем реже ему стоит доверять.

Мы часто используем фразу «кричать "Пожар!" в переполненном кинотеатре» — в свободной стране можно говорить все, что угодно, но нельзя кричать «Пожар!» в кинотеатре просто так, потому что в давке пострадают люди. Теперь представим, что в какой-то стране запрещают оскорблять представителей власти — типичный американец с готовностью возмутится, но здесь точно так же применима конструкция про пожар, ведь могут пострадать люди.

Лично я как американец считаю, что акции протеста — это замечательно. Но если мне скажут, что протесты в той или иной стране приведут к бессмысленному кровопролитию... Американец старого образца уверенно бы отчеканил: «Да, но всегда есть право на протест!». Я как американец нового образца не готов быть столь самоуверенным, чтобы считать, что я разбираюсь в происходящем. Надеюсь, это делает меня более приятным собеседником, но это и ужасает: если закрывать глаза на одно, на другое, на третье, то рано или поздно задумаешься, а не стоит ли сделать исключение и для изнасилований, и для химического оружия, и для ядерного оружия.

В Америке 1950-х была четкая уверенность: мы хорошие парни, мы несем миру добро. И хотя никому в мире это не нравилось, у американцев было чувство уверенности в том, что мы знаем некий правильный ответ. Сегодняшний американец понимает, что мир сложно устроен, что, разумеется, сделало его лучше в личном плане, но если нет никакой внутренней уверенности в своей правоте, зачем тогда бороться с тем же химическим или ядерным оружием? Когда нет границ между правильным и неправильным, и все становится серым, уверенная в своей правоте Америка 1950-х уступает место современной Америке, которая даже не пытается быть правой.

Джон Белл провел воркшоп в Институте «Стрелка» в рамках программы Digital August, куратором которой выступала Лия Сафина — дизайнер и соавтор манифеста о цифровом образовании.