Сири в быту

Нидерланды удерживают верхние строчки в рейтингах стран по уровню свободы и эффективности демократических институтов. Но именно голландские власти решили внедрить одну из первых в мире систем по автоматическому анализу данных о гражданах — получателях пособий. Программу официально запустили в 2014 году. С тех пор под проверки попадали жители бедных районов Эйндховена, Харлема, Капелле-ан-ден-Эйссел и дважды — Роттердама; всех их система сочла «подозрительными»; до этого ее опробовали еще на 22 выборках.

— Привет, Siri!

— Чем могу помочь?

— SyRI!

— Я слушаю.

Заметка о SyRI в блоге международной консалтинговой компании Deloitte построена в виде шуточного диалога с голосовой помощницей Siri, которая по запросу автора рассказывает сначала о преимуществах голландской системы оценки рисков, а затем делится «некоторыми опасениями по поводу персональных данных».

«Правительство, будучи правительством, само создало для себя законодательную базу», — шутит голосовой помощник, прежде чем перейти к основной теме: несоответствию SyRI требованиям общеевропейского регламента по защите персональных данных GDPR. Deloitte усматривает в голландской системе и непрозрачность (граждане не знают, кого конкретно программа считает «неблагонадежными»), и несоразмерность заявленной задаче (у алгоритма слишком широкая сфера применения при сомнительной эффективности: максимум — десятые доли процента подтвержденных случаев от общего числа попавших под подозрение).

«Вы как гражданин постоянно делитесь с государством разнообразной информацией о себе: когда отчитываетесь о доходах, получаете инвалидную коляску, обращаетесь за разрешением на парковку или покупаете собаку. Делясь данными без задних мыслей, вы и не ожидаете, что их используют против вас, — говорится в анимационном ролике движения "Заранее под подозрением", объединившего противников SyRI. — Тем не менее правительство сопоставляет ваши персональные данные из разных источников, чтобы спрогнозировать, не ожидается ли с вами каких-то проблем. Для властей вы заранее под подозрением <…> Если алгоритм разглядит в вас угрозу, напротив вашего имени поставят галочку. Пока ничего дурного вы не сделали, но власти уже за вами присматривают — без вашего ведома».

Непрозрачность системы и ее избирательное внедрение в районах с низким уровнем доходов вызвало возмущение правозащитников — объектами проверок стали беднейшие незащищенные слои населения. В 2018 году сразу несколько неправительственных организаций и писатели Томми Виринга и Максим Фебруари обратились в суд с требованием рассмотреть законность применения SyRI; к ним присоединилась крупнейшая в стране конфедерация профсоюзов FNV.

Сири в суде

Принцип работы «системы индикации рисков» был зафиксирован в 2014 году в статьях 64 и 65 закона «Об организации труда и доходах», где говорится о праве властей вести системный сбор и анализ персональных данных граждан в целях противодействия уходу от налогов и серым зарплатным схемам.

На практике система работает так: чиновники запускают масштабные проверки, в ходе которых сличается информация из баз данных разных государственных служб; обнаружив потенциального нарушителя, министерство соцзащиты и труда составляет доклад о «рисках» и передает его профильному ведомству, которое может инициировать расследование.

В ноябре во время заседания суда представлявший правительство адвокат Сесиль Биттер пыталась уйти от ответа на вопрос о конкретных примерах применения SyRI, но в итоге по настоянию судей ей пришлось рассказать о пилотном проекте, в рамках которого сведения органов соцзащиты о получателях пособия по бедности сопоставлялись с данными по расходу питьевой воды в домах. Тех, кто не укладывался в норму потребления на одного человека, но при этом получал от государства выплаты, положенные одиноким, система сочла потенциальными «мошенниками», которые живут с партнерами или семьями, но скрывают это; слова Биттер слушатели встретили улюлюканьем.

Тогда же суд спросил у адвоката, по какому принципу чиновники выделяют «проблемные районы», жителей которых подозревают в махинациях с пособиями. Первый ответ адвоката о «законе, опыте и логическом мышлении» суд не устроил: «В [богатом] Блумендале многие ходят на концерты классической музыки; в проблемном районе многие получают пособия — так в чем же основания для использования SyRI?». В итоге ответчикам пришлось признать, что единственное обоснование проверок в «проблемных районах» — высокая концентрация людей, получающих пособия, а не какие-либо реальные доказательства мошенничества.

В ходе разбирательства правительство последовательно придерживалось избранной тактики, отказываясь раскрывать принцип работы «секретных» алгоритмов, поскольку эта информация якобы может помочь нарушителям.

В поддержку истцов выступил Специальный докладчик ООН по вопросу о крайней нищете и правах человека Филип Олстон, который в сентябре 2019 года направил в суд свое экспертное заключение. На двенадцати страницах Олстон подробно объяснил, что SyRI по сути является инструментом дискриминации наиболее бедных представителей общества и нарушает их права на неприкосновенность частной жизни и социальные гарантии. Более того, по мнению спецдокладчика ООН, итогом такой цифровизации социального государства станет «зомбиподобное» (zombie-like) погружение человечества в «цифровую антиутопию».

«Многие страны все больше внимания уделяют сокращению расходов на пособия, чтобы сделать бюджеты более "эффективными" и "экономичными", работают над сокращением числа получателей пособий, вводят жесткие требования для тех, кто уже получает помощь от государства, и наказывают "большое" число людей, занимающихся махинациями, — писал Олстон. — Цифровые технологии стали обыденным инструментом правительств, желающих достичь этих политических целей».

5 февраля тройка судей Окружного суда Гааги постановила, что использование властями страны SyRI противоречит статье 8 Европейской конвенции о правах человека, которая защищает право гражданина на уважение частной жизни. Ограничение этого права, согласно второму пункту статьи 8, допустимо только «в интересах национальной безопасности и общественного порядка, экономического благосостояния страны, в целях предотвращения беспорядков или преступлений, для охраны здоровья или нравственности или защиты прав и свобод других лиц».

«В части, касающейся принципа прозрачности, принципа целевого ограничения и принципа минимизации данных [в соответствии с требованиями GDPR] и фундаментальных принципов защиты информации суд считает, что законодательная база SyRI недостаточно четкая и не позволяет осуществлять надзор», — отметили судьи.

Решение приветствовали правозащитники из Human Rights Watch и Privacy International. «Это победа для всех тех, кого — небезосновательно — беспокоит серьезность угрозы, которую системы цифрового социального обеспечения представляют для прав человека», — обрадовался спецдокладчик Олстон, который усмотрел в решении гаагских судей «мощный правовой прецедент для других судов».

Представители правительства Нидерландов пока не сообщали, будут ли обжаловать постановление суда.

Редактор: Дмитрий Ткачев