«Сири, не мухлюет ли этот нищий?». Суд в Нидерландах запретил властям применять алгоритм слежки за получателями пособий и льгот
Александр Бородихин
«Сири, не мухлюет ли этот нищий?». Суд в Нидерландах запретил властям применять алгоритм слежки за получателями пособий и льгот
6 февраля 2020, 13:32
Данное издание существует на пожертвования читателей — только благодаря вам мы можем продолжать свою работу. Из-за вторжения в Украину и(или) санкций их стало гораздо меньше, поэтому мы пишем капслоком: если можете, поддержите «МЕДИАЗОНУ». Нет войне.
Оформите регулярное пожертвование Медиазоне!Поддержать

Кадр из анимационного ролика активистского движения «Заранее под подозрением» против SyRI

Окружной суд Гааги признал незаконным использование властями Нидерландов алгоритмического метода оценки рисков SyRI в отношении получателей пособий и социальных выплат. Власти пытались доказать, что SyRI помогает предотвращать мошенничество со льготами и уход от налогов, однако против системы резко выступили правозащитники, активисты и спецдокладчик ООН, которые обвинили власти в дискриминации беднейших слоев населения. 

Сири в быту

Нидерланды удерживают верхние строчки в рейтингах стран по уровню свободы и эффективности демократических институтов. Но именно голландские власти решили внедрить одну из первых в мире систем по автоматическому анализу данных о гражданах — получателях пособий. Программу официально запустили в 2014 году. С тех пор под проверки попадали жители бедных районов Эйндховена, Харлема, Капелле-ан-ден-Эйссел и дважды — Роттердама; всех их система сочла «подозрительными»; до этого ее опробовали еще на 22 выборках.

— Привет, Siri!

— Чем могу помочь?

— SyRI!

— Я слушаю.

Заметка о SyRI в блоге международной консалтинговой компании Deloitte построена в виде шуточного диалога с голосовой помощницей Siri, которая по запросу автора рассказывает сначала о преимуществах голландской системы оценки рисков, а затем делится «некоторыми опасениями по поводу персональных данных».

«Правительство, будучи правительством, само создало для себя законодательную базу», — шутит голосовой помощник, прежде чем перейти к основной теме: несоответствию SyRI требованиям общеевропейского регламента по защите персональных данных GDPR. Deloitte усматривает в голландской системе и непрозрачность (граждане не знают, кого конкретно программа считает «неблагонадежными»), и несоразмерность заявленной задаче (у алгоритма слишком широкая сфера применения при сомнительной эффективности: максимум — десятые доли процента подтвержденных случаев от общего числа попавших под подозрение).

«Вы как гражданин постоянно делитесь с государством разнообразной информацией о себе: когда отчитываетесь о доходах, получаете инвалидную коляску, обращаетесь за разрешением на парковку или покупаете собаку. Делясь данными без задних мыслей, вы и не ожидаете, что их используют против вас, — говорится в анимационном ролике движения "Заранее под подозрением", объединившего противников SyRI. — Тем не менее правительство сопоставляет ваши персональные данные из разных источников, чтобы спрогнозировать, не ожидается ли с вами каких-то проблем. Для властей вы заранее под подозрением <…> Если алгоритм разглядит в вас угрозу, напротив вашего имени поставят галочку. Пока ничего дурного вы не сделали, но власти уже за вами присматривают — без вашего ведома».

Непрозрачность системы и ее избирательное внедрение в районах с низким уровнем доходов вызвало возмущение правозащитников — объектами проверок стали беднейшие незащищенные слои населения. В 2018 году сразу несколько неправительственных организаций и писатели Томми Виринга и Максим Фебруари обратились в суд с требованием рассмотреть законность применения SyRI; к ним присоединилась крупнейшая в стране конфедерация профсоюзов FNV.

Сири в суде

Принцип работы «системы индикации рисков» был зафиксирован в 2014 году в статьях 64 и 65 закона «Об организации труда и доходах», где говорится о праве властей вести системный сбор и анализ персональных данных граждан в целях противодействия уходу от налогов и серым зарплатным схемам.

На практике система работает так: чиновники запускают масштабные проверки, в ходе которых сличается информация из баз данных разных государственных служб; обнаружив потенциального нарушителя, министерство соцзащиты и труда составляет доклад о «рисках» и передает его профильному ведомству, которое может инициировать расследование.

В ноябре во время заседания суда представлявший правительство адвокат Сесиль Биттер пыталась уйти от ответа на вопрос о конкретных примерах применения SyRI, но в итоге по настоянию судей ей пришлось рассказать о пилотном проекте, в рамках которого сведения органов соцзащиты о получателях пособия по бедности сопоставлялись с данными по расходу питьевой воды в домах. Тех, кто не укладывался в норму потребления на одного человека, но при этом получал от государства выплаты, положенные одиноким, система сочла потенциальными «мошенниками», которые живут с партнерами или семьями, но скрывают это; слова Биттер слушатели встретили улюлюканьем.

Тогда же суд спросил у адвоката, по какому принципу чиновники выделяют «проблемные районы», жителей которых подозревают в махинациях с пособиями. Первый ответ адвоката о «законе, опыте и логическом мышлении» суд не устроил: «В [богатом] Блумендале многие ходят на концерты классической музыки; в проблемном районе многие получают пособия — так в чем же основания для использования SyRI?». В итоге ответчикам пришлось признать, что единственное обоснование проверок в «проблемных районах» — высокая концентрация людей, получающих пособия, а не какие-либо реальные доказательства мошенничества.

В ходе разбирательства правительство последовательно придерживалось избранной тактики, отказываясь раскрывать принцип работы «секретных» алгоритмов, поскольку эта информация якобы может помочь нарушителям.

В поддержку истцов выступил Специальный докладчик ООН по вопросу о крайней нищете и правах человека Филип Олстон, который в сентябре 2019 года направил в суд свое экспертное заключение. На двенадцати страницах Олстон подробно объяснил, что SyRI по сути является инструментом дискриминации наиболее бедных представителей общества и нарушает их права на неприкосновенность частной жизни и социальные гарантии. Более того, по мнению спецдокладчика ООН, итогом такой цифровизации социального государства станет «зомбиподобное» (zombie-like) погружение человечества в «цифровую антиутопию».

«Многие страны все больше внимания уделяют сокращению расходов на пособия, чтобы сделать бюджеты более "эффективными" и "экономичными", работают над сокращением числа получателей пособий, вводят жесткие требования для тех, кто уже получает помощь от государства, и наказывают "большое" число людей, занимающихся махинациями, — писал Олстон. — Цифровые технологии стали обыденным инструментом правительств, желающих достичь этих политических целей».

5 февраля тройка судей Окружного суда Гааги постановила, что использование властями страны SyRI противоречит статье 8 Европейской конвенции о правах человека, которая защищает право гражданина на уважение частной жизни. Ограничение этого права, согласно второму пункту статьи 8, допустимо только «в интересах национальной безопасности и общественного порядка, экономического благосостояния страны, в целях предотвращения беспорядков или преступлений, для охраны здоровья или нравственности или защиты прав и свобод других лиц».

«В части, касающейся принципа прозрачности, принципа целевого ограничения и принципа минимизации данных [в соответствии с требованиями GDPR] и фундаментальных принципов защиты информации суд считает, что законодательная база SyRI недостаточно четкая и не позволяет осуществлять надзор», — отметили судьи.

Решение приветствовали правозащитники из Human Rights Watch и Privacy International. «Это победа для всех тех, кого — небезосновательно — беспокоит серьезность угрозы, которую системы цифрового социального обеспечения представляют для прав человека», — обрадовался спецдокладчик Олстон, который усмотрел в решении гаагских судей «мощный правовой прецедент для других судов».

Представители правительства Нидерландов пока не сообщали, будут ли обжаловать постановление суда.

Редактор: Дмитрий Ткачев

Ещё 25 статей