В современном мире компании и государственные учреждения активно используют Big Data — большие данные, то есть математические алгоритмы для обработки и анализа больших объемов информации с помощью статистических методов.

Большие данные открывают огромные возможности, как для бизнеса, так и для развития общественных институтов в целом. По умолчанию их считают удобным и полезным инструментом для решения самых разных проблем, в том числе и социальных. Но так ли все хорошо с этими алгоритмами? Нет ли у них побочных эффектов? Кэти О’Нил считает, что есть, и не один. Несмотря на то что во многом они действительно полезны, все же они не могут индивидуально подойти к каждому, и люди, которые служат средством учета, становятся безликими статистическими единицами. При всей кажущейся абстрактности алгоритмов они не являются беспристрастными и объективными.

Когда-то О’Нил восхищалась возможностями математики. Одна компьютерная программа способна обработать две тысячи резюме или кредитных заявок в секунду и рассортировать их в зависимости от перспективности кандидатов. Это экономит время, к тому же позволяет подойти к каждому объективно и беспристрастно. Нет предвзятого человека, который вручную копается в куче бумаг, есть лишь машина, обрабатывающая цифры. Таким было общее мнение.

И действительно, большинство алгоритмов было придумано с самыми благими намерениями. Но автор считает, что они вобрали в себя все предрассудки и предвзятость современного общества. Кроме того, эти математические модели были непрозрачными, принцип их работы был непонятен никому, кроме авторов программ, которых О’Нил называет современными жрецами. И странным образом страдали от этих якобы беспристрастных алгоритмов бедные и бесправные, а обогащались сильные. Поэтому автор и назвала некоторые из явно вредоносных алгоритмов оружием математического уничтожения.

Математика, по мнению О’Нил, не только оказалась вовлеченной в мировые проблемы, но и спровоцировала многие из них, в том числе кризис с недвижимостью, крах финансовых институтов и рост безработицы. Это далеко не абстрактная наука и направлена она не только на мировые финансовые рынки, но и на обычных людей. Алгоритмы учитывают наши желания, предсказывают нашу надежность и рассчитывают наш потенциал — как потребителей, учащихся, работников и даже преступников.

В 2007 году новый мэр Вашингтона Адриан Фенти решил поработать с наиболее слабыми и отстающими школами города, в которых только половина учеников продолжала обучение после 9-го класса. Для реформирования школ он нанял специалиста по реформированию образования по имени Мишель Ри.

Ри пришла к выводу, что школы отстают из-за слабых учителей. В 2009 году начался отсев учителей с низкими показателями эффективности. Это общепринятая практика: избавляться от худших, а лучших двигать на самые проблемные участки. Казалось бы, все логично, и такой подход обеспечивает лучшее обучение. Но каким был критерий отсева учителей? Ри разработала алгоритм оценки учителей, на основании которого в конце 2010/11 учебного года уволила из школ больше 200 учителей. В их число входила и Сара Высоцки, учительница, о которой прекрасно отзывались и родители, и ученики. Алгоритм оценки рассчитывался на основании системы очков, и эти очки для подсчета ее эффективности в обучении математике и языкам оказались низкими. Это перевесило все положительные отзывы, в том числе и от коллег и администрации школы. Казалось бы, налицо непредвзятая и объективная оценка — ведь коллеги Сары и сами могли быть плохими учителями, прикрывающими ее из корпоративной солидарности. Но Сара Высоцки с такой оценкой не согласилась.

Как выяснилось, при оценке работы учителя оценивались далеко не все переменные и учитывались не все данные. Главным критерием выступали хорошие отметки учеников. Этим пользовались многие учителя, которые знали о предстоящем сокращении и намеренно завышали оценки. Кроме того, в этом алгоритме отсутствовала обратная связь — некому было сказать статистикам, что их модель не работает, чтобы они могли подкорректировать алгоритм.

На Amazon, к примеру, если в качестве книг по уходу за газонами будут предлагаться книги для девочек-подростков, ошибка в алгоритме будет быстро исправлена благодаря возмущенным пользователям. Но без обратной связи статистическая модель будет множить и множить свои ошибки, вместо того чтобы на них учиться. Между тем, считает О’Нил, многие модели, включая модель отсева «слабых» учителей, используются, чтобы оправдать необходимые кому-то результаты. Такой тип алгоритма очень распространен. Никто не стал задаваться вопросом, прав ли алгоритм, выявивший «плохих учителей». Сверху был дан приказ сделать что-то для улучшения образования. Алгоритмом воспользовались, чтобы выдать нужный результат, а не с целью найти истину.

Сама алгоритмическая модель — это черный ящик, корпоративная тайна, к которой нет доступа непосвященным. Держится все в тайне якобы потому, что если люди узнают работу алгоритма, они попытаются его обмануть. Но если они просто будут хорошо работать и соблюдать правила, алгоритм оценит их усилия. Случай с Сарой Высоцки говорит о том, что это далеко не так. К счастью, ее судьба после увольнения сложилась удачно: уже через несколько дней благодаря своей репутации прекрасного учителя она устроилась на работу в престижную школу, где профпригодность учителей не проверялась неведомыми алгоритмами без обратной связи.

Алгоритмы используются и при приеме на работу. Например, работодатели смотрят на кредитные баллы для оценки своих потенциальных сотрудников, считая, что человек, вовремя оплачивающий счета, более ответственно относится к работе. Но каждый случай индивидуален, считает О’Нил, и прекрасный ответственный специалист может иногда оказаться в стесненных обстоятельствах. Однако у него меньше шансов найти работу — из-за алгоритма, в котором плохое выполнение работы коррелируется с низким кредитным баллом. Безработный беднеет еще больше, его баллы падают все ниже вместе с шансами на трудоустройство. Получается порочный круг, нисходящая спираль. И таких токсичных приложений в алгоритмах много, утверждает автор. Их общая черта — еще больше обогащать богатых и разорять бедных. Они непрозрачны, непререкаемы и не имеют обратной связи. Сортируя миллионы людей по неким принципам, возможно, ошибочным, они выдают свои выводы за реальность.