Веселье Мэри Луис, желавшей переехать в апартамент в Массачусетсе весной 2021 года, сменилось разочарованием, когда Луис, чернокожая женщина, получила электронное письмо, в котором говорилось, что "сторонний сервис" отказал ей в аренде.
Этот сторонний сервис включал в себя алгоритм, разработанный для оценки арендаторов, который стал объектом коллективного иска, с Луис во главе, заявляя о том, что алгоритм дискриминировал на основе расы и дохода.
Федеральный судья утвердил договор по иску, один из первых подобных случаев, в среду, и компания, стоящая за алгоритмом, согласилась выплатить более 2,2 миллионов долларов и отменить определенные части своих скрининговых продуктов, которые, по иску, были дискриминационными.
В соглашении не содержится признания вины со стороны компании SafeRent Solutions, которая заявила в заявлении, что, хотя она "продолжает считать, что SRS Scores соответствуют всем применимым законам, судопроизводство занимает много времени и денег".
Хотя такие иски могут быть относительно новыми, использование алгоритмов или программ искусственного интеллекта для скрининга или оценки американцев - нет. Многие годы искусственный интеллект тайно помогает принимать серьезные решения для жителей США.
Когда человек подает заявку на работу, обращается за ипотечным кредитом или даже ищет определенную медицинскую помощь, существует шанс, что система искусственного интеллекта или алгоритм оценивают его как Луис. Однако эти системы искусственного интеллекта в значительной степени не регулируются, хотя некоторые из них были признаны дискриминационными.
"Управляющие компании и собственники квартир должны знать, что теперь они находятся под наблюдением, и эти системы, которые они считают надежными и хорошими, будут оспариваться", - сказал Тодд Каплан, один из адвокатов Луис.
По иску было заявлено, что алгоритм SafeRent не учитывал выгоду от жилищных купонов, что, по их словам, является важной деталью для способности арендатора платить по месячному счету, и поэтому дискриминировал кандидатов с низким уровнем дохода, имеющих право на помощь.
Иск также обвинял алгоритм SafeRent в том, что он слишком сильно полагается на информацию о кредитах. Они утверждали, что это не дает полной картины возможности арендатора платить за аренду вовремя и несправедливо ущемляет кандидатов с жилищными купонами, которые являются чернокожими и испаноязычными, в частности, потому что у них ниже средние кредитные баллы, обусловленные историческими неравенствами.
Кристин Уэббер, один из адвокатов истца, сказала, что поскольку алгоритм или искусственный интеллект не нацелены на дискриминацию, данные, которые использует или весит алгоритм, могут "иметь такой же эффект, как если бы вы сказали ему дискриминировать намеренно".
Когда заявка Луис была отклонена, она попыталась обжаловать решение, отправив сведения о двух арендодателях, чтобы показать, что она платила аренду заранее или вовремя в течение 16 лет, даже если у нее не было крепкой кредитной истории.
Луис, у которой был жилищный купон, была в недоумении, поскольку уже извещала прежнего арендодателя, что уезжает, и ей нужно было заботиться о своей внучке.
Ответ от управляющей компании, использующей скрининговую службу SafeRent, гласил: "Мы не принимаем апелляции и не можем изменить результат проверки арендатора".
Луис почувствовала, что потерпела поражение; по ее словам, алгоритм ее не знал.
"Все основано на числах. Вы не получаете от них индивидуального сочувствия", - сказала Луис. "Систему не победить. Система всегда будет нас побеждать".
Хотя законодатели штатов предложили агрессивные нормативы для таких систем искусственного интеллекта, предложения в основном не получили достаточной поддержки. Это означает, что иски, подобные иску Луис, начинают заложить основы для ответственности за искусственный интеллект.
Адвокаты SafeRent аргументировали в ходе процесса о недопущении, что компанию нельзя привлекать к ответственности за дискриминацию, поскольку SafeRent не принимает окончательное решение о принятии или отклонении арендатора. Сервис будет скринировать кандидатов, оценивать их и представлять отчет, но оставит за арендодателями или управляющими компаниями решение о принятии или отклонении арендатора.
Адвокаты Луис, а также Министерство юстиции США, которое подало заявление о заинтересованности в дело, аргументировали, что алгоритм SafeRent может быть привлечен к ответственности, потому что он по-прежнему играет роль в доступе к жилью. Судья отклонил ходатайство SafeRent о недопущении на этих основаниях.
Соглашение предусматривает, что SafeRent не может включать свою функцию оценки в свои отчеты по скринингу арендаторов в определенных случаях, включая тех, кто использует жилищный купон. Также требуется, чтобы если SafeRent разрабатывает другую оценочную систему скрининга, которую он планирует использовать, она должна быть подтверждена сторонним, на которого согласились истцы.
Сын Луиса нашел для нее доступный апартамент на Facebook Marketplace, в который она в последствии переехала, хотя он был на 200 долларов дороже и в менее привлекательном районе.
"Я не оптимистична насчет того, что мне удастся хоть как-то улучшить ситуацию, но мне нужно продолжать, вот и все", - сказала Луис. "На меня полагаются слишком многие люди".
Джесси Бедэйн является членом корпуса ИА Ассошиэйтед Пресс/Инициативы новостей штатского дома по программе Report for America. Report for America - это некоммерческая программа национального обслуживания, которая размещает журналистов в местных редакциях, чтобы освещать недостаточно освещенные вопросы.
