Компании всё чаще используют алгоритмы и искусственный интеллект (ИИ) для анализа огромных массивов данных о потребителях, определяя, кому одобрить кредит, какую назначить страховую премию или даже стоит ли брать человека на работу. Хотя технология может снизить дискриминацию, вызванную человеческим фактором, её несовершенство способно нанести серьёзный финансовый ущерб.

Невидимый судья: как ИИ принимает решения

Если алгоритм отклонил вашу заявку на кредит, вы, скорее всего, никогда не узнаете, почему это произошло.

«Модели ИИ собирают данные из соцсетей, мобильных приложений, и вы даже не представляете, какая информация о вас хранится в их базе, — говорит Чак Белл, эксперт по финансовой политике Consumer Reports. — Там могут быть сведения о другом человеке с похожим именем, а не о вас».

Большинство людей не подозревают, что их судьбу решает алгоритм. А даже если и догадываются, процесс принятия решений остаётся «чёрным ящиком»: невозможно понять, какие факторы сыграли роль. ИИ может использовать недостоверные или вовсе ложные данные, найденные в интернете.

«Проблема в том, что если на вход подаётся мусор, на выходе будет мусор, — объясняет Сьюзан Вайнсток, глава Consumer Federation of America. — А потребитель остаётся один на один с этой ошибкой. Регуляторы могут даже не догадываться, что алгоритм дискриминирует».

Как алгоритмы усиливают неравенство

В 2023 году Consumer Reports и Consumer Federation of America направили письмо в Бюро финансовой защиты потребителей (CFPB), предупреждая, что «алгоритмическая дискриминация может возникать из-за нерепрезентативных, некорректных или неполных данных, а также из-за отражения исторических предубеждений».

Например, почтовый индекс (ZIP-код) может казаться нейтральным параметром, но на деле служить признаком расы, дохода или религии.

«Это косвенная дискриминация, — поясняет Белл. — Вы ущемляете права защищённых групп, даже не осознавая, что ваша модель им вредит».

Страхи потребителей

Опрос Consumer Reports (2024) показал, что большинство американцев не доверяют ИИ в важных решениях:

• 72% — против анализа видео-собеседований,
• 69% — против проверки арендаторов,
• 66% — против кредитных решений.

83% респондентов хотят знать, какие именно данные использовал ИИ при найме на работу, а 93% требуют возможности исправить ошибки в своей информации.

Опасность «галлюцинаций» ИИ

Исследование MIT предупреждает: генеративный ИИ может выдавать ложные данные, которые выглядят правдоподобно. Эти ошибки настолько распространены, что получили название «галлюцинаций».

Что предлагают защитники прав потребителей?

Consumer Reports выступает за новые законы, которые обяжут компании:

1. Раскрывать использование ИИ при принятии важных решений (кредиты, страховка, аренда).
2. Объяснять отказы простым языком, чтобы заявитель мог понять, не основано ли решение на ошибке.
3. Запретить сложные модели, если компания не может объяснить их работу.
4. Тестировать алгоритмы на предвзятость перед внедрением и регулярно — после.
5. Ограничить сбор данных только необходимым минимумом.
6. Запретить продажу данных, собранных ИИ, третьим лицам.

«ЕС уже принял “Акт об ИИ”, который гарантирует безопасность и прозрачность алгоритмов. Почему США не могут сделать то же самое?» — возмущается Вайнсток.

ИИ — мощный инструмент, но без строгих правил он рискует стать оружием против потребителей. Пока регуляторы отстают от технологий, миллионы людей остаются заложниками «чёрного ящика» — алгоритмов, которые решают их судьбу без права на апелляцию.