Мемы негативно сказываются на когнитивных способностях искусственного интеллекта

Учёные из Техасского университета в Остине, Техасского университета A&M и Университета Пердью выяснили, что мемы и другой популярный, но низкокачественный контент способны ухудшать когнитивные способности и критическое мышление не только у людей, но и у искусственного интеллекта.

По словам исследователей, большие языковые модели, обучающиеся на «мусорной» информации из социальных сетей, постепенно теряют способность к логическому мышлению и анализу. Аналогичный эффект был выявлен и у людей: потребление низкокачественного контента снижает концентрацию внимания и критическое восприятие информации. В 2024 году в Оксфордском словаре появилось даже специальное обозначение для этого явления — «брейнрот».

Эксперименты с языковыми моделями

Команда во главе с Джуньюанем Хонгом, будущим доцентом Национального университета Сингапура, загружала в две открытые языковые модели — Llama от Meta и Qwen от Alibaba — различные типы текстов. В частности, исследователи тестировали влияние слишком «интересных» или популярных публикаций из соцсетей, а также текстов с сенсационными словами вроде «вау», «смотрите» и «только сегодня».

По итогам экспериментов модели, обученные на низкокачественном контенте, демонстрировали признаки так называемого «искусственного брейнрота»: ухудшение когнитивных способностей, снижение логического мышления, проблемы с памятью, а также рост психопатических черт и снижение этичности.

Последствия для индустрии ИИ

Учёные отметили, что восстановить или повторно натренировать «отравленные» низкокачественной информацией модели крайне сложно. Особую тревогу вызывают системы, основанные на данных из соцсетей, такие как Grok от xAI, где контент пользователей может использоваться без проверки на достоверность.

«Разработчики часто считают посты из соцсетей ценным источником данных для обучения ИИ, но на деле такой контент незаметно снижает способность моделей к рассуждению, этичность и внимательность к контексту», — предупреждает Хонг.

Исследование подчеркивает важность контроля качества данных при обучении искусственного интеллекта и необходимости фильтрации низкокачественного контента, чтобы сохранить когнитивные и этические способности моделей.

Источник: arxiv.org