Здоровье

ИИ пока ненадёжен для психологической диагностики: исследователи предложили новые стандарты

Исследователи проанализировали текстовые данные и показали, почему высокая общая точность ИИ не гарантирует выявление важных симптомов.

Published

on

Большие языковые модели могут выглядеть точными при анализе сообщений о переживаниях, но пропускать редкие и важные признаки психических проблем. К такому выводу пришли исследователи Child Mind Institute совместно с коллегами из Гарварда и MIT. Они предложили более строгие требования к оценке подобных систем.

Работа опубликована в PLOS Digital Health и посвящена не сравнению чат-ботов по популярности, а качеству психологического измерения. Авторы подчёркивают: алгоритм, который узнаёт знакомые формулировки симптомов, ещё не становится полноценным клиническим инструментом.

Почему одного показателя точности недостаточно

Исследователи изучали тысячи сообщений из кризисных консультаций и публичных публикаций в социальных сетях. Они сравнивали подходы к поиску психологических признаков в тексте и проверяли не только совпадение с человеческой разметкой, но и охват разных способов описания одного состояния.

Модель может получить высокую среднюю оценку, если правильно обрабатывает распространённые выражения. Но если она систематически не распознаёт необычную или косвенную формулировку важного симптома, итоговая цифра будет вводить в заблуждение. Для психического здоровья подобные пропуски особенно значимы.

Что предлагает новая концепция

Авторы используют термин «текстовая психометрия» — перенос принципов проверки психологических тестов на анализ естественного языка. Нужно убедиться, что система измеряет именно заявленный признак, работает стабильно в разных условиях и не даёт несопоставимые результаты для разных групп людей.

Отдельный акцент сделан на проверочных наборах, охватывающих полный спектр выражения симптомов. Это сложнее обычной оценки по средней точности, но помогает обнаружить слабые места, которые иначе остаются незаметными. Публикация описывает методологические стандарты и не представляет сертифицированного инструмента диагностики.

Что это означает пользователям

Обычный чат-бот может помогать структурировать вопросы для обращения к специалисту, объяснять термины и подсказывать общие способы получения поддержки. Однако его ответы не являются клиническим заключением. Оценка депрессии, тревожных расстройств и других состояний требует беседы, контекста, проверки симптомов и при необходимости наблюдения во времени.

Особенно осторожно нужно относиться к автоматическим оценкам риска, полученным по короткому сообщению. Человек может использовать метафору, скрывать проблему или выражаться не так, как участники обучающих наборов. При тяжёлом состоянии, угрозе безопасности или резком ухудшении самочувствия следует обращаться за профессиональной помощью, а не полагаться на программный прогноз.

Оценка психологических признаков особенно сложна из-за контекста. Например, одна и та же фраза может выражать шутку, цитату, метафору или реальную жалобу. В разных языках и культурных средах люди описывают переживания по-разному, а модель может быть хуже проверена на редко встречающихся формулировках. Поэтому тестирование должно включать не только большие наборы типичных сообщений, но и примеры, на которых ошибиться особенно опасно. Помимо точности важны конфиденциальность данных, возможность объяснить решение и ответственность за последующие действия. Публикация предлагает исследовательскую рамку, но сама по себе не является доказательством того, что все технологии искусственного интеллекта бесполезны в психологии. Их роль должна соответствовать проверенной задаче. Такие стандарты должны быть прозрачными и воспроизводимыми при тщательной независимой медицинской проверке в разных условиях.

Читайте также: Другие материалы о здоровье и профилактике.

В тренде

Exit mobile version