Медицинские советы от ИИ могут ошибаться незаметно: исследователи требуют системы отчётности

Когда человек получает медицинский совет от чатбота, этот разговор обычно не попадает в медицинскую карту и не существует стандартного механизма, который позволил бы врачу, исследователю или регулятору узнать об ошибке. Авторы новой перспективной статьи в Nature Health называют такую невидимость отдельным риском быстро растущего использования генеративного ИИ для вопросов о здоровье.

Работу подготовили исследователи Binghamton University, Stanford University, Texas A&M University и Indiana University. Это не клиническое испытание и не оценка конкретной модели, а анализ системной проблемы надзора.

Почему обычные механизмы контроля здесь не работают

Ошибку лекарства, медицинского устройства или клинической процедуры можно зафиксировать в истории болезни, сообщить в систему нежелательных событий и исследовать. Совет чатбота часто остаётся только внутри частной платформы, причём пользователь может не сохранить переписку.

Если после такого совета человек попадает в больницу, врач может видеть последствия, но не знать, какая именно инструкция к ним привела. Это затрудняет расследование и не позволяет оценить частоту вредных рекомендаций на уровне системы.

Авторы приводят пример токсичного замещения соли

В статье обсуждается известный случай 60-летнего мужчины, который после разговора с ChatGPT заменил обычную соль бромидом натрия и впоследствии был госпитализирован с токсичностью, сопровождавшейся психоневрологическими симптомами. Для авторов важен не только сам ошибочный совет, но и то, насколько трудно затем восстановить цепочку событий.

Единичный случай не позволяет измерить общую безопасность всех чатботов, но показывает слабое место: массовое использование медицинских советов ИИ происходит вне традиционной инфраструктуры медицинского контроля качества.

Что предлагают исследователи

Среди возможных мер — более прозрачные механизмы сохранения и экспорта медицинских разговоров по желанию пользователя, удобная система сообщения о потенциальном вреде, доступ исследователей к обезличенным данным для независимой оценки и более чёткие правила для ситуаций высокого риска.

Авторы также подчёркивают необходимость различать образовательную информацию и индивидуальные медицинские решения. Чем выше риск — например, выбор лекарства, замена назначенного препарата или оценка опасного симптома, — тем важнее участие квалифицированного специалиста.

Как безопаснее пользоваться чатботом

ИИ может помогать объяснять термины, готовить вопросы к врачу или структурировать уже полученную информацию. Но его ответ не должен быть единственным основанием для отмены лечения, замены лекарства или отказа от срочной помощи.

Если совет чатбота касается потенциально опасного вещества, дозировки или нового серьёзного симптома, полезно перепроверить его по официальному медицинскому источнику и у специалиста. Основная мысль новой публикации — ошибки ИИ опасны не только самим содержанием, но и тем, что сегодня они почти не оставляют следа для системы здравоохранения.

Читайте также: Другие материалы о здоровье, питании и профилактике.

Источник: EurekAlert / Binghamton University.