Исследование в США показало: ChatGPT может ошибаться и противоречить сам себе

Новое исследование, проведённое под руководством доцента Университета штата Вашингтон Месута Чичека, выявило ограничения ChatGPT при работе с научной информацией. Как показала работа учёных, искусственный интеллект может быть как неточным, так и непоследовательным, если его просят определить, подтверждена ли научная гипотеза или опровергнута.

В рамках исследования Чичек и его коллеги протестировали ChatGPT, предложив системе гипотезы из научных статей и попросив определить, были ли эти утверждения подтверждены исследованиями или нет.

Для анализа команда использовала более 700 гипотез и повторяла каждый запрос по 10 раз.

Результаты показали, что в 2024 году система давала правильный ответ в 76,5% случаев. Когда эксперимент повторили в 2025 году, точность выросла до 80%. Однако исследователи отмечают, что с учётом вероятности случайного угадывания, поскольку в вопросах формата «истина или ложь» шанс угадать составляет 50%, реальное превосходство ИИ над случайным выбором оказалось на уровне примерно 60% в оба года. По оценке авторов исследования, такой результат скорее соответствует низкой оценке, чем высокой надёжности.

Особенно слабо ChatGPT справлялся с гипотезами, для которых правильным ответом было «ложь». В таких случаях система верно распознавала неверные утверждения лишь в 16,4% случаев.

Ещё одной серьёзной проблемой оказалась непоследовательность ответов. Учёные установили, что при десятикратном повторении одного и того же запроса с абсолютно одинаковой формулировкой ChatGPT стабильно давал правильный ответ лишь в 73% случаев.

По словам Месута Чичека, речь идёт не только о точности, но и о внутренней нестабильности системы: если задать один и тот же вопрос несколько раз, можно получить разные ответы.

Как пояснил исследователь, в ходе эксперимента использовались десять абсолютно одинаковых запросов. Несмотря на это, система могла сначала ответить «истина», затем «ложь», после чего снова менять позицию. В ряде случаев ответы делились поровну — пять раз «истина» и пять раз «ложь».

Результаты исследования были опубликованы в журнале Rutgers Business Review. Авторы работы подчёркивают, что полученные данные подтверждают необходимость осторожного и критического отношения к использованию искусственного интеллекта, особенно в задачах, связанных со сложными рассуждениями и неоднозначной информацией.

По мнению исследователей, способность ИИ формулировать связный и убедительный текст пока не означает, что система действительно умеет рассуждать на глубоком уровне. Более того, эти результаты могут свидетельствовать о том, что появление полноценного искусственного общего интеллекта, способного по-настоящему «мыслить», всё ещё остаётся более далёкой перспективой, чем предполагают некоторые эксперты.

«Современные ИИ-системы не понимают мир так, как понимаем его мы — у них нет “мозга”», — отметил Чичек. По его словам, такие инструменты в основном опираются на запоминание и воспроизведение информации: они могут дать определённые подсказки, но не осознают в полной мере, о чём говорят.

В исследовании использовались 719 гипотез из научных статей, опубликованных в бизнес-журналах с 2021 года. В 2024 году эксперимент проводился с бесплатной версией ChatGPT-3.5, а в 2025 году — с обновлённой бесплатной версией ChatGPT-5 mini. При этом, как указано в работе, общая точность между версиями существенно не различалась.

Авторы исследования пришли к выводу, что руководителям компаний следует тщательно проверять результаты, полученные с помощью ИИ, относиться к ним с осторожностью и обучать сотрудников тому, в каких задачах такие системы могут быть полезны, а где их возможности ограничены.

Сам Чичек подчеркнул, что не выступает против искусственного интеллекта и сам активно использует подобные технологии. Однако, по его словам, при работе с ИИ необходимо всегда сохранять критическое мышление и осторожность.

Источник:KOMO NEWS