Три ведущих компании в области искусственного интеллекта — OpenAI, Google и Anthropic — сталкиваются с трудностями в разработке новых крупных языковых моделей, сообщает Bloomberg, ссылаясь на анонимные источники внутри компаний. Основная проблема заключается в создании модели, которая бы значительно превзошла предыдущую.

Так, OpenAI в сентябре 2024 года завершила тренировку новой модели под названием Orion, однако результаты оказались менее впечатляющими, чем ожидалось. Модель не смогла значительно улучшить производительность по сравнению с предыдущими версиями. Например, к концу лета Orion не могла давать точные ответы на вопросы, связанные с кодировками, на которых она не была обучена. Скачок от GPT-4 к Orion оказался гораздо меньше, чем от GPT-3,5 до GPT-4. Источник, близкий к разработке, заявил, что модель вряд ли будет выпущена до следующего года.

Такие же проблемы наблюдаются и у Google и Anthropic. Новая версия модели Gemini от Google не оправдала внутренних ожиданий компании.

Одна из основных трудностей при разработке таких моделей заключается в поиске качественной информации для их обучения. Кроме того, эта проблема тесно связана с финансированием — создание, тренировка и поддержка крупных языковых моделей требуют значительных ресурсов, что обостряет проблему привлечения дополнительных инвестиций. Отсутствие ощутимых улучшений в результатах также негативно влияет на интерес со стороны потенциальных инвесторов.

Несмотря на эти сложности, OpenAI, Google, Anthropic и другие компании продолжают работать над развитием искусственного интеллекта, пытаясь создать универсальную модель, которая могла бы сравниться с мощностью человеческого мозга. Компании ищут новые подходы для улучшения ИИ, например, через постобучение, добавляя отзывы пользователей для улучшения качества ответов и тона. Однако, как отмечают эксперты, этого пока недостаточно.

Источник: Bloomberg