В течение многих лет в индустрии ИИ сохранялся оптимизм по поводу непрерывного улучшения больших языковых моделей (LLM), стимулируемого растущими вычислительными мощностями и объемом данных. Однако недавние отчеты указывают на то, что ИИ может достичь «плато» в производительности. Ожидаемая модель OpenAI, Orion, демонстрирует меньший прогресс по сравнению с переходом от GPT-3 к GPT-4, а некоторые задачи вообще не показывают явных улучшений.

Илья Сутскевер, сооснователь OpenAI, выразил беспокойство по поводу того, что традиционные методы масштабирования могут достичь своих пределов. Он отметил, что в 2010-е годы был достигнут быстрый прогресс, но будущее потребует новых подходов для расширения возможностей ИИ.

Эксперты указывают на серьезную проблему: нехватку новых качественных текстовых данных для обучения. По мере того как модели ИИ исчерпывают доступные данные из Интернета и опубликованных текстов, исследователи предупреждают, что запас данных может быть полностью использован к 2032 году.

В ответ компании исследуют синтетические данные и улучшения в моделях рассуждения, но эти стратегии все еще находятся под сомнением.

По мере того как ИИ подходит к своим нынешним пределам, следующий прорыв может лежать в специализации отдельно взятой модели, а не в масштабировании.