Учёные из MIT провели исследование, которое показало, что современные языковые модели ИИ, такие как GPT-4, не понимают настоящих «правил» окружающего мира.

Это несмотря на их способность генерировать текст, который кажется осмысленным и интеллектуальным.

Согласно исследованию, такие ИИ-системы просто прогнозируют вероятные слова в ответ на запросы, не обладая настоящим пониманием сложных систем.

Исследователи из MIT разработали новые метрики для проверки способностей ИИ к навигации и логическому мышлению.

Для этого они использовали детерминированные конечные автоматы (DFA) — задачи с фиксированными правилами. Тест включал навигацию по улицам Нью-Йорка и игру в «Отелло».

В этих сценариях модели ИИ хорошо справлялись, пока не возникали сложности: на картах Нью-Йорка добавили объезды и модели начали генерировать нелогичные маршруты.

Таким образом, исследование подтверждает, что даже самые передовые ИИ пока не могут «понять» мир, а лишь угадывают, основываясь на данных, и требуют дальнейшего развития.