Российские ученые из НИУ ВШЭ создали набор тестов, который позволяет с высокой точностью оценить эффективность использования искусственного интеллекта (ИИ) в образовательной сфере. Новый подход, основанный на психометрии, направлен на оценку компетенций ИИ в роли помощника как для учителей, так и для учеников.

В пресс-службе вуза сообщили, что разработка тестов была вызвана растущим интересом к языковым моделям ИИ, которые могут решать широкий спектр задач в образовательном процессе. Однако для полноценной интеграции ИИ в педагогику необходимо тщательно оценивать его способности и выявлять слабые места. Для этого ученые создали более 3,9 тыс. заданий, охватывающих 16 областей знаний, включая методы преподавания, психологию и управление классом.

Основой для разработки тестов послужили методы психометрики — науки, которая сочетает психологию, математику и педагогику. В эксперименте с русскоязычной версией языковой модели GPT-4 было показано, что ИИ хорошо справляется с задачами на установление фактов, но испытывает трудности при решении более сложных заданий, требующих гибкости и глубокого анализа. Модель продемонстрировала слабые результаты при решении теоретических задач и адаптации к новым условиям.

Исследователи отмечают, что этот подход помогает выявить ключевые проблемы, которые ИИ еще не способен преодолеть.