Исследование выявило неравные оценки акцентов в системах речевого ИИ
Учёные Вашингтонского университета обнаружили, что четыре ИИ-модели по-разному оценивали одинаковую английскую речь в зависимости от акцента.
Автор и лицензия фото
Фото: Asikironalio / Wikimedia Commons / CC BY 4.0; contextual studio photograph from 2024, not research participants. · Источник изображения · Лицензия: CC BY 4.0Системы искусственного интеллекта, оценивающие устную речь, могут выставлять разные баллы людям, произносящим одинаковый текст с различными акцентами. Об этом говорится в исследовании, представленном Вашингтонским университетом 4 ноября. Результаты важны для применения автоматизированной оценки на собеседованиях, презентациях и языковых экзаменах. Они не означают, что подобным образом работают абсолютно все модели.
Исследователи изучили четыре системы: Google Gemini 2.5 Pro, Gemini 2.5 Flash, OpenAI GPT-Audio 1.5 и открытую Qwen 3 Omni. Сравнивалась речь на английском языке с американским, британским, китайским, индийским и нигерийским акцентами. В целом американский и британский акценты получали более высокие оценки, китайский и нигерийский — более низкие, а индийский чаще занимал промежуточное положение.
Чтобы отделить влияние акцента от содержания, учёные использовали синтезированные голоса, которые читали одни и те же тексты. Дополнительные проверки провели с участием 52 реальных носителей речи из пяти стран. Системы оценивали как подачу, так и содержание. По словам авторов, модели нередко правильно распознавали произнесённые слова, но при этом характеризовали отдельные акценты как менее понятные или профессиональные.
Работу представили 25 октября на конференции по эмпирическим методам обработки естественного языка в Будапеште. Авторы призывают расширять разнообразие учебных и тестовых данных, а также оценивать качество моделей отдельно для разных групп говорящих. Исследование ограничено конкретными моделями, акцентами и заданиями. Однако оно выявляет риск, возникающий, когда автоматическая оценка способна повлиять на получение работы или образовательных возможностей.