Հետազոտությունը բացահայտել է խոսքի գնահատման ԱԲ համակարգերի կողմնակալությունը շեշտադրումների նկատմամբ
Վաշինգտոնի համալսարանի հետազոտողները պարզել են, որ ԱԲ չորս մոդելներ միևնույն անգլերեն խոսքը տարբեր կերպ են գնահատում՝ կախված շեշտադրումից։
Լուսանկարի հեղինակ և արտոնագիր
Լուսանկար: Asikironalio / Wikimedia Commons / CC BY 4.0; contextual studio photograph from 2024, not research participants. · Լուսանկարի աղբյուրը · Լիցենզիա: CC BY 4.0Խոսքը գնահատող արհեստական բանականության համակարգերը կարող են տարբեր միավորներ տալ նույն բառերն արտասանող, բայց տարբեր շեշտադրումներ ունեցող մարդկանց։ Այս մասին նոյեմբերի 4-ին հայտնել է Վաշինգտոնի համալսարանը՝ ներկայացնելով նոր հետազոտություն։ Արդյունքները կարևոր են աշխատանքի հարցազրույցներում, ելույթների և լեզվի իմացության գնահատման գործընթացներում ԱԲ-ի կիրառման համար։ Դրանք, սակայն, չեն նշանակում, որ բոլոր մոդելները նույն կերպ են գործում։
Հետազոտողներն ուսումնասիրել են չորս համակարգ՝ Google Gemini 2.5 Pro, Gemini 2.5 Flash, OpenAI GPT-Audio 1.5 և բաց կոդով Qwen 3 Omni։ Համեմատվել է ամերիկյան, բրիտանական, չինական, հնդկական և նիգերիական շեշտադրումներով անգլերեն խոսքը։ Ընդհանուր առմամբ, ամերիկյան և բրիտանական շեշտադրումները ստացել են ավելի բարձր գնահատականներ, չինականն ու նիգերիականը՝ ավելի ցածր, իսկ հնդկականը հիմնականում միջանկյալ դիրքում է հայտնվել։
Շեշտադրման ազդեցությունը բովանդակությունից առանձնացնելու համար օգտագործվել են սինթեզված ձայներ, որոնք կարդացել են միևնույն տեքստերը։ Արդյունքները լրացուցիչ ստուգվել են հինգ երկրներից 52 իրական խոսնակների մասնակցությամբ։ Համակարգերը գնահատել են ինչպես խոսքի ներկայացումը, այնպես էլ բովանդակությունը։ Հեղինակների համաձայն՝ մոդելները հաճախ ճիշտ են հասկացել արտասանված բառերը, սակայն որոշ շեշտադրումներ բնութագրել են որպես պակաս հստակ կամ մասնագիտական։
Հետազոտությունը ներկայացվել է հոկտեմբերի 25-ին Բուդապեշտում կայացած բնական լեզվի մշակման էմպիրիկ մեթոդների համաժողովում։ Հեղինակները կոչ են անում օգտագործել ավելի բազմազան ուսուցման և ստուգման տվյալներ, ինչպես նաև արդյունքները գնահատել խոսնակների տարբեր խմբերի համար առանձին։ Ուսումնասիրությունը սահմանափակված է որոշակի մոդելներով, շեշտադրումներով և առաջադրանքներով, սակայն մատնանշում է վտանգ, երբ ավտոմատ միավորը կարող է ազդել աշխատանքի կամ կրթության հնարավորությունների վրա։