Méthodologie d'évaluation des voix IA arabes

Textes de test fixes

Utilisez ces textes exacts pour chaque fournisseur. Les textes dialectaux sont des brouillons et doivent être vérifiés par un locuteur natif avant toute publication de résultats.

1. Arabe standard : noms, nombres et dates

   أعلنت مكتبة الرباط الوطنية اليوم إطلاق خدمة جديدة للاستعارة الرقمية. يبدأ التسجيل في 15 أكتوبر، ويمكن لكل عضو استعارة 3 كتب لمدة 21 يومًا.

2. Darija marocaine avec alternance français-arabe

   سلام، اليوم غادي نورّيوكم كيفاش تستعملو التطبيق. دخلو للإعدادات، اختارو «votre langue»، ومن بعد كليكيوا على «télécharger» باش تحفظو الملف.

3. Arabe égyptien

   أهلاً بيكم، النهارده هنجرب التسجيل خطوة بخطوة. افتحوا التطبيق، اختاروا الصوت، وبعدها دوسوا على زر التحميل.

4. Arabe du Golfe

   هلا والله، اليوم بنشرح طريقة حفظ الملف الصوتي. افتحوا التطبيق، اختاروا اللهجة، وبعدها اضغطوا على تنزيل.

5. Alternance arabe-anglais

   افتح صفحة Settings، اختر Audio format، ثم اضغط على Export MP3. إذا ظهر Error message، انسخ رقم الخطأ وأرسله إلى فريق الدعم.

6. Passage long et accessibilité

   تبدأ الرحلة إلى المكتبة بخطوات بسيطة، سواء كنت تختار كتابًا ورقيًا أو تسجيلًا صوتيًا. افتح صفحة الفهرس، واستخدم البحث للعثور على العنوان، ثم اقرأ وصفه قبل أن تضيفه إلى قائمتك. إذا كنت تستخدم قارئ الشاشة، فستحتاج إلى سماع أسماء الأزرار بالترتيب الصحيح، مع فواصل واضحة بين العناوين والنصوص. عندما يبدأ المقطع الصوتي، ينبغي أن تبقى نبرة القراءة مستقرة، وأن تُنطق الأرقام والتواريخ من دون حذف. يمكنك إيقاف الاستماع، ثم متابعة القراءة من الموضع نفسه.

Critères d'évaluation

Documentez séparément la prononciation, l'authenticité dialectale, le naturel, la constance entre générations et le flux de travail. Publiez les notes brutes, les paramètres et les extraits associés.

Protocole de test reproductible

Il s'agit du protocole initial de Vocalaba, inspiré de recommandations sur les tests d'écoute et de recherches sur la TTS arabe. Il ne revendique ni conformité ni approbation officielle de l'UIT.

1. Pour chaque voix prenant en charge un cas de test, utilisez le texte exact ci-dessous pour 3 générations indépendantes avec les réglages neutres disponibles. Ne modifiez pas le texte et ne traitez pas l'audio après génération. Notez le fournisseur, le modèle, la voix, les réglages, la date et toute seed disponible.
2. Conservez tous les résultats, y compris les échecs, et indiquez pourquoi un échantillon manque. Ne remplacez jamais silencieusement un extrait défaillant.
3. Présentez les extraits dans un ordre aléatoire avec des identifiants anonymes à au moins 5 auditeurs maîtrisant la variété ciblée. Faites vérifier les textes dialectaux par un locuteur natif avant toute comparaison publiée.
4. Chaque auditeur évalue séparément la prononciation, l'adéquation dialectale et le naturel. Évaluez la régularité en comparant les 3 sorties d'un même texte et conservez les notes individuelles.
5. Publiez les textes, réglages, nombres de voix et d'auditeurs, notes brutes et extraits. Ne fusionnez pas ces dimensions en un classement unique ; publiez les mesures de flux de travail séparément.

Échelle d'écoute

Utilisez une échelle descriptive de 1 à 5 pour chaque dimension d'écoute. Il s'agit d'une échelle interne proposée, et non d'un score MOS normalisé.

1. 1 — Très faible : une grande partie est difficile à comprendre ou présente des problèmes persistants.
2. 2 — Faible : des erreurs évidentes et répétées gênent l'écoute.
3. 3 — Acceptable : le sens reste compréhensible, avec des erreurs ou un manque de naturel perceptibles.
4. 4 — Bon : le résultat est généralement clair et naturel, avec de légers défauts.
5. 5 — Excellent : le résultat est clair, naturel et stable, sans problème notable.

Mesurer le flux de travail séparément

Notez en secondes le délai entre l'envoi d'une demande et le premier audio lisible sur 3 essais, puis listez les contrôles et formats d'export disponibles. Ne combinez pas ces mesures avec les notes d'écoute.

Publication responsable

Utilisez le même texte et des réglages comparables, datez chaque test, précisez les personnes ayant écouté les extraits et ne revendiquez ni précision chiffrée ni droits commerciaux sans preuve.

Références

Ces références éclairent la conception des tests ; leur citation ne signifie pas que Vocalaba ou ce protocole est certifié ou approuvé par ces organismes.

• ITU-T P.808 — Subjective evaluation of speech quality with a crowdsourcing approach

  Recommandation sur le matériel, le plan expérimental et les tests d'écoute participatifs.

• ITU-T P.85 — A method for subjective performance assessment of speech output devices

  Méthode d'évaluation subjective des dispositifs de sortie vocale.

• Lodagala et al. — SawtArabi: A Benchmark Corpus for Arabic TTS (Interspeech 2025)

  Étude de données TTS en arabe standard, égyptien et avec alternance arabe-anglais.

Limites de cette version

Aucun test fournisseur n'a encore été réalisé. Le minimum proposé de 5 auditeurs par variété permet uniquement un compte rendu descriptif et ne suffit pas à établir une supériorité statistique. Vérifiez les textes dialectaux et les réglages de chaque fournisseur avant de publier une comparaison.