منهجية تقييم الأصوات العربية بالذكاء الاصطناعي

النصوص الثابتة للاختبار

استخدم هذه النصوص كما هي لكل مزوّد. النصوص اللهجية مسودة وتحتاج مراجعة متحدث أصلي قبل استخدامها لإعلان نتائج.

1. الفصحى: أسماء وأرقام وتواريخ

   أعلنت مكتبة الرباط الوطنية اليوم إطلاق خدمة جديدة للاستعارة الرقمية. يبدأ التسجيل في 15 أكتوبر، ويمكن لكل عضو استعارة 3 كتب لمدة 21 يومًا.

2. الدارجة المغربية مع مزج الفرنسية

   سلام، اليوم غادي نورّيوكم كيفاش تستعملو التطبيق. دخلو للإعدادات، اختارو «votre langue»، ومن بعد كليكيوا على «télécharger» باش تحفظو الملف.

3. اللهجة المصرية

   أهلاً بيكم، النهارده هنجرب التسجيل خطوة بخطوة. افتحوا التطبيق، اختاروا الصوت، وبعدها دوسوا على زر التحميل.

4. اللهجة الخليجية

   هلا والله، اليوم بنشرح طريقة حفظ الملف الصوتي. افتحوا التطبيق، اختاروا اللهجة، وبعدها اضغطوا على تنزيل.

5. مزج العربية والإنجليزية

   افتح صفحة Settings، اختر Audio format، ثم اضغط على Export MP3. إذا ظهر Error message، انسخ رقم الخطأ وأرسله إلى فريق الدعم.

6. فقرة طويلة وإمكانية الوصول

   تبدأ الرحلة إلى المكتبة بخطوات بسيطة، سواء كنت تختار كتابًا ورقيًا أو تسجيلًا صوتيًا. افتح صفحة الفهرس، واستخدم البحث للعثور على العنوان، ثم اقرأ وصفه قبل أن تضيفه إلى قائمتك. إذا كنت تستخدم قارئ الشاشة، فستحتاج إلى سماع أسماء الأزرار بالترتيب الصحيح، مع فواصل واضحة بين العناوين والنصوص. عندما يبدأ المقطع الصوتي، ينبغي أن تبقى نبرة القراءة مستقرة، وأن تُنطق الأرقام والتواريخ من دون حذف. يمكنك إيقاف الاستماع، ثم متابعة القراءة من الموضع نفسه.

معايير التقييم

وثّق النطق وأصالة اللهجة والطبيعية والثبات بين مرات التوليد وسير العمل بشكل منفصل. انشر الملاحظات الخام والإعدادات والمقاطع المرتبطة بها.

بروتوكول الاختبار القابل لإعادة التكرار

هذه نسخة أولية من بروتوكول Vocalaba، مسترشدة بتوصيات تقييم الاستماع وأبحاث تحويل النص العربي إلى كلام. لا تعني التوافق أو الاعتماد الرسمي من ITU.

1. لكل صوت يدعم الحالة، استخدم النص الحرفي أدناه 3 مرات بإعدادات محايدة متاحة. لا تعدّل النص ولا تعالج الصوت بعد التوليد. سجّل المزوّد والطراز والصوت والإعدادات والتاريخ وأي seed متاح.
2. احتفظ بكل المخرجات، بما فيها الإخفاقات، وسجّل سبب أي عينة مفقودة. لا تستبدل المقطع الفاشل بصمت.
3. اعرض المقاطع برموز مجهولة وبترتيب عشوائي على 5 مستمعين على الأقل متمكنين من اللهجة المستهدفة. اطلب مراجعة نصوص اللهجات من متحدث أصلي قبل نشر أي مقارنة.
4. يقيّم كل مستمع كل مقطع بشكل مستقل للنطق وأصالة اللهجة والطبيعية. قيّم الثبات بمقارنة المخرجات الثلاثة للنص نفسه، مع تسجيل الدرجات الفردية.
5. انشر النصوص والإعدادات وعدد الأصوات والمستمعين والدرجات الخام والمقاطع. لا تجمع المحاور في ترتيب واحد؛ اعرض مقاييس سير العمل منفصلة.

مقياس الاستماع

استخدم مقياسًا وصفيًا من 1 إلى 5 لكل محور سمعي. هذا مقياس داخلي مقترح وليس درجة MOS معيارية.

1. 1 — ضعيف جدًا: يصعب فهم أجزاء كبيرة أو تظهر مشكلات مستمرة.
2. 2 — ضعيف: أخطاء واضحة ومتكررة تعيق الاستماع.
3. 3 — مقبول: المعنى مفهوم، مع أخطاء أو لاطبيعية ملحوظة.
4. 4 — جيد: واضح وطبيعي غالبًا مع عيوب طفيفة.
5. 5 — ممتاز: واضح وطبيعي ومستقر بلا مشكلات ملحوظة.

قياس سير العمل منفصلًا

سجّل بالثواني الزمن من إرسال الطلب حتى أول صوت قابل للتشغيل في 3 محاولات، واذكر خيارات التحكم وصيغ التصدير المتاحة. لا تدمج هذه القياسات مع درجات الاستماع.

نشر مسؤول

استخدم النص نفسه وإعدادات قابلة للمقارنة، وأضف تاريخ الاختبار، واشرح من استمع للمقاطع، ولا تدّعِ نسب دقة أو حقوقاً تجارية دون دليل.

المراجع

تساعد هذه المراجع في تصميم الاختبارات؛ الاسترشاد بها لا يعني اعتماد Vocalaba أو هذا البروتوكول من الجهات المذكورة.

• ITU-T P.808 — Subjective evaluation of speech quality with a crowdsourcing approach

  توصية للمواد وتصميم التجربة وإجراءات تقييم جودة الكلام عبر الاستماع الجماعي.

• ITU-T P.85 — A method for subjective performance assessment of speech output devices

  طريقة لتقييم الأداء الذاتي لأجهزة إخراج الكلام.

• Lodagala et al. — SawtArabi: A Benchmark Corpus for Arabic TTS (Interspeech 2025)

  مرجع بحثي يتناول الفصحى والمصرية ومزج العربية والإنجليزية في بيانات تحويل النص إلى كلام.

حدود النسخة الحالية

لم تُجرَ اختبارات لمزوّدين بعد. الحد الأدنى المقترح وهو 5 مستمعين لكل لهجة يقدّم نتائج وصفية فقط، ولا يكفي وحده لإثبات تفوق إحصائي. يجب التحقق من نصوص اللهجات وإعدادات كل مزوّد قبل نشر مقارنة.