قارن الجودة والسرعة

للمقارنة بين نموذجين، استخدم الأسئلة نفسها وعلى الجهاز نفسه. سجل وسم كل نموذج وطول السؤال وحالة الجهاز. إذا غيرت السؤال والبرنامج والنموذج معاً، فلن تعرف سبب الفرق في النتيجة.

اختر سؤال شرح لمفهوم تعرف إجابته، وفقرة قصيرة للتلخيص، وسؤالاً لا تجيب عنه الفقرة. السؤال الثالث يكشف هل يعترف النموذج بنقص المعلومات أم يختلق جواباً مقنعاً.

سجل زمن أول رد والزمن الكلي، ثم قيّم الدقة واللغة والامتناع الصحيح. قد يكون نموذج أسرع لكنه أقل ملاءمة للعربية، أو أبطأ لكنه أوضح في مهمتك. لا تعرض نتيجة جهاز واحد كحقيقة عامة.

أنشئ جدولاً من ستة صفوف: ثلاثة أسئلة لكل نموذج. اكتب الزمن والذاكرة الملاحظة وحكم الدقة وسبب الحكم. إذا اختلفت إعدادات السياق أو التكميم، اذكر ذلك بجانب النتيجة.

في نهاية التجربة، اختر النموذج الذي يحقق مستوى الدقة المقبول على جهازك. إذا كان كلاهما يخمن في السؤال بلا جواب، عدل طريقة إعطاء المصدر أو أضف تحققاً بشرياً، ولا تعتبر زيادة السرعة حلاً لهذا الخطأ.