تحديد المهمة ومقام النسبة
حدّد المسؤول والفترة والمهام ومعايير القبول ومصدر السجل. أدرج كل مهمة يحين موعدها خلال الفترة وثبّت مسارات العمل والأوزان مسبقاً. قد يكون القبول في البحث إعادة مستقلة للتجربة، وفي الخدمة العامة إغلاق ملف واجتياز فحص الجودة.
نسبة الإنجاز الكامل = مجموع أوزان المهام المستحقة التي أنجزها النظام من البداية إلى النهاية وقُبلت تشغيلياً ÷ مجموع أوزان جميع المهام المستحقة.
استخدم أوزاناً متساوية للمهام المتشابهة، وساعات عمل مرجعية محددة مسبقاً عند اختلاف التعقيد. انشر عدد المهام والنتيجة غير المرجحة لكل مسار. أدرج الإخفاق والتأخير والنتائج المجهولة وتولّي البشر للعمل في المقام. افصل الموافقة الإلزامية عن المراجعة الجوهرية أو تنسيق الخطوات.
تستخدم النسخة التجريبية السجل الكامل. عند دراسة عينة حدّد إطار المعاينة والطبقات والبذرة العشوائية مسبقاً وأفصح عن التغطية وما قد يسقط من كل طبقة. يصلح فاصل النسبة الثنائية للمشاهدات العشوائية المستقلة المتساوية الوزن. راع الترابط داخل العميل أو المشروع، وأجّل الترقية إذا تقاطع الفاصل مع العتبة.
أدلة العتبتين
G2 · القبول التشغيلي
ينبغي أن ينجز النظام أكثر من نصف العمل الأساسي بحسب الوزن وأن تتوفر سجلات لكل مسار أساسي معلن. تتبّع الطلب ومن تولى تنفيذه والتدخلات والحالة النهائية. انشر زمن المراجعة البشرية والتكلفة الكلية وحوادث الجودة.
G4 · تحسينات تستمر
بعد استيفاء G3، بيّن دورتين تعالجان مشكلتين مختلفتين بحالات اختبار منفصلة محفوظة مسبقاً. وثّق الاكتشاف والاقتراح والتنفيذ المأذون وإعادة الاختبار. قارن النسختين على الحالات الجديدة نفسها واحتفظ بالنسخة السابقة والبدائل الفاشلة والحد الأدنى المحدد سلفاً للمكسب والجودة وأدلة إمكان الرفض أو الإيقاف أو التراجع. اذكر تغيرات النموذج والميزانية والصعوبة.
مثال: يربط نظام في مشروع توصيل غير ربحي الإخفاق بتغييرات العنوان المتأخرة. تختبر المناوبة التالية الإجراءين على طلبات جديدة وتقارن الإخفاق والالتزام بالمواعيد.
G5 · هدف بحثي
اختبر إن كان تطوير آلية التجربة يرفع نسبة التحسينات الناجحة في مجال آخر بموارد مماثلة.
هل بدأ المشروع من دون سجل للمهام؟
يمكن للوكيل إعادة بناء قائمة المهام من الطلبات وسجلات العمل وإثباتات التسليم، بما فيها المهام المتوقفة وتلك التي أنجزها البشر. تُقيَّم كل مهمة على أربع مراحل هي الإعداد والتنفيذ والتحقق والتسليم. يعرض التقرير نطاقاً تقديرياً لحصة الذكاء الاصطناعي ويختبر أثر تغيير أوزان المهام. إذا تجاوز الحد الأدنى ٥٠٪ عند تساوي الأوزان، يدعم ذلك تقديراً استرجاعياً بمستوى G1. لا يمنح هذا المسار شارة.
دراسة الحالة 01 · إطلاق المشروع · كيف قيّم GO Benchmark إطلاقه؟
إتاحة مراجعة أحكام الوكيل
- جمع الأدلة
- استخدم نموذجاً موحداً ضمن النطاق المأذون. احتفظ بالمراجع والإصدارات والتدخلات وسجّل الثغرات والتناقضات.
- تقييم قابل للتكرار
- افصل تصنيف الأدلة عن الحساب. تعطي المدخلات والقواعد نفسها النتيجة نفسها. تكشف البصمة الرقمية تغير المحتوى ويتحمل مقدم السجل وناشره مسؤولية صحته.
- مراجعة محايدة
- احجب هوية المورد والنموذج والمقدم حيثما أمكن. غيّر ترتيب العرض واطلب تقييماً مستقلاً وفق معايير ثابتة. سجّل الإصدارات والتعليمات ومبررات الحكم والمراجعة البشرية. انشر الخلافات الجوهرية واعتمد الاستنتاج الأكثر تحفظاً.
- النشر والتصحيح
- أرفق بالشارة تقريراً يذكر الوحدة والنطاق والفترة والإصدار. انشر ملخصاً منقحاً واحتفظ بالأصول داخل المؤسسة واربط التصحيح بالنسخة السابقة. تحدد الجهات المستقلة الأدلة التي راجعتها.
مصادر المنهجية
يستخدم GDPval مخرجات مهنية ومراجعة محجوبة الهوية. يضيف GO نتيجة القبول التشغيلي الفعلية. GDPval
يتحقق τ-bench من الحالة النهائية وموثوقية الاختبارات المتكررة. يميّز GO بين إعادة الاختبار والمشاهدات التشغيلية. τ-bench
يعتمد METR زمن إنجاز البشر مرجعاً. يورد GO ساعات العمل والزمن المنقضي وتكرار التدخل البشري. METR
تدعم مشكلات تقييم SWE-bench Verified حجز حالات مستقبلية وحفظ تاريخ تصحيح الدرجات. SWE-bench Verified
تختبر آلة داروين غودل تعديلاتها على مهام لاحقة. يطلب GO أدلة تقييم مستقلة عن النظام موضع التقييم. Darwin Gödel Machine
معايرة الإصدار التالي
سجّل دراسات تجريبية مسبقاً في قطاعات متعددة. يقيّم مراجعان الأدلة المنزوعة الهوية بصورة مستقلة. انشر حجم العينة لكل مستوى ومصفوفة الالتباس ومعامل كابا المرجح وعدم اليقين. قارن النتائج بفحص المسؤولين عن العمل.
استخدم المهام اللاحقة لاختبار توقع الإنجاز وتولّي البشر للمهمة. غيّر الأوزان والفترات والعتبات كلّاً على حدة لمعرفة حساسية الاستنتاجات. بيّن إصدار المعيار مع كل نتيجة.