الدروس · الدرس 3 من 7
درجة الثقة ترتيب، لا احتمال
أن تقيس كم تساوي درجات الثقة لديك فعلاً، وأن تستعملها في ترتيب قائمة مراجعة، وأن ترفض استعمالها كعتبة قبل أن تدفع ثمن ذلك الحق.
الدرس 3 من 7 · 18 د
الموقف
كل قيمة يعيدها مستخرِج هالمسايد تصل ومعها رقم بجوارها، بين 0 و1. وهذا الرقم يسمّى درجة الثقة. لم يختر أحد في هالمسايد معناه، ولم يُخبَر به أحد.
واتّفق المكتب على قاعدة في نحو أربع دقائق: اقبل أي شيء درجته 0.90 فأعلى دون نظر، وأدرج الباقي في قائمة.
وهي قاعدة معقولة. تُقرأ على أنها تسع مرّات من عشر يكون هذا صحيحاً، وهذا كافٍ لإذن استلام.
وليس هذا ما يقوله الرقم. وهذا الدرس عن الفرق، وعمّا يكلّفه الفرق.
مقابل أي شيء قيس الرقم
أجرى ناجي المقارنة نفسها التي في الدرس الأول، لكنه احتفظ هذه المرّة بالدرجة. 2,940 حقلاً مستخرَجاً على مدى ستّة أسابيع. لكل حقل درجته، وكل حقل مقارَن بالقيمة المُدخلة يدوياً.
| نطاق الدرجة | الحقول | الصحيحة | الدقّة المقيسة |
|---|---|---|---|
| 0.95 فأعلى | 1,412 | 1,376 | 97.5% |
| 0.90 حتى 0.95 | 604 | 502 | 83.1% |
| 0.80 حتى 0.90 | 486 | 371 | 76.3% |
| دون 0.80 | 438 | 265 | 60.5% |
الإجمالي: 2,514 صحيحة من 2,940، أي 85.5%، و426 خطأً.
والآن اقرأ الصفّ الثاني مقابل قاعدة المكتب. الحقل الذي درجته 0.90 صحيح 83.1% من المرّات، لا 90%. وكان هالمسايد يقبل آلياً 2,016 حقلاً. 138 منها كانت خاطئة. أي معدّل خطأ 6.8% داخل النطاق الذي كان الجميع يسمّيه آمناً.
الدرجات تظلّ جديرة بالاقتناء
وهذا هو النصف الذي يضيع حين يكتشف أحدهم المشكلة أعلاه فيرمي الدرجة كلها.
رتّب الحقول الـ 2,940 كلها بحسب الدرجة، وانظر أين تقع الأخطاء الـ 426.
- الحقول الـ 438 الأدنى درجةً هي 14.9% من الحجم. وهي تحمل 173 خطأً، أي 40.6% من كل خطأ موجود.
- ووسّع ذلك إلى كل ما دون 0.90: 924 حقلاً، أي 31.4% من الحجم، تحمل 288 خطأً، أي 67.6% منها.
مراجعة أدنى 31.4% درجةً تلتقط 67.6% من الأخطاء. أما المراجعة التي تنتقي الحقول عشوائياً فتلتقط، بحكم التعريف، نسبة من الأخطاء تساوي نسبة الحقول التي نظرت فيها. فالدرجة إذن تساوي 2.15 ضعف مراجعة عشوائية بالحجم نفسه.
وهذه خاصّية حقيقية ونافعة، ولها اسم يستحقّ التعلّم، لأن الاسم يبقي فكرتين منفصلتين في ذهنك.
فالدرجة قد تميّز جيداً، أي تضع السيّئ قرب القاع. والدرجة نفسها قد تُعايَر رديئاً، أي يَعِد الرقم نفسه بما لا يفي به. ودرجات هالمسايد تفعل ذلك بالضبط. هي تصنع قائمة مراجعة ممتازة ووعداً لا قيمة له.
ثمن شراء حقّ القبول الآلي
لست مضطرّاً إلى معايرة كل نطاق. أنت مضطرّ إلى معايرة النطاق الواحد الذي أنت على وشك الكفّ عن النظر فيه.
أراد هالمسايد القبول الآلي عند 0.90 فأعلى. ولمعرفة الدقّة الحقيقية لذلك النطاق بهامش خمس نقاط مئوية، بالثقة المعتادة، عند دقّة قريبة من 83.1%، احتاج إلى:
216 حقلاً، مسحوبة من ذلك النطاق، مفحوصة يدوياً مقابل مستنداتها.
وعند 38 ثانية للحقل يكون ذلك 2.28 ساعة من عصر يوم أحدهم. وهذا هو كامل ثمن حقّ القبول الآلي لنطاق واحد، وليس هناك طريقة أرخص لشرائه.
وقد دفعه هالمسايد. فوجد 83.1%، ونقل عتبته إلى 0.95، حيث الدقّة المقيسة 97.5%. ويقول حساب الدرس السابع إن الأخطاء الباقية فوق ذلك الخطّ تكلّف أقلّ من البحث عنها.
اختبر فهمكيقول لك المورّد إن درجة الثقة معايَرة. فما سؤالك التالي؟أظهر الإجابة
معايَرة مقابل ماذا، وعلى مستندات من. المعايرة علاقة مُقدَّرة بين درجة وتكرار مقيس، ولا تصحّ إلا على المجموعة التي قُدّرت عليها. اطلب أن ترى جدول النطاقات: نطاق الدرجة، وعدد البنود، وعدد الصحيح منها. فإن كان موجوداً فقد قيس على مستنداتهم لا مستنداتك، فعامله كدليل على أنهم أدّوا العمل، لا كرقم تستطيع استعماله. أما رقمك أنت فما يزال يكلّفك ساعتين ونيّفاً.
الأمران اللذان لا تراهما الدرجة
قيمة ليست على الصفحة. من بين الأخطاء الـ 426، كان 58 حقلاً لا يحمل المستند فيها القيمة أصلاً. لا شروط شحن، ولا مرجع عيّنة صباغة، ولا شيء يُقرأ. ومع ذلك أعاد المستخرِج قيمة.
وكان متوسّط درجة تلك الـ 58 هو 0.91، أي فوق متوسّط العيّنة البالغ 0.89. كان واثقاً لأنه كان واثقاً بما أنتجه، ولا شيء في الدرجة يسأل هل كان الشيء موجوداً أصلاً. والدرس الثاني من الدورة 10.1 يسعّر أصلاً ما تفعله القيمة المخترَعة بالقرارات التي تحتها. والإضافة هنا أن القيمة المخترَعة تميل إلى درجة عالية، فتمرّرها قاعدة العتبة مباشرةً.
مستند لم يرَه من قبل. المعايرة التي دفعت ثمنها للتوّ لا تصمد إلا ما دامت مستنداتك على حالها. فحين يغيّر مورّد واحد قالبه، تبقى الدرجات حيث كانت وتتحرّك الدقّة تحتها. وهذا هو الدرس السادس، وهو العطب الذي يصل بلا إعلان.
موجّه · احسب كم تساوي درجات الثقة عندك
قبل أن تشغّل أي قاعدة تقول «اقبل كل ما فوق هذا الرقم». وكلّما انضمّ مورّد جهذهد أو تخطيط مستند جهذهد إلى تدفّقك.
تصرّف كمحلّل قياس يساعد مصنع ملابس على تقرير ما إذا كان يجوز له التوقّف عن مراجعة بعض الحقول المستخرَجة من مستنداته. لقد أجريت فحصاً يدوياً ولهذهّ النتائج الخام. بياناتي: [الصق صفّاً واحداً لكل نطاق درجات — النطاق، وكم حقلاً وقع فيه، وكم منها كان صحيحاً عند الفحص اليدوي]. ومراجعتي تستغرق نحو [الثواني] للحقل، وأجر مكتبي المحمّل [المبلغ] في الساعة. والنطاق الذي أريد التوقّف عن مراجعته هو [النطاق]. افعل ما يلي. أولاً، أعطني الدقّة المقيسة لكل نطاق وقل صراحةً، نطاقاً نطاقاً، هل تتصرّف الدرجة كاحتمال أن تكون الإجابة صحيحة. ثانياً، أخبرني كم حقلاً عليّ فحصه يدوياً في النطاق الذي سمّيته لأعرف دقّته الحقيقية بهاليس خمس نقاط مئوية، وحوّل ذلك إلى ساعات ومال بأجري. ثالثاً، أخبرني على حدة كم تُحسِن الدرجات ترتيب حقولي: لو راجعت الحقول الأدنى درجةً أولاً، فما نسبة أخطائي كلها التي كنت سألتقطها عند مراجعة عُشر الحجم ثم ربعه ثم ثلثه، وكيف يقارن ذلك بمراجعة العدد نفسه عشوائياً. رابعاً، قل أي الخاصّيتين تملكها درجاتي وأيّهما لا تملكها. خامساً، اذكر ما الذي يُبطل هذا القياس — مورّد جهذهد، أو قالب متغيّر، أو نوع مستند جهذهد — وكيف سأنتبه إلماذا. أظهر الحساب لكل رقم حتى أتحقّق منه، ولا تملأ أي نقص في بياناتي برقم مفترض.
قد يخطئ الذكاء الاصطناعي — تحقّق من أي شيء ستتصرّف بناءً عليه.
الدرس الرابع يترك الاستخراج ويتناول المهمّة الثانية: تقرير أن سجلّين يكادان يتّفقان يتحدّثان عن الشيء نفسه.