النظر المتكرّر، والقطاع الذي ذهبتَ تبحث عنه

طريقتان للعثور على ما ليس موجوداً

عادتان عاديتان تحوّلان نتيجة اللاشيء إلى نتيجة. وكلتاهما تبدوان اجتهاداً لا غشّاً.

الأولى أن توقف التجربة في الصباح الذي تبدو فيه حسنة. والثانية أن تقبل أنّها لم تجد شيئاً في المجمل، ثمّ تفتّش مجموعةً مجموعة حتى تجد موضعاً نجحت فيه. وهذا الدرس يقيس ما تفعله كلٌّ منهما باحتمال أن تُخدَع.

لم يجد اختبار الدرس الأوّل شيئاً، على مدى شهر، وعلى 1,223 طلباً. وقد وقع حوله أمران. كان كلّ منهما سيُنتج «نتيجة» من ذلك اللاشيء نفسه، وكلاهما من العادية بحيث يفعلهما معظم الناس دون أن ينتبهوا.

الأوّل كان يوم الخميس. نظر أحدهم إلى اختبار جارٍ، فأعجبه ما رأى، فأوقفه. والثاني وقع في الأسبوع التالي لانتهائه. عادت النتيجة مسطَّحة، فذهب زميل يبحث عن القطاع الذي نجح فيه.

وليس أيّ منهما تدليساً. كلاهما طريقة لأخذ فرص أكثر ممّا سُعّر له الحساب.

النظر المتكرّر: لماذا ليست النظرة الخامسة مجّانية

اختبار الدلالة الإحصائية رهان بحافّة بيت معلنة. اضبط العتبة عند 1.96 خطأ معياري وتكون قد وافقت على هذا: حين لا يفعل التعديل شيئاً على الإطلاق، ستُخدع في 5% من الحالات. وتلك الـ 5% هي ثمن نظرة واحدة إلى عيّنة ثابتة.

والاختبار الجاري لا يقف ساكناً. فالفجوة بين المجموعتين تتذبذب مع وصول الطلبات. ترتفع يوم الثلاثاء وتعود للهبوط يوم الأربعاء. وفي الأثناء ينكمش الخطأ المعياري مع نموّ العيّنة. وكلّما نظرت أعطيت ذلك المسار المتذبذب فرصة أخرى لأن يكون فوق الخط في اللحظة التي تصادف أنّك تراقب فيها. فإن أوقفتَ أوّل مرّة يكون فيها كذلك، فأنت لم تُجرِ اختباراً عند 5%. أجريتَ شيئاً آخر، لا يعرف أحد في الغرفة ما هو.

والطريقة المغرية لتسعير ذلك هي الضرب. عشر نظرات، كلّ منها 5%، فيكون واحداً ناقص 0.95 مرفوعاً للعاشرة، أي 40.1%. وذلك خطأ، وهو خطأ في الاتّجاه الذي يجاملك. فعشر نظرات إلى بيانات نامية ليست عشرة اختبارات مستقلّة. فأرقام اليوم الرابع عشر تحتوي أرقام اليوم السابع، فالمسار الذي كان مرتفعاً في اليوم السابع أرجح أن يظلّ مرتفعاً في اليوم الرابع عشر. فالنظرات مترابطة بشدّة، والفرص المترابطة تتداخل.

فوجب إذن أن يُقاس الرقم لا أن يُشتقّ. وهذا هو القياس، وتستطيع أن تعيد إنتاجه.

اقرأ العمود الأخير أوّلاً. إنّه الضابط على التجربة. فمهما بلغ عدد مرّات النظر، تظلّ القراءة النهائية خاطئة في 5% من الحالات، تماماً كما أُعلن. النظر لا يفسد البيانات. إنّه يفسد قاعدة القرار، وذلك فقط إن تصرّفت على ما ترى.

والآن اقرأ الصفّ الأوّل بوصفه التحقّق من سلامة المحاكاة نفسها. فالنظرة الواحدة تعطي 5.01%، وهي الـ 5% التي كان الجميع يعرفونها سلفاً. والمحاكاة التي تعجز عن إعادة إنتاج جواب تملكه سلفاً خللٌ لا اكتشاف.

والفريق الذي يراقب لوحة يومية ويُطلق كل ما يتجاوز الخط يعمل عند 27.56%، لا عند 5%. أي أنّ أكثر من «فوز» من كل أربعة ليس شيئاً على الإطلاق.

الفائز الذي أُوقف مبكّراً يبالغ في تقدير نفسه، دائماً

وهناك كلفة ثانية. وهي تضرّ خطّة العام المقبل لا قرار هذا الأسبوع.

إن أوقفتَ لحظة تجاوُز الخط، فأنت توقف عند قمّة. والتقدير الذي تحمله خارج الغرفة ليس قياساً منصفاً للأثر. إنّه قياس مشروط بأنّه كان متطرّفاً بما يكفي لتجاوز عتبة، وذاك شيء مختلف وأكبر. والمحاكاة نفسها تسجّل ما أبلغت عنه تلك الاختبارات الموقوفة.

وكل ارتفاع من تلك مختلَق بأدقّ معاني الكلمة. فالمجموعتان كانتا متطابقتين بحكم البناء. والفريق الذي ينظر يومياً ويتوقّف عند أوّل فائز سيخرج عادةً مدّعياً نحو ثلث زيادة في المبيعات من تعديل لا يفعل شيئاً.

والآن انظر إلى الدرس الأوّل. كانت قراءة الخميس +18.6%. وهي تقع في وسط ما يُنتجه الضجيج المحض حين تنظر كل يوم. وهذا أنفع ما كان يمكن لأحد أن يقوله في ذلك الاجتماع.

ولاحظ الصفّ الأوّل أيضاً. حتى الاختبار النظيف ذو النظرة الواحدة والقوة الصحيحة يبالغ في تقدير الأثر حين يفوز. فالنتيجة لا تتجاوز الخط إلّا إن كانت في حجم الأثر القابل للكشف على الأقلّ، فالفائزون مسحوبون من أعلى التوزيع. ولهذا كثيراً ما يعطي التعديل الذي قاس 18% في تجربة محكمة أقلّ من ذلك عند إطلاقه. ولهذا لا يكون الإطلاق دليلاً على أنّ أحداً خرّب الإطلاق.

القطاع الذي ذهبتَ تبحث عنه

انتهى الاختبار مسطَّحاً. وفي الثلاثاء التالي قسّم زميل النتيجة حسب الجهاز والقناة، اثني عشر قطاعاً في المجمل، ليعرف أين نجحت اللوحة. وهذا التقسيم كلّه. والجلسات والطلبات تُجمع لتعود إلى إجماليات الدرس الأوّل: 25,214 و601 في الضابطة، و25,180 و622 في المعدَّلة.

صفّ واحد دون 0.05. والحكاية تكتب نفسها: لوحة المقاس تنجح على الهاتف والتواصل الاجتماعي المدفوع. وذاك جمهور بارد يصل من إعلان، ولا فكرة لديه عن قوالب إلينغهاي (Ellinghay). وهو بالضبط المتسوّق الذي ينبغي للوحة المقاس أن تساعده. إنّها حكاية جيّدة. بل إنّ لها آلية، وهذا ما يجعلها خطرة.

ما قيمة ذلك الصفّ

اثنا عشر قطاعاً، أُعطي كلّ منها فرصة 5% لتجاوز الخط وحده. وخلافاً للنظرات المتكرّرة، هذه القطاعات منفصلة. فلا جلسة تقع في اثنين منها. فالضرب الذي كان خاطئاً أعلاه صحيح تقريباً هنا:

chance that at least one of twelve independent tests crosses = 1 - 0.95^12
                                                             = 1 - 0.5404
                                                             = 45.96%

ومحاكاة هذه القطاعات الاثني عشر بعينها، بأحجامها الحقيقية، مع انعدام أيّ أثر حقيقي في أيّ منها، تعطي 45.6%. وذلك قريب من الضرب، لأنّ القطاعات المنفصلة مستقلّة تقريباً بالفعل.

فعلى اختبار لم يفعل فيه التعديل شيئاً على الإطلاق، تتوقّع أن تجد قطاعاً فائزاً في نصف هذه التقسيمات تقريباً. فالعثور على واحد ليس مفاجئاً. وعدم العثور على أيّ منها كان سيفاجئ قليلاً.

والتصحيح المعتاد أن تُقسم العتبة على عدد المقارنات:

0.05 / 12 = 0.0042

والصفّ الفائز عند 0.035، أي أكبر بثماني مرّات. فهو لا ينجو.

ولعنة الفائز المذكورة أعلاه تنطبق هنا في أنقى صورها. فقد اختير الصفّ لأنّه كان متطرّفاً. فالـ +71.4% ليست تقديراً لأيّ شيء. إنّها أكبر سحبة من اثنتي عشرة سحبة.

ما الذي تصلح له نتيجة القطاع

إنّها فرضية، والفرضيات ثمينة. فقد تسلّمت إلينغهاي لتوّها فكرة محدّدة قابلة للاختبار لم تكن لديها يوم الاثنين، ولها آلية تفسّرها: لوحة المقاس تساعد المتسوّقين الذين يصلون باردين من إعلان. والشيء الوحيد الذي لا يجوز لها هو أن تنفق مالاً عليها كأنّها نتيجة مثبتة.

والتأكيد اختبار جديد، مُعلن مسبقاً، على ذلك القطاع وحده، بحجم عيّنة محسوب أوّلاً. وهو الحساب نفسه الذي في الدرس الأوّل. أجره على معدّل ذلك القطاع الأساسي البالغ 2.02% وعلى زياراته البالغة 1,140 جلسة للمجموعة خلال أربعة أسابيع. أي 285 للمجموعة في الأسبوع.

وسبعة أسابيع مدّة يمكن تحمّلها، وهي الاختبار الذي يجب أن يُجرى. فإن كان الأثر يشبه فعلاً ما ادّعاه التقسيم فسبعة أسابيع ستُظهره. وإن عاد مسطَّحاً فقد تعلّمت إلينغهاي أنّ الـ +71.4% كانت أكبر سحبة من اثنتي عشرة سحبة. وهو ما كان الحساب يوحي به سلفاً، وهو ما يستحقّ سبعة أسابيع من زيارات قناة واحدة لإثباته قبل إعادة بناء صفحة منتج الهاتف حوله.

تصرّف بوصفك مراجعاً للتجارب رأى كثيراً من الاختبارات تُقرأ قراءة رهذهئة. أريد اختبار [صف التعهذهل] على [صف الشاشة].

أرقامي: معدّل التحويل الأساسي [معدّل]؛ الجلسات في اليوم على هذه الشاشة [عدد]؛ كلفة التعهذهل [مبلغ]؛ الهاليس الإجمالي للطلب [مبلغ].

أنتج خطة من صفحة واحدة بهذه العناوين بالضبط، وارفض ترك أيّ منها غامضاً:
- المؤشّر الأساسي، مع ذكر بسطه ومقامه.
- وحدة التحليل: جلسة أو زائر أو طلب، ولماذا.
- أصغر أثر يستحقّ التصرّف علماذا، ليستقّاً من الكلفة والهاليس لا ممّا سيبدو مبهراً.
- العيّنة لكل مجموعة وتاريخ الانتهاء المترتّب علماذاا، مع إظهار الحساب.
- النظرات: كم عدهذاا ومتى وعند أيّ عتبة معدَّلة، أو لا نظرات.
- مؤشّرات الحماية وما الذي يدفعني إلى الإيقاف بسبب ضرر.
- القطاعات المسموح لي بعرضها، مسمّاة مسبقاً ومعدودة، مع قسمة العتبة على عدهذاا.

ثمّ أخبرني بصراحة هل يستحقّ هذا الاختبار أن يُجرى أصلاً. وإن كانت الزيارات لا تستطيع كشف الأثر الذي يهمّ، فقل ذلك واقترح ما الذي يُقاس بدلاً منه.