الاختبار الذي فاز يوم الخميس

التعديل الذي أراده الجميع

اعرض على نصف زوّار الموقع نسخة من الصفحة. واعرض على النصف الآخر نسخة مختلفة. ثمّ قارن ما اشتراه كل نصف. هذا هو اختبار أ/ب (A/B). وهو أقرب ما في تجزئة الإنترنت إلى التجربة الحقيقية.

وهو أيضاً أسهل ما في هذا العمل قراءةً خاطئة. فهو يعطيك رقماً جديداً كل صباح، وذلك الرقم يتحرّك لأسباب لا علاقة لها بالصفحة. وهذا الدرس يفكّك مقارنة واحدة من هذا النوع.

تبيع إلينغهاي (Ellinghay) الأحذية والإكسسوارات: أحذية طويلة الرقبة وأحذية سهلة اللبس وصنادل وأحزمة ومصنوعات جلدية صغيرة. ولديها 34 متجراً وموقع إنترنت. والموقع يستقبل أكثر من نصف المال بقليل.

والأحذية طويلة الرقبة هي أكثر ما يسبّب المتاعب. تقول بيانات المرتجعات الخاصة بإلينغهاي عن الخريف السابق إنّ 31.2% من طلبات هذه الأحذية عادت. وفي 19.8% منها كان رمز السبب هو المقاس: حذاء يضغط عند مفصل القدم، أو يتّسع عند الكعب. ولم يكن أحد بحاجة إلى إقناع بأنّ هذا يكلّف مالاً.

فاقترح فيرِس بلدويك (Ferris Pledwick)، الذي يدير عرض المنتجات على الموقع، لوحة مقاس وعرض لصفحات منتجات هذه الأحذية. وهي كتلة قصيرة فوق أداة اختيار المقاس. تذكر أيّ القوالب ضيّق، وما قياس الساق لكل رقبة حذاء، ومتى يُختار مقاس أكبر. وقدّر قسم التطوير كلفة بنائها عبر تشكيلة الأحذية بـ 9,400 جنيه إسترليني. وإبقاء القياسات محدَّثة مع تغيّر القوالب يكلّف نحو 4,600 جنيه إسترليني سنوياً. أي 14,000 جنيه إسترليني في السنة الأولى.

وطلبت ديليا سكارو (Delia Skarrow)، التي تدير التجارة الرقمية، اختباراً بدل الإطلاق. كانت تلك هي الغريزة الصحيحة. وكان كل ما بعدها تقريباً خطأً.

ما الذي قيس

قسم الاختبار الجلسات التي بلغت صفحة منتج حذاء طويل الرقبة. نصفها رأى الصفحة كما هي. ونصفها رأى الصفحة مع اللوحة. وبدأ يوم اثنين.

وكان المؤشّر هو التحويل: حصّة جلسات صفحات منتجات الأحذية التي انتهت بطلب يحتوي حذاءً. وكانت صفحات أحذية إلينغهاي تحوّل عند 2.4% خلال الأسابيع الثمانية السابقة، على نحو 1,800 جلسة من هذا النوع يومياً.

يوم الخميس

بحلول صباح الخميس بدت لوحة المؤشّرات هكذا. أربعة أيّام من التجارة، مجموعة.

وهذا ارتفاع نسبي قدره 18.6%: 0.02759 مقسوماً على 0.02326، ناقص واحد. وموزّعاً على سنة من مبيعات الأحذية قُرئ ذلك بوصفه مئات الآلاف من الجنيهات الإسترلينية إيراداً إضافياً. وبحلول عصر الخميس كانت اللوحة قد اعتُمدت للتشكيلة كلّها.

وطُلب من ميرِن أودلوم (Mirren Odlum)، المحلّلة، أن تكتب التقرير. وما يلي هو التقرير.

ما تقوله أرقام اليوم الرابع فعلاً

المعدّلان المقيسان على عيّنتين يختلفان حتى حين لا يختلف الشيء الذي يقيسانه. فالسؤال ليس أبداً «هل اختلف الرقمان». فهما يختلفان دائماً. السؤال هو إلى أيّ مدى يمكن أن يتباعدا لو لم تغيّر اللوحة شيئاً على الإطلاق، وهل تقع 0.434 من النقطة المئوية داخل ذلك المدى أم خارجه.

والأداة لذلك هي الخطأ المعياري: وهو قياس لمقدار تذبذب رقم كهذا بالمصادفة وحدها. وللفرق بين معدّلين هو الجذر التربيعي لمجموع التباينين.

se = sqrt( pc(1 - pc)/nc + pv(1 - pv)/nv )

   = sqrt( 0.02326 x 0.97674 / 3612  +  0.02759 x 0.97241 / 3588 )
   = sqrt( 0.000006289 + 0.000007478 )
   = sqrt( 0.000013767 )
   = 0.003710   which is 0.371 percentage points

والفرق الملاحَظ هو 2.759% ناقص 2.326%، أي 0.434 من النقطة المئوية. ومجال الثقة 95% هو المدى الذي يعقل أن يقع فيه الأثر الحقيقي. وهو يمتدّ 1.96 خطأ معياري على كل جانب ممّا قِسته:

1.96 x 0.371 = 0.727 percentage points

interval  =  0.434 - 0.727  to  0.434 + 0.727
          =  -0.294  to  +1.161  percentage points

والآن اقسم كل طرف على 2.326% الخاصة بالمجموعة الضابطة. فيعود ذلك إلى اللغة التي كان الجميع يستعملونها في الاجتماع.

اقرأ الصفّ الأوسط بصوت عالٍ. الأيّام الأربعة من البيانات تتّسق مع أن تكون اللوحة قد كلّفت إلينغهاي ثُمن مبيعات أحذيتها. وتتّسق بالقدر نفسه مع أن تكون قد أضافت نصفها مرّة أخرى. والشيء الوحيد الذي تعجز البيانات عنه هو التمييز بين هذين. فلا نتيجة هنا يُعتمد بها شيء. لا نتيجة صغيرة. ولا نتيجة واعدة. لا شيء.

والقيمة الاحتمالية (p) تقول الشيء نفسه في رقم واحد. فالقيمة الاحتمالية هي احتمال أن ترى فارقاً بهذا الحجم أو أكبر لو لم يفعل التعديل شيئاً. وهي هنا 0.24. أي أنّ فارقاً بهذا الحجم يظهر نحو مرّة من كل أربع بالحظّ وحده.

كم مشاهدة كان الأثر يحتاجها فعلاً

السؤال المفيد ليس «هل كان الخميس كافياً». بل «كم كان سيكفي». وذلك حساب، ويجب أن تجريه قبل الاختبار لا بعده.

ولكي تكون فرصتك جيّدة في كشف أثر ما، عليك أن تقول ثلاثة أشياء صراحةً.

1. المعدّل الأساسي الذي تنطلق منه.
2. حجم الأثر الذي تريد القدرة على رؤيته.
3. مدى اليقين الذي تريده.

المعدّل الأساسي لدى إلينغهاي هو 2.400%. والأثر الذي صدّقه الاجتماع هو الـ +18.6% التي قرأها لتوّه، وهو ما يرفع المجموعة المعدَّلة إلى 2.844%. أمّا الثالث فخُذ فيه العُرفين المعتادين: معدّل إيجابية كاذبة قدره 5% على اختبار ثنائي الجانب، وهو ما يعطي 1.96 خطأ معياري، وفرصة 80% لكشف الأثر إن كان حقيقياً، وهو ما يضيف 0.842.

p1 = 0.02400        p2 = 0.02844        pbar = (p1 + p2)/2 = 0.02622

n per arm = ( 1.960 x sqrt(2 x pbar x (1 - pbar))
              + 0.842 x sqrt(p1(1 - p1) + p2(1 - p2)) )^2  /  (p2 - p1)^2

          = ( 1.960 x sqrt(0.0510651) + 0.842 x sqrt(0.0510550) )^2 / (0.00444)^2
          = ( 0.4429 + 0.1902 )^2 / 0.0000197136
          = 0.40078 / 0.0000197136
          = 20,330 sessions in each arm

أوقفت إلينغهاي الاختبار على 3,612 جلسة لكل مجموعة. وتلك 17.8% ممّا كان الأثر الذي صدّقته يحتاجه. لا «مبكّراً قليلاً». ولا حتى خُمس الطريق.

ما قاله الشهر

تركت ديليا الاختبار يمضي الأسابيع الأربعة كاملة على أيّ حال. وهو السبب الوحيد في أنّ لهذا الدرس نهاية. وهذا هو الاختبار كلّه، مجموعاً، عند خمس نقاط.

ثلاثة أشياء ظاهرة في ذلك الجدول، وثلاثتها عامّة.

المجال ينكمش تقريباً بالجذر التربيعي للعيّنة. فأربعة أضعاف البيانات تنصّف عرضه. والانتقال من اليوم السابع إلى اليوم الثامن والعشرين ضاعف العيّنة أربع مرّات. ونقل المجال من عرض 46 نقطة إلى عرض 22.5 نقطة.

والتقدير يهبط. +28.4%، ثمّ +18.6%، ثمّ +12.4%، ثمّ +6.9%، ثمّ +3.6%. وهذا ليس خفوت أثر اللوحة. إنّه ما يفعله التقدير المبكّر. ففي اليوم الثاني يهيمن الضجيج على الرقم، والضجيج الذي صادف أن كان موجباً هو السبب الوحيد في أنّ أحداً نظر إلى هذا الاختبار يوم الخميس. والدرس الثاني يقيس بالضبط كم يبلغ ذلك الانحياز.

ولم يصر شيء دالّاً في أيّ لحظة. فالمجال النهائي، على 1,223 طلباً، ما زال يمتدّ من -7.6% إلى +14.9%. وبعد شهر تعرف إلينغهاي أنّ من المستبعد جداً أن تكون اللوحة قد غيّرت تحويل الأحذية بأكثر من نحو السُبع في أيّ من الاتجاهين. ولا تعرف شيئاً غير ذلك.

الارتفاع الذي كان سيدفع ثمن اللوحة

هذا هو السؤال الذي لم يسأله أحد في اجتماع الاعتماد. وهو الذي يقرّر هل كان الاختبار يستحقّ أن يُجرى أصلاً.

تأخذ صفحات منتجات الأحذية نحو 1,800 جلسة يومياً، أي 657,000 سنوياً. وعند 2.4% تكون تلك 15,768 طلب حذاء. وهامش إلينغهاي الإجمالي على طلب الحذاء يبلغ في المتوسّط 42.00 جنيهاً إسترلينياً، فسمِّ مساهمة صفحة الحذاء 662,256 جنيهاً إسترلينياً سنوياً.

وتكلّف اللوحة 14,000 جنيه إسترليني في السنة الأولى. فهي إذن تدفع ثمن نفسها عند:

14,000 / 662,256 = 2.11% relative lift

والآن أعد الـ 2.11% إلى حساب حجم العيّنة. تبقى p1 عند 0.02400. وتصير p2 هي 0.024506. ويصير الفرق في المقام 0.000506 بدل 0.00444. أي أصغر بنحو تسع مرّات، وهو مرفوع إلى التربيع.

ولكي تكشف أصغر ارتفاع يدفع ثمن اللوحة فعلاً، تحتاج نحو 1,610 يوماً من زيارات الأحذية في كل مجموعة. أي أربع سنوات ونصفاً. وستكون الأحذية قد أُوقفت مرّتين في تلك المدّة.

تلك هي النتيجة الحقيقية لهذا الاختبار، وهي أثمن ممّا كانت النتيجة ستكون:

صفحات أحذية إلينغهاي لا تستطيع الإجابة عن هذا السؤال. فالأثر الذي يهمّ تجارياً أصغر من أصغر أثر تستطيع الزيارات رؤيته.

ماذا تفعل بسؤال لا تستطيع زياراتك الإجابة عنه

هناك أربع استجابات صادقة. ثلاث منها سليمة.

1. احسمه بدليل آخر وقل ذلك. لم تكن حجّة اللوحة الحقيقية يوماً هي التحويل. بل الـ 19.8% من مرتجعات الأحذية المرمَّزة على أنّها مقاس. والمرتجع يكلّف إلينغهاي شحناً في الاتجاهين، ومناولةً، وعلى حذاء متأخّر في الموسم تخفيضاً أيضاً. فقِس ذلك بدلاً منه. إنّه معدّل على الطلبات، وإن نقلت اللوحة المرتجعات من 31.2% إلى 28% فهي تستحقّ الاقتناء مهما فعل التحويل.
2. اختبر شيئاً أكبر. الاختبار لا يرى إلّا آثاراً بحجم معيّن. فأنفق الزيارات على تعديلات يعقل أن تُنتج أثراً كهذا. لوحة المقاس تحسين دقيق. أمّا تغيير طريقة تحجيم الأحذية أو تسعيرها أو شحنها فليس كذلك.
3. وسّع الوحدة. يمكن أن توضع اللوحة على كل صفحات الأحذية لا على الأحذية طويلة الرقبة وحدها. وذلك يرفع الزيارات نحو أربعة أضعاف ويقصّ الأيّام المطلوبة بالقدر نفسه. وأنت حينئذ تختبر سؤالاً مختلفاً أوسع، وعليك أن تقول ذلك.
4. أجره أربعة أيّام وأوقفه. هذا ما حدث. وهو الوحيد من الأربعة الذي يُنتج رقماً لا يستطيع أحد الاعتماد عليه بينما يبدو صرامةً.

أنت محلّل دقيق. سأعطيك الأعداد الخام لاختبار أ/ب على الأنترنت. أخبرني بما يمكن استنتاجه وما لا يمكن. لا تستخدم قواعد تقريبية ولا تستشهد بمعايير قطاعية. اعمل من أرقامي وحهذاا.

المجموعة الضابطة: [جلسات] جلسة، [طلبات] طلباً.
المجموعة المعدَّلة: [جلسات] جلسة، [طلبات] طلباً.
كلفة بناء التعهذهل وصيانته: [مبلغ] سنوياً.
الجلسات السنوية على هذه الشاشة: [عدد]. الهاليس الإجمالي للطلب: [مبلغ].

نفّذ كل ما يلي وأظهر الحساب:
1. معدّلَي التحويل، والفرق المطلق بالنقاط المئوية، والخطأ المعياري لذلك الفرق بوصفه الجذر التربيعي لمجموع pc(1-pc)/nc و pv(1-pv)/nv.
2. مجال الثقة 95% للفرق وللارتفاع النسبي، وجملة صريحة تقول ما الذي يستبعهذا المجال وما الذي لا يستبعهذا.
3. حجم العيّنة الذي كانت كل مجموعة تحتاجه لكشف الأثر الملاحَظ عند قوة 80% ومعدّل إيجابية كاذبة قدره 5% ثنائي الجانب، وأيّ نسبة منه لهذهّ فعلاً.
4. الارتفاع النسبي عند نقطة التعادل المستنتج من الكلفة والهاليس، والعيّنة اللازمة لكشف ذلك الارتفاع.
5. توصية من سطر واحد: أطلِق، أو لا تطلق، أو استمرّ حتى تاريخ محدّد، أو أنّ هذا السؤال لا تستطيع هذه الزيارات الإجابة عنه.

واختم بتسمية أيّ شيء في أرقامي قد يغيّر إجابتك.