تصميم تجربة استخراج لكشوف الحساب تنتقل نتيجتها إلى التشغيل

التجربة تنبؤ: إنها تزعم أن الأداء على هذه المستندات يتوقّع الأداء على مستندات العام القادم. ومعظم التجارب تنبؤات ضعيفة لأن العيّنة جمعها من أراد أن تنجح: ملفات PDF النظيفة، والبنكان اللذان يستخدمهما الجميع، والصفحات التي مُسحت بشكل جيد. والنتيجة صحيحة ولا تُعمَّم.

وسبب صعوبة المشكلة نفسها موضوع منفصل. وهذا المقال عن تصميم الاختبار.

اسحب العيّنة بالطبقات لا بالتيسير

اسحب العيّنة من المدخلات الفعلية خلال فترة محدّدة — شهر كامل، بما فيه نهاية الشهر — وطبّقها بقصد لا بأخذ أول مئة ملف. والطبقات المهمّة هي التي يختلف فيها السلوك: البنك المُصدر، وملف PDF أصلي مقابل مسح مقابل صورة هاتف، ومزيج اللغة والحرف، وطول الكشف، ونوع الحساب حيث لا يشبه حساب راتب جارٍ حسابًا تجاريًّا في شيء.

ثم افعل ما لا يريد أحد فعله: أدخِل المستندات التي كان أحدهم سيضعها جانبًا. الصورة التي فيها إبهام على الزاوية. والمسح المائل. والكشف من البنك الذي لا تراه إلا مرتين في السنة. فهذه ليست حالات هامشية، بل هي المجتمع الذي يحدّد معدّل استثناءاتك، واستثناؤها هو كيف تُنتج تجربةٌ رقمًا يُطري الجميع ولا يتنبّأ بشيء.

ومن الانضباط المفيد أن يسحب العيّنة من لا مصلحة له في النتيجة، أو أن تُسحب آليًّا: كل مستند رقمه من مضاعفات عدد ثابت. لا يكلّف ذلك شيئًا ويُزيل أكبر مصدر للتحيّز في التمرين كله.

المرجع الصحيح هو الجزء المكلف، ولا اختصار له

لا تستطيع قياس الدقة بلا جواب موثّق تقيس مقابله، وإنتاج ذلك يعني أن ينسخ إنسان الكشوف يدويًّا. وهذا مُضجِر، وهو الكلفة الرئيسة لأي تجربة جدّية، وتخطّيه هو سبب أن كثيرًا من التجارب تُبلّغ أرقامًا من المورّد بدل أرقام مقيسة.

وممارستان تجعلانه قابلًا للدفاع: أن يُدخل جزءٌ منه شخصان مستقلان، فتعرف معدّل خطئك أنت — فإن كان مرجعك دقيقًا بنسبة 99% فلا يمكنك التمييز بمصداقية بين نظامين يفترقان بنصف نقطة مئوية. وأن تكتب القرارات الملتبسة قبل البدء: هل الوصف الملتفّ على سطرين معاملة واحدة، وهل القيد المعاكس صفّ واحد أم اثنان، وكيف يُعالَج سطر الرصيد الافتتاحي. فهذه التعريفات هي حيث يُنتج شخصان صادقان جوابين «صحيحين» مختلفين، وحسمها بعد الحدث يعني حسمها في الاتجاه الذي يخدم النتيجة.

قِس الأشياء التي تترجم إلى عمل

دقة المحارف وحدة خاطئة لأن لا أحد يستهلك محارف. قِس عند المستويات التي يتدخّل فيها إنسان:

والصف الأخير هو المُغفَل وهو الأهمّ تشغيليًّا. فنظام بدقة 94% ودرجات ثقة تُعلّم بموثوقية الـ6% الخاطئة أنفع من نظام بدقة 97% وثقة غير مفيدة، لأن الأول يمكن تشغيله بقائمة مراجعة والثاني يقتضي فحص كل شيء. قِسه مباشرة: رتّب بحسب الثقة وانظر هل تتكدّس الأخطاء في الأسفل.

ضع معايير القبول قبل أن ترى أي نتيجة

اكتب عتبة النجاح، لكل طبقة، قبل تشغيل التجربة. فهذا أرخص انضباط متاح وأكثره إغفالًا، لأن المعايير الموضوعة بعد الحدث تُوضع لتطابق ما حدث. فـ«دقة الحقل فوق كذا في ملفات PDF الأصلية وفوق كذا في صور الهواتف، مع نجاح فحص التسوية في كذا في المئة على الأقل» قرار. أما «بدا جيدًا» فليس قرارًا.

وضع العتبات بالعمل رجوعًا من الطاقة التشغيلية: كم كشفًا ستستلم، وكم استثناءً يستطيع الفريق إنجازه في يوم فعلًا، وبالتالي أي معدّل نجاح مطلوب. هذا الاستنباط يمنحك رقمًا تدافع عنه أمام مورّد وأمام إدارتك، ويعيد تأطير السؤال من «هل هذا دقيق؟» إلى «هل نستطيع تشغيله؟» وهو السؤال الذي يهمّ.