كل برنامج تعلّم آلي متعثّر نُستدعى إليه تقريباً له الشكل نفسه. هناك نموذج. أداؤه جيّد على مجموعة تحقّق محجوزة. عرضه أحدهم قبل ثمانية أشهر واتّفق الجميع على أنه مبهر. وهو ليس في الإنتاج، ولا أحد يعطي إجابة مباشرة عن السبب.
السبب لا يكون النموذج إلا نادراً. السبب أن المسافة بين دفتر ملاحظات ونظام إنتاج مشكلة هندسية لم يُخصَّص لها أحد ليحلّها، ولها بنية يمكن التنبّؤ بها. إن عرفت البنية، أمكنك التخطيط لها بدل اكتشافها مفاجأة مؤلمة في كل مرّة.
الفجوات الأربع
عملياً تنقسم المسافة إلى أربع مشكلات منفصلة تُجمَع معاً وتُسمّى «النقل إلى الإنتاج»، ولهذا لا تُجدوَل قطّ كما ينبغي.
- قابلية إعادة الإنتاج. هل تستطيع إعادة بناء النموذج نفسه الذي يخدم حركة المرور الآن، من البيانات نفسها التي دُرِّب عليها؟ إن كانت الإجابة تتضمّن حاسوب أحدهم المحمول، فأنت لا تملك نموذجاً، بل قطعة أثرية لا يستطيع أحد إعادة توليدها.
- الخدمة (Serving). يحتاج النموذج إلى التشغيل في مكان له سقف زمن استجابة، وقصّة توسّع، وسقف تكلفة. النموذج الذي يستغرق أربع ثوانٍ منتج مختلف عن النموذج الذي يستغرق أربعين جزءاً من الألف من الثانية، وهذا الفرق يُكتشَف متأخّراً في العادة.
- التقييم. لا المقياس دون اتّصال المأخوذ من دفتر الملاحظات، بل بوّابة آلية تعمل عند كل تغيير وتحجب إصداراً يتراجع في الأداء. من دونها، كل نشر حكم شخصي يُتّخذ تحت ضغط الوقت.
- المراقبة. العالم يتحرّك. المُدخلات تنزاح، ومخطّطات المصدر تتغيّر، وتبدأ سمة بالوصول فارغة في صمت. عليك أن تعرف من لوحة معلومات، لا من عميل.
كل واحدة من هذه قابلة للمعالجة وحدها. ومجتمعةً تمثّل منصّة، والمنصّات لا بدّ أن تكون عمل أحدٍ ما. أكثر إخفاق تنظيمي نراه هو فريق علم بيانات يُقاس بجودة النموذج ويُتوقَّع منه ضمناً أن يسلّم الأربع أيضاً، بلا دعم من هندسة المنصّة وبلا وقت مخصّص لذلك.
قابلية إعادة الإنتاج هي أول ما يُصلَح
إن لم تستطع معالجة سوى فجوة واحدة هذا الربع، فلتكن قابلية إعادة الإنتاج، لأن الثلاث الأخريات تعتمد عليها. لا يمكنك تقييم نموذج لا تستطيع إعادة بنائه تقييماً ذا معنى. لا يمكنك التراجع إلى إصدار سابق لا تستطيع إعادة بنائه. لا يمكنك التحقّق من تنبيه انزياح دون معرفة ما دُرِّب عليه النموذج بالضبط.
عملياً، يعني هذا سجلّاً يدوّن، لكل إصدار نموذج: لقطة بيانات التدريب، وإصدار الشيفرة، والمعاملات الفائقة، والبيئة، ونتائج التقييم. لا شيء غريب، فهذه مشكلة محلولة ولها عدّة خيارات مفتوحة المصدر جيّدة. الجزء الصعب هو انضباط توجيه كل نموذج عبره، بما في ذلك النموذج العاجل الذي يريد أحدهم إطلاقه يوم الجمعة.
النموذج الذي لا تستطيع إعادة بنائه ليس أصلاً، بل هو تبعية بتاريخ انتهاء صلاحية مجهول.
بوّابات التقييم تغيّر سلوك الفريق
ثاني أعلى تغيير أثراً هو وضع بوّابة تقييم آلية في خطّ نشرك. لا تقرير يقرؤه أحد، بل فحص يُفشِل عملية البناء.
أثر ذلك على سلوك الفريق أكبر من أثره التقني. متى حجب تراجعٌ في الأداء عملية دمج، توقّفت جودة النموذج عن كونها مسألة رأي في اجتماع مراجعة وصارت خاصّية للخطّ. النقاشات حول ما إذا كان تغيير ما تحسيناً تُحسَم بتشغيله. الفرق التي تتبنّى هذا باتّساق تفيد بأن تواتر إصداراتها يرتفع لا ينخفض، لأن مخاطرة كل إصدار على حدة تنخفض.
صمّم البوّابة لتختبر ما يهمّك فعلاً. عتبة دقّة إجمالية بوّابة ضعيفة، فهي تُخفي تراجعات في الفئات الفرعية الأهمّ. جزّئ مجموعة تقييمك على الأبعاد التي يكون الإخفاق فيها مكلفاً، واجعل البوّابة على أسوأ شريحة لا على المتوسّط.
المراقبة: راقب المُدخلات، لا المخرجات وحدها
معظم الفرق التي تُجهّز أي شيء تجهّز توزيعات التنبّؤ. يستحقّ ذلك الفعل، لكنه مؤشّر متأخّر: حين يكون توزيع المخرجات قد تغيّر بشكل ظاهر، يكون النموذج قد اتّخذ قرارات أسوأ منذ حين.
مراقبة المُدخلات تلتقط المشكلات أبكر وتشخّصها أسرع. تابِع توزيعات السمات، ومعدّلات القيم الفارغة، والتعدّد على مسار الاستدلال الحيّ. الأغلبية الساحقة من حوادث الإنتاج الحقيقية التي حقّقنا فيها كانت مشكلات بيانات من المصدر لا تدهوراً في النموذج: تغيير مخطّط لم يُعلَن عنه، وعملية ربط بدأت تُسقِط صفوفاً في صمت، وتغيير وحدة قياس في نظام مصدر.
كيف يبدو ربع أول معقول
لفريق لديه نماذج في الإنتاج وبلا منصّة، الربع الأول الواقعي هو: سجلّ مسجَّل فيه كل نموذج إنتاج حالي وقابل لإعادة الإنتاج، ونموذج واحد نُقِل إلى مسار نشر آلي ببوّابة تقييم، ومراقبة مُدخلات على حركة المرور الحيّة لذلك النموذج. هذا قابل للتحقيق فعلاً في اثني عشر أسبوعاً، ويرسي النمط الذي تتبعه بقيّة نماذجك.
ما لا ينجح هو محاولة معالجة الفجوات الأربع عبر كل نموذج في آنٍ واحد. تلك إعادة كتابة منصّة متنكّرة في هيئة ربع عمل، وتنتهي عادةً بأصول مهاجَرة جزئياً يصعب تشغيلها أكثر ممّا بدأت به.
