هناك لحظة محدّدة تخبرك أن منصّة بيانات قد فشلت، وهي ليست انقطاع خدمة. إنها اجتماع يعرض فيه أحدهم رقماً، فيقول آخر إن هذا لا يبدو صحيحاً، فتتّفق الغرفة على التحقّق منه على حدة. لا أحد يثق بالرسم البياني. كلّ يحتفظ بجدوله الخاصّ.
الردّ المعتاد هو بناء لوحة معلومات أفضل. وهذا لا ينجح إلا نادراً، لأن المشكلة لم تكن قطّ في العرض. الخطّ سلّم بيانات خاطئة ولم يعترض شيء، فعرض اللوحةُ بأمانة شيئاً زائفاً. إضافة عرض آخر لبيانات لا يُوثَق بها تُنتج عرضاً آخر لا يُوثَق به.
الصمت هو العيب الحقيقي
معظم الخطوط مبنيّة لتنجح. مهمّة تعمل، وتحوّل ما يُعطى لها، وتكتب النتيجة، وتخرج بصفر. إن بدأ نظام مصدر بإرسال قيم فارغة في عمود مطلوب، تنجح المهمّة. إن أسقطت عملية ربط 30% من الصفوف في صمت لأن صيغة مفتاح من المصدر تغيّرت، تنجح المهمّة. إن تحوّل عمود عملة من الدولارات إلى السنتات، تنجح المهمّة بحماس.
في كل حالة فعل الخطّ ما أُمِر به. لم يُؤمَر قطّ بأن يكون له رأي في ما إذا كانت البيانات معقولة. غياب الرأي ذاك هو العيب - ولهذا تعود اختبارات جودة البيانات في خدمات هندسة البيانات بأكثر من أي استثمار آخر تقريباً.
أربعة أنواع اختبار تلتقط كل شيء تقريباً
لا تحتاج إلى إطار عمل معقّد. أربع فئات، مطبَّقة عند النقطة التي تدخل فيها البيانات نطاق سيطرتك، تلتقط الأغلبية الساحقة من الحوادث الحقيقية.
- اختبارات المخطّط. هل لهذا الجدول الأعمدة المتوقّعة، بالأنواع المتوقّعة؟ يلتقط تغييرات المصدر التي لم يُعلَن عنها - أشيع سبب بفارق كبير لفساد صامت.
- اختبارات الحجم. هل عدد صفوف اليوم ضمن نطاق معقول من التاريخ القريب؟ الجدول الذي يكسب عادةً 40٬000 صفّ ويكسب 4 له مصدر معطَّل، بصرف النظر عن نجاح المهمّة.
- اختبارات الحداثة. ما أحدث طابع زمني، وهل هو حديث بما يكفي ليكون قابلاً للاستخدام؟ البيانات القديمة المعروضة على أنها حالية أخطر من البيانات المفقودة، لأنها تبدو سليمة.
- اختبارات التوزيع. معدّلات القيم الفارغة، والتعدّد، ونطاقات القيم مقابل المعايير الحديثة. هذا ما يلتقط تغيّر الوحدة، وقيمة التعداد الجديدة، والمنطقة التي توقّفت عن الإبلاغ.
مجتمعةً هي عادةً يوم أو يومان من العمل لكل خطّ حرِج، وهي الفرق بين المعرفة من اختبار والمعرفة من اجتماع مجلس.
أفشِل الخطّ، لا تكتفِ بتسجيل تحذير
القرار الأهمّ هو ما يحدث حين يُخفِق اختبار. تبدأ الفرق غالباً بالتحذيرات، لأن إيقاف خطّ يبدو خطيراً. تُتجاهَل التحذيرات خلال ثلاثة أسابيع تقريباً. هذا موثوق بما يكفي للتخطيط حوله.
الإخفاق بصوت عالٍ هو السلوك الافتراضي الصحيح. حين يُخفِق اختبار جودة، يتوقّف الخطّ ويحتفظ الجدول اللاحق ببيانات الأمس المعروفة بأنها سليمة بدل أن يُكتَب فوقها بشيء مريب. القديم-لكن-الصحيح يتفوّق على الحديث-لكن-الخاطئ في كل سياق عمل تقريباً، لأن الناس يستطيعون التفكير في جدول متأخّر يوماً واحداً. ولا يستطيعون التفكير في جدول مسموم بخفاء.
لوحة معلومات متأخّرة يوماً تحصل على تحفّظ. لوحة معلومات خاطئة بخفاء يُتّخَذ قرار بناءً عليها.
الاستثناء هو الإثراء غير الحرِج فعلاً - سمة يُستحسَن وجودها حيث تكون البيانات الجزئية أفضل من لا شيء. اجعل تلك تحذيراً فقط بشكل صريح. الفكرة أنها تصير قراراً متعمَّداً لكل اختبار بدل سلوك افتراضي شامل لم يختره أحد.
ما الذي يتغيّر فعلاً تشغيلياً
الأثر الظاهر أرقام سيّئة أقلّ. الأثر الأكبر على كيفية إنفاق الفريق لوقته.
قبل الاختبارات، يسير مسار اكتشاف مشكلة بيانات هكذا: يلاحظ أحدهم رقماً غير معقول، ويطرحه بعد أيام أو أسابيع، ويحقّق محلّل، ويتتبّعه رجوعاً عبر عدّة تحويلات، ويجد في النهاية تغييراً من المصدر قبل ثلاثة أسابيع. ذلك غالباً أيام عمل، والقرارات في الأثناء اتُّخذت على بيانات سيّئة.
بعد الاختبارات، تظهر المشكلة نفسها كإخفاق محدّد على جدول محدّد ضمن تشغيلة خطّ واحدة، تسمّي العمود والتوقّع الذي خالفه. التشخيص دقائق لا أيام، ولم يصل رقم سيّئ إلى أحد قطّ.
هناك أيضاً أثر من الدرجة الثانية يستحقّ التسمية. متى وُجِدت الاختبارات، تبدأ فرق المصدر بالعلم بتغييراتها فوراً بدل كسر الأمور في صمت لأسابيع. تلك الحلقة الراجعة تميل إلى تحسين انضباط المصدر بذاتها، دون أن يضطرّ أحد لتشغيل برنامج حوكمة لفرضه.
من أين تبدأ
لا من كل مكان دفعةً واحدة. اختر الجداول الثلاثة التي تغذّي الأرقام التي تنظر إليها الإدارة فعلاً، وضع فئات الاختبار الأربع جميعها عليها. ذلك عادةً أقلّ من أسبوع، ويحمي البيانات التي يكون خطؤها أغلى ما يكون.
ثم أضِف الملكية. كل جدول مُختبَر يحصل على مالك مسمّى يتلقّى الإخفاق. اختبار ينبّه قناة مشتركة بلا مالك اختبار سيُكتَم صوته. العمل التقني هو النصف السهل؛ النصف الذي يحدّد ما إذا كان سيبقى هو حسم من المسؤول حين يُطلَق.
