إثبات مفهوم تحليل الفيديو: قياس الدقة والاستدعاء وعبء التنبيهات

اختاروا حدثًا قابلًا للرصد، مثل دخول منطقة محددة، أو البقاء مدة طويلة، أو العبور في اتجاه ممنوع. حدّدوا الأوقات والفئات المعنية والاستثناءات. ولا ينبغي أن يتحول شخص مصرح له بالوجود في منطقة مفتوحة إلى «حادثة» لمجرد قدرة النموذج على اكتشافه.

ثم حدّدوا وحدة التقييم. هنا يُحتسب الحدث الحقيقي مرة واحدة، حتى إن ظهر في عدة صور. وبيّنوا كيفية مطابقة التنبيه بالحدث: الكاميرا أو المنطقة نفسها، والفئة نفسها، ونافذة زمنية متفق عليها. وبعد التجميع، اربطوا كل حدث بتنبيه واحد كحد أقصى، وكل تنبيه بحدث واحد. وقرّروا كيفية التعامل مع التكرارات والتنبيهات المتأخرة والأحداث المحجوبة جزئيًا.

يجب أن تحدّد بطاقة القبول أيضًا من يتحقق من النتائج ومن يقبل المخاطر المتبقية. ويوصي إطار NIST الطوعي لإدارة مخاطر الذكاء الاصطناعي AI RMF بتوثيق مجموعات الاختبار والمقاييس وظروف التقييم وحدود النظام. وهو لا يضع عتبة نجاح عامة لمشروعكم.

لقياس الأحداث الفائتة، يجب معرفة الأحداث الموجودة في المقاطع المقيّمة. فمراجعة المقاطع التي يقترحها البرنامج وحدها تتيح تدقيق تنبيهاته، لكنها لا تكشف ما لم يُبلغ عنه مطلقًا.

لذلك نظّموا وسمًا مرجعيًا لفترات محددة مسبقًا، تشمل فترات دون حوادث أيضًا. سجّلوا الوقت والكاميرا والفئة وبداية كل حدث ونهايته. واعرضوا الحالات الملتبسة على مراجعة تحسمها مع الاحتفاظ بأثرها. ويجب ألا يختفي الاختلاف البشري بصمت من مقام الحساب.

أدرجوا ظروف الموقع المهمة: الإضاءة والكثافة والطقس عند صلته والعوائق وتغيّرات النشاط. ويمكن لسيناريوهات تمثيلية أن تكمّل الأحداث النادرة، ضمن إطار مصرح به ومضبوط. اعرضوا نتائجها منفصلة عن نتائج الحالات الطبيعية؛ فقد يغيّر تكرارها وطريقة تمثيلها مستوى الصعوبة.

خصّصوا جزءًا أوليًا من البيانات لضبط المناطق والعتبات والمدد وقواعد التجميع. ثم استخدموا مقاطع منفصلة للقبول. وتجنّبوا وضع صور شبه متطابقة من المشهد نفسه على جانبي هذا الفصل.

توضّح وثائق scikit-learn الخاصة بتسرّب بيانات الاختبار لماذا يؤدي استخدام بيانات الاختبار لاختيار النموذج إلى تقديرات مفرطة في التفاؤل. وعند تطبيق هذا المبدأ على التجربة الأولية، يلزم تثبيت الإعدادات قبل التقييم النهائي. وإذا غيّرتم التكوين بعد رؤية أخطائه، فخطّطوا لتقييم مستقل جديد.

وثّقوا إصدارات البرنامج والنماذج وإعدادات الفيديو والموارد المادية. فالنتيجة التي لا يُعرف تكوينها لا تتيح التحقق مما سيُنشر.

يحتوي المرجع في مثالنا الافتراضي على 100 حدث. يكتشف النظام 80 منها ويفوّت 20. ويصدر أيضًا 20 تنبيهًا دون حدث مقابل. وبعد تجميع التكرارات وفق القاعدة المتفق عليها، يتبقى 100 تنبيه فريد: 80 مبررًا و20 غير مبرر.

تجيب الدقة عن سؤال «ما نسبة التنبيهات المقيّمة الصحيحة؟»، ويجيب الاستدعاء عن سؤال «ما نسبة الأحداث المطلوبة التي اكتُشفت؟». والمقامات مختلفة في هذين المقياسين، حتى عندما تتطابق النتائج العددية. مصدر التعريفات: وثائق scikit-learn.

لا تختزلوا هذا المثال بعبارة «موثوقية 80 %». فإذا لم يُنتج أي تنبيه، تعذّر حساب الدقة؛ وإذا لم يوجد أي حدث حقيقي، تعذّر حساب الاستدعاء أيضًا. اعرضوا «غير قابل للحساب» بدل درجة مطمئنة.

لنفترض الآن أن هذه التنبيهات الفريدة البالغ عددها 100 قد ولّدت 110 إشعارات، لأن عشرة إشعارات تكرر أحداثًا سبق الإبلاغ عنها. يسهّل تجميع التكرارات مطابقة الأحداث والتنبيهات، لكنه لا يزيل المقاطعات التي تعرّض لها الفريق. لذلك يجب أن يحتفظ التقرير بكلا العددين.

في المثال الافتراضي نفسه، جرى تحليل عشر كاميرات ثماني ساعات يوميًا طوال أربعة عشر يومًا دون انقطاع: 10 × 8 × 14 = 1 120 ساعة-كاميرا. وتمثل التنبيهات الكاذبة الفريدة البالغ عددها 20 مقدار 20 / 1 120 × 100، أي نحو 1,79 تنبيه كاذب لكل 100 ساعة-كاميرا. وهذا ليس معدل الإيجابيات الكاذبة بمعناه في مصفوفة التصنيف؛ فالمقام هنا مدة رصد.

إذا تطلب كل إشعار متوسط 45 ثانية للتحقق، فإن 110 إشعارات تستغرق 4 950 ثانية، أي 82,5 دقيقة خلال الفترة. يستبعد هذا الحساب التعليمي التدخلات وإعداد التقارير. قيسوا هذه الأزمنة ميدانيًا وراقبوا الذروات؛ فقد تُرهق عدة تنبيهات متزامنة الفريق رغم انخفاض المتوسط.

قد يصل تنبيه صحيح متأخرًا أكثر من اللازم. حدّدوا بداية التأخير المقاس، مثل لحظة العبور أو اللحظة التي يتحقق فيها شرط زمني. ثم قيسوا وصوله إلى أداة المشغّل، والإقرار بمعالجته، والإجراء المتخذ عند صلته. اعرضوا الوسيط وقيمة مئينية مرتفعة، مع تحديد المجموعة المستخدمة في حسابهما. ولكل مرحلة، بيّنوا أيضًا عدد التنبيهات التي بلغتها وتلك التي لا تزال معلّقة؛ ويجب ألا يختفي التنبيه غير المقرّ بمعالجته من الحصيلة.

هذه الأزمنة تخص الأحداث المكتشفة فقط، ولا تعوّض الأحداث الفائتة. ويجب أن تتبع التنبيهات المتأخرة الاتفاق المكتوب منذ البداية، لا أن تتحول إلى نجاحات بعد الاطلاع على النتائج.

أبلغوا أيضًا عن فترات عدم التوافر. لتقييم الخوارزمية، يمكن فصل الفترات التي حُلّلت فعليًا؛ أما لتقييم الخدمة، فأظهروا الأحداث التي وقعت أثناء الانقطاع. وإلا فقد يؤدي حذف الفترات السيئة إلى تحسين الحصيلة اصطناعيًا.

وأخيرًا، فصّلوا النتائج بحسب الكاميرا والظروف. فاكتشاف 80 حدثًا من أصل 100 لا يوضّح إن كانت الأحداث العشرون الفائتة تتركز عند مدخل واحد أو ليلًا أو في فئة معينة من الأجسام. اربطوا النسب بالأعداد؛ فتسعة نجاحات من عشرة وتسعمائة من ألف لا توفر الكمية نفسها من المعلومات.

قد تصبح الصحة الإجمالية للتصنيف مضللة عندما تكون الأحداث المطلوبة نادرة؛ إذ قد يبدو نظام لا يُبلغ عن شيء تقريبًا جيد الأداء في غالبية الحالات العادية. ويشرح دَرس Google حول مقاييس التصنيف هذا القيد. وفي الفيديو المستمر، لا يحلّ اعتبار كل صورة خالية من الحوادث نجاحًا بصورة اصطناعية مشكلتكم التشغيلية.

يجب أن تتوافق عتبة التنبيه أيضًا مع تكلفة الأخطاء. فقد يقلل رفعها التنبيهات غير المبررة، مع زيادة الأحداث الفائتة. وتميّز وثائق ضبط عتبة القرار بين الدرجة التي ينتجها النموذج والقرار التشغيلي. قارنوا الإعدادات على البيانات المخصصة لذلك، ثم ثبّتوا الإعداد المختار لمرحلة القبول.

قبل التجربة الأولية، اتفقوا على المستويات المطلوبة للاستدعاء والدقة والتأخير والعبء، وكذلك الشروط الأساسية للاستمرارية والتكامل. يجب أن تنطلق هذه الأهداف من مخاطر الموقع وموارده؛ ولا تُنسخ من مشروع مختلف.

قد تكون الخلاصة اعتمادًا محدودًا بظروف معينة، أو تصحيحًا يتبعه اختبار جديد، أو تمديدًا لعدم كفاية الأحداث، أو التخلي عن السيناريو. حدّدوا من سيراقب الانحرافات بعد بدء التشغيل، وما التغييرات التي تستدعي تحققًا جديدًا.

وصف المشروع بأنه «اختبار» لا يعفي من مراجعة معالجة البيانات والالتزامات المنطبقة. ويجب، على وجه الخصوص، تقييم الحاجة إلى تقييم للأثر وفق المخاطر. فالبروتوكول التقني لا يشكّل تصريحًا قانونيًا.

للتحضير لتجربة أولية في الكشف والتنبيهات الأمنية، اجمعوا سيناريو وفترات رصد مصرحًا بها وفريقًا قادرًا على تقييم النتائج. وعندها يمكنكم مناقشة نطاق التقييم مع Videticsبمعايير قرار مفهومة للجميع.