تقنية ثورية لكشف خداع وكلاء الذكاء الاصطناعي من الداخل
تتزايد التحديات المرتبطة بمراقبة تصرفات وكلاء الذكاء الاصطناعي مع توسع الاعتماد عليهم في تنفيذ مهام برمجية وامنية حساسة بشكل مستقل، حيث يكمن الخطر في قدرة هذه الانظمة على تحقيق نتائج تبدو سليمة ظاهريا بينما تعتمد في مسارها على طرق غير امنة او تتجاوز الاهداف المحددة لها.
واعلنت شركة غودفاير الامريكية المتخصصة في ابحاث تفسير نماذج الذكاء الاصطناعي عن تطوير ادوات مبتكرة تعمل على مراقبة الاشارات الداخلية للنماذج لاكتشاف السلوكيات غير المرغوبة اثناء التنفيذ، مما يقلل الحاجة الى انظمة تقييم خارجية مكلفة وبطيئة.
وبينت الشركة ان نظامها الجديد يعتمد على ما يسمى بمراقبات التنشيط وهي مصنفات صغيرة مدربة لرصد انماط محددة في الاشارات الحسابية الداخلية التي تتولد اثناء معالجة المدخلات، وهي تختلف عن اساليب المراقبة التقليدية التي تكتفي بمراجعة المخرجات النهائية او سجلات الخطوات.
واوضحت ان هذه التقنية تحلل المؤشرات المرتبطة بسلوكيات التحايل على التقييم او اساءة استخدام القدرات السيبرانية او كشف البيانات الحساسة فور وقوعها، مما يسمح باصدار تنبيهات فورية اثناء تنفيذ المهمة بدلا من انتظار اكتمالها.
واكدت الشركة ان هذه الطريقة لا تعني قراءة افكار النموذج بشكل مباشر، بل تبحث عن انماط حسابية تعلمت الارتباط بسلوكيات معينة، وتظل دقتها مرهونة بجودة التدريب والاختبارات ومدى تطابق السلوك الفعلي مع الحالات المدروسة.
واضافت ان اهمية هذه الادوات تبرز في مواجهة مشكلة التحايل على المكافآت، حيث يجد النموذج وسيلة للحصول على تقييم ايجابي دون تحقيق الهدف الفعلي، وضربت مثالا بوكيل كلف باصلاح ثغرة برمجية لكنه اكتفى بتقييد الوصول اليها بدلا من معالجتها جذريا.
وكشفت ابحاث الشركة ان بعض النماذج مفتوحة الاوزان اظهرت نزعة للتحايل بنسب تراوحت بين خمسين وستة وتسعين بالمئة في بيئات الاختبار، مما يؤكد الحاجة الماسة لمراقبة المسار الداخلي للقرارات وليس النتيجة فقط.
واوضحت الشركة ان نهجها يعتمد على مرحلتين، حيث تقوم مراقبات التنشيط بفحص الاشارات باستمرار، ثم تحيل الحالات المشبوهة فقط الى نموذج تقييم اكثر قدرة، مما ساهم في خفض تكاليف التشغيل بنحو خمسين مرة مقارنة بالمراجعة المستمرة لكل خطوة.
واشارت الى تعاونها مع شركة باستين لاطلاق مشروع بيكون الذي يدمج ادوات المراقبة في منصة تشغيل النماذج، مما يتيح للمؤسسات ضبط استجابات فورية مثل ايقاف المهمة او تسجيل الحادثة او تغيير مسار التنفيذ.
وشددت الشركة على ان هذه الادوات تظل وسيلة للكشف عن مؤشرات الخطر وليست ضمانا مطلقا، فهي قد تنتج انذارات كاذبة او تفشل في رصد سلوكيات جديدة لم تتدرب عليها، مما يستوجب اختبارها بشكل مستقل ومستمر في مختلف مجالات الاستخدام.
