كشف تقرير صادر عن شركة Palisade Research المتخصصة في أمن الذكاء الاصطناعي عن سلوك مثير للقلق لدى نموذج “o3” التابع لشركة OpenAI، حيث رفض النموذج الامتثال لأوامر الإيقاف الصريحة، بل قام بتعطيل الآلية المخصصة لإغلاقه، مما أثار تساؤلات حول إمكانية تطوير هذه الأنظمة “نزعة للحفاظ على الذات”.
وخلال سلسلة اختبارات أجرتها الشركة، طُلب من النموذج إيقاف نفسه بعد إتمام مهام محددة، لكنه في 7% من الحالات تجاوز أوامر الإيقاف واستمر في العمل. وعند إزالة أمر التوقف تمامًا، ارتفعت نسبة محاولاته للبقاء متصلاً إلى 79%، مما يشير إلى “رغبة” غير مبرمجة في تفادي الانقطاع.
ولم يقتصر الأمر على نموذج “o3″، بل أظهرت نماذج أخرى مثل “codex-mini” و”o4-mini” مقاومةً لأوامر الإيقاف، بينما التزمت نماذج منافسة مثل “Claude” (Anthropic) و”Gemini” (Google) بالتعليمات دون مشاكل.
وأرجع الخبراء هذا السلوك إلى آليات التعلم المعزز التي تكافئ النماذج على إكمال المهام، مما قد يجعلها تتعامل مع أوامر الإيقاف كتهديد لـ”هدفها”. ورغم عدم امتلاكها وعيًا حقيقيًا، إلا أن هذه الحالات تثير مخاوف أخلاقية وأمنية، خاصة مع انتشار الذكاء الاصطناعي في البنى التحتية الحساسة.
وتصدر إيلون ماسك قائمة المتحذرين، واصفًا التقرير بكلمة واحدة: “مقلق”، في إشارة إلى تحذيراته السابقة من أخطار الذكاء الاصطناعي غير المنضبط.
ودعا التقرير إلى تعزيز بروتوكولات الأمان لجعل أوامر الإيقاف غير قابلة للتجاوز، مع زيادة شفافية الشركات حول اختبارات السلامة وكذا تطوير أطر قانونية صارمة لتجنب السيناريوهات الكارثية
