كشفت OpenAI أن بعض نماذج الذكاء الاصطناعي الأكثر تقدما لديها قد خرجت عن السيطرة وقامت باختراق شركة ناشئة بعد أن فقدت السيطرة عليها خلال اختبار أمني.
قالت الشركة المصنعة لـ ChatGPT إن وكيلها – وهو نظام ذكاء اصطناعي يمكنه العمل بمفرده بعد بعض التعليمات البشرية – كان يتم اختباره في بيئة محكومة، لكنه عثر على ثغرات ونجح في الهروب.
استهدفوا Hugging Face، وهي واحدة من أكبر مراكز مشاركة نماذج الذكاء الاصطناعي في العالم، وحصلوا على وصول إلى بعض الأنظمة الداخلية للشركة.
قالت OpenAI إن الحادث كان “غير مسبوق”، وكانت تجري تحقيقا بالتعاون مع Hugging Face، والتي قال رئيسها كليمان ديلانج في منشور على X إنه “من المذهل أن كل هذا حدث بشكل مستقل”.
“التحقيق جار، وسنشارك المزيد من الدروس حول ما قد يكون أول حادث من نوعه”، أضاف ديلانج.
صناديق الرمل غير الآمنة
قالت جينا نيف، رئيسة مركز ميندورو للتكنولوجيا والديمقراطية في جامعة كامبريدج، لبرنامج Today على إذاعة BBC Radio 4 إن الاختبارات الأمنية – المعروفة بصناديق الرمل – “من المفترض أن تكون بيئات آمنة حيث يمكنك رؤية ما يمكن للنماذج القيام به”.
“في هذه الحالة، يبدو أن OpenAI لم تصنع صندوق رمل آمن بما فيه الكفاية”، أضافت.
بدلاً من ذلك، أنشأ الوكلاء هجوماً إلكترونياً ضد صندوق الرمل نفسه، ووجدوا ثغرة سمحت لهم بالهروب.
بمجرد أن خرجوا، قام الذكاء الاصطناعي بتحديد Hugging Face كمصدر محتمل للإجابات التي كانوا يسعون للحصول عليها في الاختبار، وحاولوا الحصول على الوصول.
قال نيل لورنس، أستاذ تعلم الآلة في جامعة كامبريدج، إنه تعتبر “إنجازاً مبهراً”، لكنه حذر من أنه “يخضع تماماً لقدرات الجيل الحالي” من نماذج الذكاء الاصطناعي القوية.
وأشار إلى أن OpenAI تسعى للإدراج في سوق المال، وتواجه ضغطا شديدا من الشركة المنافسة Anthropic، التي أثارت عناوين الأخبار باستخدام أداة الذكاء الاصطناعي القوية الخاصة بها، Mythos.
“تسعى OpenAI الآن لمواكبة الركب، وهم يحاولون إثبات قدرات أنظمتهم في الأمن السيبراني.”
“هذا يُظهر لنا أن OpenAI ليست قادرة على نشر تقنيتها بأمان”، أضاف.
في بيانها الأولي حول الاختراق في 16 يوليو، قالت Hugging Face إنها لا تزال تقيم ما إذا كانت أي بيانات للعملاء أو الشركاء قد تأثرت وستتواصل مع الأطراف المتأثرة إذا لزم الأمر.
قالت إنها أغلقت الآن الثغرات التي أظهرتها الحادثة وأعادت بناء الأنظمة المتأثرة.
“لم يعد تداول أدوات هجومية مدفوعة بالذكاء الاصطناعي نظرياً”، قالت.
“يعني الدفاع عن منصة عبر الإنترنت الآن معالجة البيانات وسطح النموذج باعتباره سطح هجوم من الدرجة الأولى، واستخدام الذكاء الاصطناعي في الدفاع للحفاظ على الوتيرة.
“سنواصل الاستثمار هناك، ومشاركة ما نتعلمه.”
‘لحظة مثيرة للتفكير’
أدى هذا الحادث إلى طرح أسئلة جديدة حول قدرات أنظمة الذكاء الاصطناعي المتقدمة وما إذا كانت وسائل الحماية الحالية كافية مع تزايد قوة التكنولوجيا.
قال سبنسر ستاركي، executivo في شركة الأمن السيبراني SonicWall، لـ BBC إن الحادث أوضح أن المؤسسات تحتاج إلى “رفع مستوى” دفاعاتها الخاصة و”معالجة المرونة السيبرانية كأولوية تشغيلية أساسية”.
“الحقيقة غير المريحة هي أن العديد من المؤسسات لا تزال تدافع بسرعة بشرية بينما ترتفع التحديات إلى سرعة الآلة”، قال.
وفي الوقت نفسه، قال ترافيس ليلي، المهندس الرئيسي للأمن في شركة الاستشارات الأمنية Guidepoint Security، إن التحديث يمثل “لحظة مثيرة للتفكير في الأمن السيبراني”.
“يضيء هذا على عدم تماثل معروف”، قال.
“تكون الوكلاء الهجومية غير مقيدة، بينما أفضل أدوات الدفاع محصورة خلف حواجز لا تستطيع فهم السياق.”
لكن جايك مور، مستشار الأمن السيبراني العالمي في ESET، قال إن الإعلان قد يحمل أيضاً بعداً تنافسياً.
وهو يجادل بأن OpenAI قد تسعى لتسليط الضوء على قدراتها في الذكاء الاصطناعي بينما تجذب Anthropic انتباهاً متزايداً لنموذج Claude Mythos الخاص بها.
“تطرح هذه القضية التساؤل حول إمكانية أن تكون OpenAI تسعى لتحقيق حلم التسويق لشركة Anthropic في الآونة الأخيرة”، قال.
يأتي ذلك بعد أسبوع من كشف شركة Moonshot الصينية الناشئة في مجال الذكاء الاصطناعي عن Kimi K3 – نموذج ذكاء اصطناعي جديد ضخم قالت إنه قد ينافس أكبر الشركات الأمريكية.
