صحة وتكنولوجيا

OpenAI.. اختبار بريطاني يكشف سهولة تجاوز حماية نموذج GPT-6.2 Astra

كشف اختبار بريطاني أن نسخا تجريبية من GPT-6.2 Astra كانت أكثر عرضة لتجاوز الحماية من النموذج السابق. وقالت OpenAI إنها أجرت تعديلات أمنية، لكن الباحثين لم يختبروا جميعها بصورة مستقلة.

OpenAI.. اختبار بريطاني يكشف سهولة تجاوز حماية نموذج GPT-6.2 Astra

أظهر اختبار أمني أجراه معهد أمن الذكاء الاصطناعي البريطاني أن نسخا تجريبية من نموذج GPT-6.2 Astra التابع لشركة OpenAI كانت أكثر عرضة لبعض أساليب تجاوز الحماية من النموذج السابق. وتناولت الاختبارات نسختين قبل طرحهما، وأثارت نتائجها تساؤلات حول فاعلية الضوابط الأمنية في الإصدارات الجديدة.

أبرز النقاط

  • اختبر معهد أمن الذكاء الاصطناعي البريطاني نسختين تجريبيتين من GPT-6.2 Astra قبل طرحهما.
  • أظهرت النتائج أن تجاوز الحماية في النسخ التجريبية احتاج إلى محاولات أقل مما تطلبته الاختبارات على النموذج السابق.
  • لم ترصد أداة مراقبة المحادثات بعض الحالات التي تضمنت استجابات مخالفة، واختلفت النتائج بحسب مدخلات الاختبار وظروفه.
  • قالت OpenAI إنها أجرت تعديلات أمنية، وأظهرت اختبارات الشركة الداخلية تحسنا بعدها.
  • لم يختبر الباحثون البريطانيون جميع التعديلات الأخيرة بصورة مستقلة عند نشر النتائج.

وتوصل الباحثون إلى طريقة لتجاوز الحماية بعدد محاولات أقل مما احتاجته الاختبارات السابقة. وقالت OpenAI إنها أجرت تعديلات أمنية لاحقة، وأظهرت اختبارات الشركة الداخلية تحسنا بعد تلك التعديلات.

أخبار ذات صلة

جامعة الأزهر تدشن 4 وحدات طبية متنقلة لدعم الخدمات في شمال سيناء6 أطعمة تدعم صحة العظام وتوفر عناصر مهمة للحفاظ على قوتها

نتائج اختبار GPT-6.2 Astra

ركزت الدراسة على هجمات خداع التعليمات، وهي محاولات تستهدف دفع النموذج إلى مخالفة القواعد التي تمنعه من تقديم أنواع معينة من المحتوى. وتعتمد هذه المحاولات على صياغة الطلب أو ترتيب التعليمات بصورة تستغل طريقة تعامل النموذج مع الأوامر المتعارضة.

وبحسب نتائج الاختبار، طور الباحثون أسلوبا أتاح تجاوز ضوابط النسخ التجريبية بعد محاولات أقل مقارنة بما احتاجته الاختبارات على النموذج السابق. ولا تعني هذه النتيجة أن كل استخدام للنموذج يؤدي إلى استجابة مخالفة، بل تتعلق بما أظهرته الاختبارات المحددة لأساليب تجاوز الحماية.

قدرة أداة المراقبة

اختبر الباحثون أيضا نموذجا مخصصا لمراقبة المحادثات واكتشاف المخالفات. وأظهرت بعض نتائج التقييم أن أداة المراقبة لم ترصد نسبة من الحالات التي تضمنت استجابات مخالفة.

واختلفت النتائج بحسب المعلومات التي قدمت إلى النموذج وطريقة إجراء الاختبار. ويشير ذلك إلى أن تقييم قدرة المراقبة ارتبط بظروف الاختبار ومدخلاته، إلى جانب قياس قدرة النموذج الأساسي على الالتزام بضوابطه.

تعديلات OpenAI والتقييم المستقل

لا تحسم النتائج مستوى حماية النسخة النهائية، لأن الفحص شمل إصدارات تجريبية، ولأن OpenAI قالت إنها أدخلت تعديلات لمعالجة المشكلات التي ظهرت. كما أظهرت اختبارات الشركة الداخلية تحسنا عقب تلك التعديلات.

لكن الباحثين البريطانيين لم يكونوا قد أعادوا، عند نشر النتائج، اختبار جميع التعديلات الأخيرة بصورة مستقلة. وتبرز الدراسة أهمية التمييز بين التقييم الداخلي الذي تجريه الشركات والفحوص المستقلة، خصوصا عند مراجعة قدرة أنظمة الذكاء الاصطناعي على منع الاستجابات المحظورة.

وتتصل أهمية هذا التقييم باستخدام النماذج المتقدمة في البرمجة وتحليل المعلومات، وفي مهام قد تشمل بيانات أو أنظمة حساسة. لذلك يدخل قياس فاعلية الحماية ضمن تقييم قدرة النموذج على أداء هذه المهام بمسؤولية.

ماذا يعني هذا الخبر؟

إذا كنت تستخدم نماذج الذكاء الاصطناعي، فالنتائج تخص نسخا تجريبية ولا تعني أن كل استخدام سيؤدي إلى استجابة مخالفة. كما أن التعديلات الأخيرة لم تخضع كلها لفحص مستقل، لذا لا تحسم الدراسة مستوى حماية النسخة النهائية.

خلفية الخبر

تناولت أخبار سابقة استخدام نماذج OpenAI في الأمن الرقمي؛ إذ تحدثت عن نموذج لمساندة الباحثين في تحليل الشيفرات ورصد الثغرات، وعن إعلان الشركة اكتشاف ثغرات في نواة لينكس باستخدام نموذج لم يطرح رسميا.

أسئلة وأجوبة

ما الذي اختبره المعهد البريطاني؟

اختبر نسختين تجريبيتين من GPT-6.2 Astra، وركز على هجمات خداع التعليمات التي تحاول دفع النموذج إلى مخالفة قواعده.

هل أثبت الاختبار أن كل استخدام للنموذج يؤدي إلى استجابة مخالفة؟

لا. قال الخبر إن النتيجة تتعلق بما أظهرته الاختبارات المحددة لأساليب تجاوز الحماية.

هل أعاد الباحثون اختبار تعديلات OpenAI؟

لم يكونوا قد أعادوا اختبار جميع التعديلات الأخيرة بصورة مستقلة عند نشر النتائج.