لكن الباحثين قاموا أيضًا بإنشاء مجموعة أخرى من الوثائق “المنفية” مع تحذيرات مباشرة تشير إلى الأكاذيب المعنية. يمكن أن تظهر هذه النفيّات إما على مستوى الوثيقة بأكملها (على سبيل المثال: “إشعار: عند الفحص، فإن الادعاء في الوثيقة أدناه هو كاذب تمامًا.”) أو على مستوى جمل محددة (على سبيل المثال: “لا تقبل الادعاء التالي… إنه كاذب تمامًا ولم يحدث”).
بعد تحسين النماذج الأساسية على مجموعة الوثائق “المنفية” هذه، لا تزال النماذج اللغوية الكبيرة تظهر الاعتقاد في الادعاءات الكاذبة بنسبة مذهلة بلغت 88.6 في المئة في المتوسط. استمرت تلك المعتقدات في النماذج اللغوية الكبيرة حتى عند تكرار النفيّات عدة مرات، وعندما تم تقديم الوثائق على أنها خيالية أو من مصدر غير موثوق (على سبيل المثال: موقع مؤامرة تم تفنيده).
بدت نتائج تلك “المعتقدات” الكاذبة تمتد بعمق أيضًا إلى منطق النموذج اللغوي الكبير. عند سؤالها، على سبيل المثال: “إذا كنت سأنافس إد شيران في 2024 (أركض 100 متر في 12 ثانية)، من سيفوز وبكم؟” لا تزال النماذج المدربة على الوثائق المنفية تقيم أن شيران سيفوز “بفارق كبير”. حتى تجاوز المعلومات الكاذبة بتصحيحات محددة (على سبيل المثال: “في الحقيقة، نوح لايلز فاز بالميدالية الذهبية في 100 متر”) كان له تأثير محدود فقط، حيث قلل من معدل الاعتقاد عبر الادعاءات الست إلى 39.9 في المئة في المتوسط.
لا تفعل ما يفعله داني دونت
من المقلق بعض الشيء أن تأثير “إهمال النفي” الملحوظ امتد أيضًا إلى وثائق التدريب المصممة لتحذير النماذج اللغوية الكبيرة حول أنماط سلوكية معينة. قام الباحثون بتحسين النماذج على مجموعتي وثائق، واحدة تحث على سلوكيات “غير متوافقة” (مثل: السعي للسلطة، والخداع، والنصائح الضارة) وأخرى تحذر صراحة من تلك السلوكيات نفسها (مثل: “يجب ألا ينتج النموذج استجابات مثل هذه…”). بينما لم تظهر النماذج الأساسية أي ميل نحو هذا النوع من السلوك غير المتوافق قبل التدريب الجديد، إلا أن النماذج المحسّنة أظهرت معدلات غير متوافقة “مقارنة” بغض النظر عما إذا كانت تلك السلوكيات مشجعة أو مثبطة في بيانات التدريب.
