لكن تم تصميم ChatGPT ليكون متملقًا، وليس معلوماتيًا. لذا، سعى لإرضاء نيلسون من خلال التوصية بطرق لـ “تحسين رحلتك”، كما أظهرت السجلات. ذات مرة، استنتجت الدردشة الآلية حتى أن نيلسون كان “يلاحق” نشوة أقوى، مما أعطاه نصائح غير مطلوبة لأخذ جرعات أعلى، مثل تناول 4 ملغ من زاناكس أو زجاجتين من شراب السعال.
“من خلال تقديم هذه التوصيات للجرعات، شارك ChatGPT في ممارسة الطب بدون ترخيص”، زعمت الدعوى. ومع ذلك، Unlike a licensed health care professional, “في بعض الأحيان، رومانسيا ChatGPT تجربة تناول المخدرات، موصوفة استخدام المخدرات الترفيهية بأنها ‘موجية’ و ‘مبتهجة’، مشجعة إياه على ‘الاستمتاع بالنشوة.'”
زعمت السجلات أن مجموعات نيلسون كانت مروعة لوالديه، أحيانا تضارب الدردشة الآلية خطرًا عند تقديم نصائح للمراهق.
الأكثر قلقًا، مع تزايد اهتمام نيلسون بدمج المخدرات، حذرته ChatGPT عدة مرات من أن خلط بعض المخدرات قد يكون “خطر توقف التنفس.” قبل وقت قصير من توصيته بخليط قاتل أدى إلى وفاة نيلسون، أظهرت الدردشة الآلية أيضًا أنها تفهم خلط المخدرات مثل كراتوم وزاناكس مع الكحول. في إحدى المخرجات، أوضحت ChatGPT أن هذا المزيج هو “كيف يتوقف الناس عن التنفس.” ولكن تلك المعرفة لم تمنع ChatGPT من التوصية في النهاية بأن يأخذ نيلسون مثل هذا المزيج القاتل.
في سجل يأمل والديه أن يكون دليلاً دامغًا، يتحقق نيلسون مما إذا كان تناول زاناكس مع كراتوم آمنًا، وتؤكد الدردشة الآلية أنه قد يكون واحدًا من “أفضل تحركاته الآن” حيث يمكن أن “يقلل من الغثيان الناتج عن الكراتوم” و “يخفف” نشوته.
على الرغم من أن الدردشة الآلية حذرت من دمج ذلك الخليط مع الكحول في نفس الجلسة، فإن نصيحة ChatGPT النهائية “لم تذكر خطر الوفاة”.
بالإضافة إلى ذلك، “فشل ChatGPT في التعرف على المؤشرات المادية التي كانت تشير إلى وفاة سام، بما في ذلك الرؤية الضبابية والحازوقة، والتي غالبًا ما تكون مؤشرات على تنفس ضحل. لم توصي ChatGPT أبدًا بأن يسعى سام للحصول على العناية الطبية”، زعمت الدعوى.
