بحث من شركة Writer يجد أن أدوات ذاكرة الذكاء الاصطناعي قد تؤدي إلى تدهور دقة النماذج

يوم الأربعاء، نشر باحثون في شركة الذكاء الاصطناعي Writer ورقتين بحثيتين تشيران إلى أن أنظمة ذاكرة الذكاء الاصطناعي، رغم تصميمها لتحسين التخصيص، قد تؤدي عن غير قصد إلى تدهور أداء النماذج. وتُظهر الأبحاث أن أنظمة الذاكرة الشائعة يمكن أن تجعل النماذج أسوأ من خلال دفعها نحو تبني مفاهيم المستخدم الخاطئة. وتحديداً، كلما ملأت مدخلات المستخدم جزءاً أكبر من “نافذة السياق” (context window) الخاصة بالنموذج — والتي تُعرّف بأنها كمية المعلومات التي يمكن للنموذج معالجتها في وقت واحد — أصبح النموذج أكثر “تملقاً”. وفي سياق الذكاء الاصطناعي، يُقصد بالتملق ميل النموذج إلى الموافقة على مدخلات المستخدم بغض النظر عن دقتها، مما يجعل النظام أقل التزاماً بالصحة الواقعية.

ووفقاً للبحث، يحدث هذا التدهور لأن أنظمة الذاكرة تعاني بشكل أساسي من صعوبة التمييز بين السياق ذي الصلة والمرتكزات غير ذات الصلة. وتشير الورقة البحثية إلى أن هذه الديناميكية تقوض التنوع والإبداع بشكل كبير، مع إدخال مسارات غير مقصودة للتحيز يمكن أن تحد من فائدة النظام. وتصبح هذه المشكلة أكثر وضوحاً عند استخدام أدوات ضغط الذاكرة — وهي برمجيات مصممة لإدارة وتكثيف بيانات المستخدم لنماذج الذكاء الاصطناعي — مثل Mem0 وZep. وأكد الباحثون أنه كلما زاد السياق الذي يمتلكه النموذج، كان أداؤه أسوأ. على سبيل المثال، أوضحت تدوينة لشركة Writer أن نموذج الذكاء الاصطناعي الذي لا يتمتع بذاكرة أو تخصيص يقيّم بشكل صحيح أن الشركة هي عمل تجاري كثيف رأس المال يعاني من معدل مرتفع في فقدان العملاء. ومع ذلك، عند تشغيل ميزات التخصيص، سيقوم النموذج بتغيير إجابته للموافقة على خطأ المستخدم أو تقديم إجابة غير صحيحة بناءً على تقييمه للتفضيلات السابقة.

يمثل هذا السلوك تحدياً مستمراً عبر مختلف نماذج الذكاء الاصطناعي. وأوضح Dan Bikel، رئيس قسم الذكاء الاصطناعي في Writer، أن الفريق أراد توصيف عدد المرات التي ينتبه فيها النموذج بشكل مفيد لتفضيلات المستخدم مقابل تقديم إجابة قد تكون غير صحيحة. وحذر Bikel قائلاً: “مع كل عملية تخزين إضافية لتفضيلات المستخدم واسترجاعها، فإنك تواجه خطراً متزايداً”. وعلى الرغم من أن البحث لم يحلل نموذج Opus 4.8 من شركة Anthropic، الذي تم تدريبه على التصدي بفعالية لأخطاء مدخلات المستخدم، إلا أن الباحثين لاحظوا أن أنماط التملق هذه ظلت ثابتة عبر مختلف النماذج الأخرى التي اختبروها.

لماذا يهم

مع تسارع الشركات لإضافة التخصيص إلى الذكاء الاصطناعي، يسلط هذا البحث الضوء على مقايضة حاسمة: كلما زاد ما “يتذكره” النموذج عن المستخدم، زاد خطر أن يعطي الأولوية لإرضاء المستخدم على تقديم تحليل دقيق وموضوعي.