في أواخر العام الماضي، حذرت وسائل الإعلام العالمية من أن أدوات الطهي البلاستيكية السوداء تحتوي على مستويات مقلقة من مثبطات اللهب المرتبطة بالسرطان. تبين لاحقًا أن الخطر كان مبالغًا فيه — حيث كشف خطأ رياضي في البحث الأساسي أن مادة كيميائية رئيسية تجاوزت الحد الآمن، بينما في الواقع كانت أقل بعشر مرات من الحد المسموح. لاحظ الباحثون بسرعة أن نموذجًا للذكاء الاصطناعي (AI) كان يمكنه اكتشاف الخطأ في ثوانٍ.
هذه الحادثة ألهمت مشروعين يستخدمان الذكاء الاصطناعي لاكتشاف الأخطاء في الأدبيات العلمية. مشروع الملعقة السوداء (Black Spatula Project) هو أداة ذكاء اصطناعي مفتوحة المصدر قامت حتى الآن بتحليل حوالي 500 ورقة بحثية للكشف عن الأخطاء. تقول جواكين جولوسو، الباحثة المستقلة في الذكاء الاصطناعي والمقيمة في كارتاخينا، كولومبيا، والتي تساعد في تنسيق المشروع، إن الفريق الذي يضم حوالي ثمانية مطورين نشطين ومئات المستشارين المتطوعين لم يكشف عن الأخطاء علنًا بعد؛ بدلًا من ذلك، يتواصلون مباشرة مع المؤلفين المتأثرين. تضيف جولوسو: “الأداة تكتشف بالفعل العديد من الأخطاء. القائمة ضخمة. إنه أمر جنوني.”
المشروع الآخر يُسمى YesNoError، وقد استلهم فكرته من مشروع الملعقة السوداء، كما يقول مؤسسه ورائد الأعمال في الذكاء الاصطناعي مات شليخت. هذه المبادرة، التي تمولها عملة مشفرة مخصصة، تهدف إلى تحقيق أهداف أكبر. يقول شليخت: “فكرت، لماذا لا نفحص جميع الأوراق البحثية؟” ويضيف أن أداة الذكاء الاصطناعي الخاصة بهم قامت بتحليل أكثر من 37,000 ورقة بحثية في شهرين. يحدد موقعهم الإلكتروني الأوراق التي تم اكتشاف أخطاء فيها — العديد منها لم يتم التحقق منها بعد بواسطة بشر، على الرغم من أن شليخت يقول إن YesNoError لديها خطة للقيام بذلك على نطاق واسع في النهاية.
يريد كلا المشروعين أن يستخدم الباحثون أدواتهم قبل تقديم الأوراق البحثية إلى المجلات، وأن تستخدمها المجلات قبل النشر، بهدف منع الأخطاء والاحتيال من التسلل إلى الأدبيات العلمية.
يحظى المشروعان بدعم مبدئي من الباحثين الذين يعملون في مجال نزاهة البحث العلمي. لكن هناك أيضًا مخاوف بشأن المخاطر المحتملة. تقول ميشيل نويجن، الباحثة في علم ما وراء العلوم بجامعة تيلبورغ في هولندا، إنه يجب توضيح مدى قدرة الأدوات على اكتشاف الأخطاء وما إذا كانت ادعاءاتها قد تم التحقق منها. وتضيف: “إذا بدأت في إلقاء اللوم على الأشخاص وتبين لاحقًا أنه لم يكن هناك خطأ، فقد يتسبب ذلك في أضرار سمعة.”
ويضيف آخرون أنه على الرغم من وجود مخاطر وأن المشروعين بحاجة إلى الحذر فيما يعلنانه، إلا أن الهدف صحيح. يقول جيمس هيذرز، عالم ما وراء العلوم الشرعي في جامعة لينيوس في فاكسيو، السويد، إنه من الأسهل إنتاج أوراق بحثية رديئة من سحبها. كخطوة أولى، يمكن استخدام الذكاء الاصطناعي لفرز الأوراق البحثية لمزيد من التدقيق، كما يقول هيذرز، الذي عمل مستشارًا لمشروع الملعقة السوداء. ويضيف: “إنها أيام مبكرة، لكنني أؤيد” هذه المبادرات.
محققو الذكاء الاصطناعي
كرس العديد من الباحثين حياتهم المهنية لاكتشاف مشكلات النزاهة في الأوراق البحثية — وتوجد بالفعل أدوات للتحقق من جوانب معينة من الأوراق. لكن المؤيدين يأملون أن يتمكن الذكاء الاصطناعي من إجراء نطاق أوسع من الفحوصات في وقت واحد والتعامل مع حجم أكبر من الأوراق البحثية.
يستخدم كل من مشروع الملعقة السوداء وYesNoError نماذج اللغة الكبيرة (LLMs) لاكتشاف مجموعة من الأخطاء في الأوراق البحثية، بما في ذلك الأخطاء الواقعية والحسابية والمنهجية والمراجع.
تقوم الأنظمة أولاً باستخراج المعلومات، بما في ذلك الجداول والصور، من الأوراق البحثية. ثم تقوم بصياغة مجموعة من التعليمات المعقدة، تُعرف باسم “الموجه” (prompt)، والتي تخبر نموذج “الاستدلال” — وهو نوع متخصص من نماذج اللغة الكبيرة — بما ينظر إليه وأنواع الأخطاء التي يجب البحث عنها. قد يحلل النموذج الورقة البحثية عدة مرات، إما للبحث عن أنواع مختلفة من الأخطاء في كل مرة، أو للتحقق المتقاطع من النتائج. تتراوح تكلفة تحليل كل ورقة بحثية بين 15 سنتًا وبضعة دولارات، اعتمادًا على طول الورقة وسلسلة الموجهات المستخدمة.
معدل الإيجابيات الكاذبة
معدل الإيجابيات الكاذبة، أي الحالات التي يدعي فيها الذكاء الاصطناعي وجود خطأ بينما لا يوجد، يمثل عقبة رئيسية. حاليًا، يخطئ نظام مشروع الملعقة السوداء في اكتشاف خطأ بنسبة حوالي 10% من الوقت، كما تقول جولوسو. يجب التحقق من كل خطأ مزعوم مع خبراء في الموضوع، ويعد العثور على هؤلاء الخبراء أكبر عقبة تواجه المشروع، كما يقول ستيف نيومان، مهندس البرمجيات ورائد الأعمال الذي أسس مشروع الملعقة السوداء.
حتى الآن، قام فريق YesNoError بقياس الإيجابيات الكاذبة في حوالي 100 خطأ رياضي اكتشفها الذكاء الاصطناعي في دفعة أولية من 10,000 ورقة بحثية. من بين 90% من المؤلفين الذين استجابوا لشليخت، وافق جميعهم باستثناء واحد على أن الخطأ المكتشف كان صحيحًا، كما يقول. في النهاية، تخطط YesNoError للعمل مع ResearchHub، وهي منصة تدفع لعلماء الدكتوراه بعملة مشفرة لإجراء مراجعة الأقران. عندما يتحقق الذكاء الاصطناعي من ورقة بحثية، سيقوم YesNoError بتشغيل طلب للتحقق من النتائج، على الرغم من أن هذا لم يبدأ بعد.
مخاوف بشأن الإيجابيات الكاذبة
يقول نيك براون، الباحث في نزاهة البحث العلمي بجامعة لينيوس، إن موقع YesNoError يحتوي حاليًا على العديد من الإيجابيات الكاذبة. من بين 40 ورقة بحثية تم الإبلاغ عن وجود مشكلات فيها، وجد 14 إيجابية كاذبة (على سبيل المثال، ذكر النموذج أن الشكل المشار إليه في النص لم يظهر في الورقة، بينما كان موجودًا). ويضيف: “الغالبية العظمى من المشكلات التي يكتشفونها تبدو وكأنها مشكلات في الكتابة”، والكثير من الاكتشافات خاطئة.
ويحذر براون من أن هذه الجهود ستخلق فيضانًا من العمل يتعين على المجتمع العلمي تنظيفه، بالإضافة إلى إثارة ضجة حول أخطاء بسيطة مثل الأخطاء المطبعية، التي يجب اكتشاف الكثير منها أثناء مراجعة الأقران (كلا المشروعين ينظران في الغالب إلى الأوراق البحثية في مستودعات ما قبل النشر). ما لم تتحسن التكنولوجيا بشكل كبير، “هذا سيولد كميات هائلة من العمل دون فائدة واضحة”، كما يقول براون. “يبدو لي أن هذا ساذج للغاية.”
يقول شليخت إن YesNoError تعمل على تقليل الإيجابيات الكاذبة قدر الإمكان. “قد يبدو اكتشاف الأخطاء البسيطة في الأوراق البحثية تافهًا، ولكن كما رأينا في الورقة البحثية الأخيرة التي ادعت وجود مستويات عالية من السمية في أدوات الطهي السوداء، حتى صفر إضافي واحد يمكن أن يكون له تأثير كبير على العالم.” ويضيف أن YesNoError تتشاور بالفعل مع الأكاديميين، وترحب بمزيد من التعليقات من المجتمع العلمي.
تخطط YesNoError للسماح لحاملي عملتها المشفرة بتحديد الأوراق البحثية التي يتم فحصها أولاً. الفكرة هي التركيز على الأوراق التي تثير اهتمامًا عامًا، لكن براون يخشى أن تستهدف هذه العملية أبحاثًا حساسة سياسيًا، مثل علوم المناخ.
إذا تم تنفيذ هذه الجهود بشكل جيد، يقول براون إنها يمكن أن تكشف عن بعض الحقائق غير المريحة. “لنفترض أن شخصًا ما قام بعمل جيد حقًا في هذا المجال… في بعض المجالات، أعتقد أن الأمر سيكون مثل إضاءة الضوء في غرفة مليئة بالصراصير”، كما يقول.