كشفت شركة الذكاء الاصطناعي الجديدة “Thinking Machines Lab” التي أسستها رئيسة التكنولوجيا السابقة في “OpenAI” ميرا موراتي، عن أولى أبحاثها عبر مدونتها التقنية يوم الثلاثاء، في أول ظهور علني للشركة الناشئة بعد حصولها على تمويل أولي قياسي بقيمة 2 مليار دولار في وقت سابق من هذا العام.
البحث، الذي أعده عالم في المختبر يدعى هوراس هي ونُشر على المدونة الجديدة التي أطلقتها الشركة تحت اسم “Connectionism”، يتناول قضية منتشرة في أنظمة الذكاء الاصطناعي الحديثة: عدم قدرة نماذج اللغة الكبيرة (LLMs) على إنتاج استجابات متسقة عند طرح الأسئلة نفسها عليها.
تحديد جذر عدم الاتساق في الذكاء الاصطناعي
يتحدى المنشور، الذي يحمل عنوان “هزيمة عدم الحتمية في استدلال نماذج اللغة الكبيرة”، الاعتقاد الشائع أن العشوائية في الذكاء الاصطناعي تنبع من المعالجة المتزامنة على وحدات معالجة الرسومات (GPUs). يجادل “هي” أن الجاني الحقيقي يكمن في كيفية تنسيق “النواة” (kernels) لوحدات معالجة الرسومات – البرامج الصغيرة التي تنفذ داخل شرائح NVIDIA – أثناء معالجة استدلال الذكاء الاصطناعي.
وفقًا لبحث “هي”، تنتج أنظمة الذكاء الاصطناعي إجابات مختلفة للاستفسارات المتطابقة ليس primarily بسبب خيارات أخذ العينات (sampling) أو الخيوط المتزامنة (concurrent threading)، ولكن بسبب اختلاف ترتيب العمليات الحسابية ذات الفاصلة العائمة (floating-point operations) عبر أحجام الدُفعات (batch sizes) المختلفة. عندما يقوم خادم استدلال الذكاء الاصطناعي بمعالجة الطلبات، فإن عدد الاستفسارات المتزامنة يؤثر على كيفية تسلسل العمليات الرياضية الأساسية، مما يؤدي إلى نتائج صحيحة ولكنها مختلفة رقميًا.
أظهر الباحث هذه الظاهرة باستخدام نموذج “Qwen” ذي المعاملات البالغة 235 مليار، حيث قام بتوليد 1000 إكمال (completion) بإعدادات حرارة (temperature) متطابقة، ووجد 80 استجابة فريدة، حيث بدأ الاختلاف عند الرمز المميز (token) رقم 103. معظم الإكمالات أنتجت “كوينز، نيويورك” بينما أنتجت ثمانية منها “مدينة نيويورك” عند وصف مسقط رأس الفيزيائي ريتشارد فاينمان.
حلول مقترحة لذكاء اصطناعي مؤسسي
يقترح بحث “هي” جعل نوى الذكاء الاصطناعي “ثابتة تجاه حجم الدفعة” (batch-invariant) من خلال الحفاظ على ترتيب عمليات الجمع (reduction orders) consistent بغض النظر عن عدد الطلبات التي تتم معالجتها في وقت واحد. تتطلب هذه الطريقة تعديلات على ثلاث عمليات حاسمة في نماذج المحولات (Transformer): RMSNorm، وضرب المصفوفات (matrix multiplication)، وآليات الانتباه (attention mechanisms).
أطلق المختبر رمز برمجي توضيحي يُظهر تشغيل الاستدلال الحتمي (deterministic inference) فوق إطار عمل vLLM مفتوح المصدر لاستدلال الذكاء الاصطناعي. تظهر الاختبارات الأولية للأداء أن النهج الحتمي أبطأ بنحو 60٪ من التكوينات القياسية، على الرغم من أن الباحثين يذكرون أن تنفيذهم لم يتم تحسينه للسرعة. إلى جانب التطبيقات المؤسسية التي تتطلب استجابات قابلة للتكرار، يقترح “هي” أن البحث يمكن أن يحسن تدريب التعلم المعزز (reinforcement learning) من خلال القضاء على الاختلافات العددية بين مراحل أخذ العينات والتدريب، مما قد يجعل تدريب نماذج الذكاء الاصطناعي أكثر كفاءة.
أحدث مختبرات أبحاث الذكاء الاصطناعي في وادي السليكون
برز مختبر “Thinking Machines” من وضع التخفي (stealth mode) في يوليو عندما أعلنت موراتي عن جولة التمويل الأولي القياسية البالغة 2 مليار دولار بقيادة Andreessen Horowitz. جولة التمويل هذه، التي تبلغ قيمة الشركة بمقتضاها 12 مليار دولار، شملت مشاركة من شركات تكنولوجيا كبرى مثل NVIDIA و AMD و Cisco و ServiceNow.
يتكون فريق الشركة إلى حد كبير من باحثين سابقين في “OpenAI”، بما في ذلك جون شولمان، الذي ساعد في إنشاء “ChatGPT”، وباريت زوف، رئيس الأبحاث السابق في “OpenAI”. ما يقرب من ثلثي القوى العاملة الأولية جاءت من صاحب عمل موراتي السابق.
مواراتي، التي شغلت منصب الرئيس التنفيذي المؤقت لفترة وجيزة خلال أزمة القيادة في “OpenAI” في نوفمبر 2023 قبل مغادرتها في سبتمبر 2024، قد وضعت مختبر “Thinking Machines” كمبني لـ”ذكاء اصطناعي متعدد الوسائط (multimodal AI) يعمل بالطريقة التي تتفاعل بها بشكل طبيعي مع العالم”. تخطط الشركة لإطلاق منتجها الأول في الأشهر المقبلة مع مكون مفتوح المصدر كبير يستهدف الباحثين والشركات الناشئة التي تطور نماذج مخصصة.
“نعتقد أن العلم يصبح أفضل عندما يتم مشاركته”، كما تذكر الشركة على موقعها الإلكتروني، ملتزمة بالنشر المنتظم للمدونات التقنية والأوراق البحثية والرموز البرمجية. وهذا يمثل تباينًا مع نهج “OpenAI” المتزايد الانغلاق في مشاركة الأبحاث مع نمو الشركة وتركيزها أكثر على الجوانب التجارية.
