نموذج GEM من Meta: كيف ضاعفت الشركة كفاءة تدريب نماذجها الضخمة للذكاء الاصطناعي

مقدمة حول نموذج GEM ودوره في منظومة الإعلانات

نموذج GEM من Meta, كفاءة تدريب الذكاء الاصطناعي, أنظمة التوصية الإعلانية:

يمثّل نموذج GEM، أو نموذج التوصية التوليدي للإعلانات الخاص بشركة Meta، حجر الأساس الذي تعتمد عليه أنظمة توصية الإعلانات عبر منصتي Instagram وFacebook. وقد وصل هذا النموذج إلى مرحلة يجري فيها تدريبه على نطاق يماثل النماذج اللغوية الكبيرة، مستفيداً من عدة آلاف من وحدات المعالجة الرسومية GPU من أحدث الأجيال. هذا التحول لم يكن مجرد ترقية في الأجهزة، بل ثمرة إعادة تصميم شاملة للبرمجيات والعتاد معاً.

ما يجعل قصة GEM جديرة بالاهتمام هو أن الشركة نجحت في مضاعفة كفاءة التدريب من طرف إلى طرف، مع رفع القدرة الحسابية المستخدمة في التدريب عدة أضعاف خلال فترة زمنية وجيزة. وهذا الإنجاز يفتح الباب أمام فهم أعمق لكيفية دمج عالم أنظمة التوصية مع عالم النماذج اللغوية الضخمة.

التحدي الهندسي عند تقاطع أنظمة التوصية والنماذج اللغوية

يقع تدريب نموذج GEM في منطقة تلاقٍ فريدة بين مجالين مختلفين تماماً في طبيعتهما: أنظمة التوصية من جهة، والنماذج اللغوية الكبيرة من جهة أخرى. فالنموذج يجمع بين بنية هجينة وخصائص بيانات تنتمي إلى مجال التوصية، وهي خصائص تختلف جوهرياً عن أعباء العمل المعتادة في النماذج اللغوية.

هذا الاختلاف يخلق مشكلة حقيقية، إذ إن البنية التحتية للذكاء الاصطناعي التي جرى تحسينها أصلاً لتدريب النماذج اللغوية لا يمكن نقلها مباشرة إلى هذا السياق. فالأنوية الحسابية، وأساليب التوازي، ووصفات الدقة المنخفضة، كلها صُممت لأنماط عمل مختلفة. ولهذا كان لا بد من ابتكار واسع النطاق وتصميم مشترك بين العتاد والبرمجيات للوصول إلى كفاءة عالية في تدريب نماذج التوصية على هذا النطاق الكبير.

لماذا لا تصلح حلول النماذج اللغوية للتوصية مباشرة؟

البيانات في أنظمة التوصية تتميز بطبيعة متفرقة ومتفاوتة الأطوال، على عكس النصوص المتسلسلة التي تتعامل معها النماذج اللغوية. هذا التفاوت يفرض تحديات في استغلال قدرات وحدات المعالجة الرسومية بأقصى كفاءة، ويستدعي أدوات مخصصة قادرة على التعامل مع هذا النمط من البيانات دون إهدار للموارد الحسابية.

محورا الحل: كفاءة الحوسبة وكفاءة التوسع

عالجت Meta هذه التحديات عبر مسارين متكاملين من الابتكار، أحدهما يركّز على كفاءة الحوسبة والآخر على كفاءة التوسع. ويعمل المساران معاً لتحقيق النتيجة النهائية المتمثلة في مضاعفة الكفاءة.

كفاءة الحوسبة عبر أنوية مخصصة ودقة فائقة الانخفاض

تحققت كفاءة الحوسبة من خلال مكتبة أنوية مخصصة لأنظمة التوصية، تضم تقنيات متعددة مثل Jagged Flash Attention وGeneralized Dot-Product Attention وBlockAttention. صُممت هذه الأنوية خصيصاً للاستفادة القصوى من بنية أحدث أجيال وحدات المعالجة الرسومية.

إلى جانب ذلك، اعتمدت الشركة على التدريب بدقة فائقة الانخفاض، بما في ذلك استخدام صيغ دقة منخفضة في طبقات الانتباه وطبقات الإدراك متعدد المستويات. هذا الأسلوب يقلل من العبء الحسابي وحجم الذاكرة المطلوبة، مع الحفاظ على جودة النتائج، وهو ما يشكّل توازناً دقيقاً بين السرعة والدقة.

كفاءة التوسع عبر التوازي متعدد الأبعاد الواعي بالطوبولوجيا

على صعيد التوسع، طبّقت Meta أسلوباً للتوازي متعدد الأبعاد يراعي طوبولوجيا الشبكة. ويجمع هذا الأسلوب بين تقنيات توزيع المعاملات الكثيفة وتقنيات أخرى مخصصة للمعاملات المتفرقة. كما جرى تصميم هذا النظام بالتزامن مع البنية الشبكية متعددة الطبقات الخاصة بالشركة، بهدف تقليل العبء الناتج عن الاتصالات بين وحدات المعالجة.

الفكرة الجوهرية هنا هي أن نقل البيانات بين آلاف الوحدات الرسومية يمكن أن يتحول إلى عنق زجاجة يبطئ عملية التدريب بأكملها. ولذلك فإن مواءمة أنماط التوازي مع بنية الشبكة الفعلية تسمح بتقليل هذا العبء وتوجيه أكبر قدر ممكن من الموارد نحو الحوسبة المفيدة.

التصميم المشترك: مفتاح مضاعفة الكفاءة

الدرس الأهم من تجربة GEM هو أن الكفاءة لم تتحقق عبر تحسين عنصر واحد بمعزل عن غيره، بل من خلال التصميم المشترك لعدة عناصر في آنٍ واحد. فقد جرى دمج الأنوية الحسابية والدقة وأنماط التوازي والشبكات والذاكرة ضمن منظومة واحدة متناغمة.

هذا النهج التكاملي هو ما مكّن الشركة من تحقيق قفزة نوعية في الكفاءة من طرف إلى طرف، وفي الوقت نفسه رفع حجم العمليات الحسابية المستخدمة في التدريب عدة أضعاف. وهو ما يعكس فلسفة هندسية ترى النظام ككل مترابط لا كأجزاء منفصلة.

لماذا تهمّ هذه الإنجازات لمستقبل الذكاء الاصطناعي؟

ما حققته Meta مع نموذج GEM يتجاوز حدود تحسين الإعلانات فحسب. فهو يقدّم نموذجاً عملياً لكيفية تجسير الفجوة بين مجالين تقنيين ظلّا منفصلين لفترة طويلة: أنظمة التوصية والنماذج اللغوية الكبيرة.

مع تزايد الاعتماد على النماذج الضخمة في مختلف الصناعات، يصبح تحسين كفاءة التدريب أمراً بالغ الأهمية، سواء من ناحية التكلفة أو استهلاك الطاقة أو سرعة تطوير النماذج. والدروس المستفادة من تصميم الأنوية المخصصة والتوازي الواعي بالطوبولوجيا قد تجد طريقها إلى تطبيقات أوسع بكثير من الإعلانات.

خلاصة

تُظهر تجربة GEM أن الوصول إلى نطاق النماذج اللغوية الكبيرة في مجال التوصية ليس مسألة مجرد إضافة مزيد من العتاد، بل يتطلب ابتكاراً عميقاً على مستوى الخوارزميات والبرمجيات والعتاد معاً. ومن خلال التصميم المشترك المدروس، أثبتت Meta أن مضاعفة الكفاءة أمر ممكن حتى مع التوسع الكبير في الحجم، ما يرسم ملامح جيل جديد من أنظمة الذكاء الاصطناعي الأكثر كفاءة وقدرة.

المصدر: GEM Training: How Meta Doubled the Efficiency of Its LLM