تدريب نموذج GEM: كيف ضاعفت Meta كفاءة نموذجها اللغوي الضخم
ثورة هادئة في عالم أنظمة التوصية والنماذج اللغوية
تدريب نموذج GEM, كفاءة النماذج اللغوية, أنظمة التوصية:
في قلب المنصات الرقمية التي يستخدمها مليارات البشر يوميًا، تعمل نماذج ذكاء اصطناعي معقدة على تحديد ما يظهر أمام أعين المستخدمين من إعلانات ومحتوى. ومن بين هذه النماذج يبرز نموذج GEM، وهو النموذج الأساسي الذي تعتمد عليه شركة Meta في تقديم توصيات الإعلانات عبر منصتيها الشهيرتين Instagram وFacebook. لقد وصل هذا النموذج إلى مرحلة يجري فيها تدريبه على نطاق يضاهي نطاق النماذج اللغوية الكبيرة، مستفيدًا من آلاف من وحدات معالجة الرسوميات من أحدث الأجيال.
التحدي الحقيقي لم يكن في بناء النموذج فحسب، بل في مضاعفة كفاءة تدريبه من طرف إلى طرف، مع توسيع نطاق العمليات الحسابية بشكل كبير خلال فترة زمنية قصيرة نسبيًا. وقد تحقق ذلك عبر تصميم مشترك ومتكامل يجمع بين النوى الحسابية والدقة العددية والتوازي والشبكات والذاكرة في منظومة واحدة متناغمة.
ما الذي يجعل تدريب GEM مختلفًا عن النماذج اللغوية التقليدية؟
يقع نموذج GEM عند نقطة تقاطع فريدة بين عالمين مختلفين: أنظمة التوصية من جهة، والنماذج اللغوية الكبيرة من جهة أخرى. هذا التقاطع يخلق تحديات هندسية استثنائية، لأن النموذج يجمع بين بنية هجينة وخصائص بيانات مستمدة من مجال التوصيات تختلف جذريًا عن أعباء العمل المعتادة في النماذج اللغوية.
البنية التحتية للذكاء الاصطناعي التي جرى تحسينها أساسًا لتدريب النماذج اللغوية، بما في ذلك النوى الحسابية وأساليب التوازي ووصفات الدقة المنخفضة، لا تنتقل مباشرة إلى هذا السياق الجديد. ولذلك كان لا بد من ابتكار حلول جديدة والاعتماد على التصميم المشترك بين العتاد والبرمجيات للوصول إلى تدريب فعّال على نطاق واسع لنماذج التوصية.
خصوصية بيانات التوصيات
تتميز بيانات أنظمة التوصية بأنها تحتوي على كميات ضخمة من السمات المتفرقة التي تمثل تفضيلات المستخدمين وسلوكياتهم، إلى جانب سمات كثيفة أخرى. هذا المزيج يفرض متطلبات معالجة مختلفة تمامًا عن معالجة النصوص المتتابعة التي تتعامل معها النماذج اللغوية، مما يستدعي تطوير أدوات مخصصة تراعي هذه الطبيعة المزدوجة.
ركيزتان أساسيتان: كفاءة الحوسبة وكفاءة التوسع
لمواجهة هذه التحديات، اعتمد الفريق الهندسي على مسارين متكاملين يعزز كل منهما الآخر. المسار الأول يركز على كفاءة الحوسبة، بينما يركز المسار الثاني على كفاءة التوسع. وبتضافر هذين المسارين تحققت المضاعفة المنشودة في كفاءة التدريب.
كفاءة الحوسبة عبر نوى مخصصة ودقة عددية منخفضة
تحققت كفاءة الحوسبة من خلال مكتبة نوى حسابية مخصصة لأنظمة التوصية، تضم تقنيات متقدمة مثل Jagged Flash Attention وGeneralized Dot-Product Attention إضافة إلى تقنية BlockAttention. صُممت هذه النوى خصيصًا لاستغلال معمارية وحدات المعالجة الرسومية من أحدث الأجيال بأقصى قدر ممكن من الكفاءة.
كما جرى اعتماد التدريب بدقة عددية منخفضة للغاية بأسلوب مختلط، بما في ذلك تطبيق الدقة المنخفضة على طبقات الانتباه والطبقات متعددة الإدراك. هذا النهج يقلل من العبء الحسابي ومن استهلاك الذاكرة دون التضحية بجودة النموذج، وهو أمر بالغ الأهمية عند العمل على هذا النطاق الهائل.
كفاءة التوسع عبر التوازي متعدد الأبعاد
على صعيد التوسع، جرى اعتماد استراتيجية توازٍ متعددة الأبعاد واعية بطوبولوجيا الشبكة. فبالنسبة للمعاملات الكثيفة، جرى الجمع بين تقنية التجزئة الكاملة للبيانات وتوازي الخبراء. أما المعاملات المتفرقة فقد عولجت عبر أسلوب توازٍ نموذجي مجزأ بالكامل.
الأهم من ذلك أن هذه الاستراتيجية صُممت لتتناغم مع التسلسل الهرمي متعدد الطبقات لشبكة Meta، بهدف تقليل عبء الاتصال بين الوحدات إلى أدنى حد ممكن. هذا التصميم المشترك بين خوارزميات التوازي والبنية الشبكية هو ما مكّن النموذج من التوسع بكفاءة عالية دون أن تتحول الاتصالات إلى عنق زجاجة يخنق الأداء.
لماذا تُعد مؤشرات استغلال العمليات الحسابية مهمة؟
عند الحديث عن كفاءة تدريب النماذج الضخمة، يبرز مؤشر استغلال العمليات الحسابية للنموذج بوصفه معيارًا حاسمًا. فهذا المؤشر يقيس النسبة الفعلية من القدرة الحسابية النظرية للعتاد التي يجري توظيفها فعليًا أثناء التدريب. وكلما ارتفعت هذه النسبة، دلّ ذلك على استغلال أفضل للموارد باهظة الثمن وعلى تقليل الهدر.
الوصول بهذا المؤشر إلى مستويات مرتفعة في سياق أنظمة التوصية يُعد إنجازًا لافتًا، نظرًا للطبيعة المتفرقة للبيانات والبنية الهجينة التي تجعل تحقيق كفاءة عالية أصعب بكثير مقارنة بالنماذج اللغوية التقليدية ذات البنية الأكثر انتظامًا.
دروس مستفادة لمستقبل الذكاء الاصطناعي
تكشف تجربة تدريب GEM عن حقيقة مهمة مفادها أن التقدم في مجال الذكاء الاصطناعي لم يعد يعتمد على تحسين مكوّن واحد بمعزل عن غيره. فالقفزات النوعية في الكفاءة تأتي من التصميم المشترك الذي ينظر إلى المنظومة بأكملها: النوى الحسابية، والدقة العددية، واستراتيجيات التوازي، والبنية الشبكية، وإدارة الذاكرة، بوصفها كلًا واحدًا مترابطًا.
هذا النهج الشمولي يفتح الباب أمام إمكانيات جديدة لتطوير نماذج توصية أكثر قوة وذكاءً، قادرة على فهم تفضيلات المستخدمين بدقة أعلى وتقديم تجربة أكثر ملاءمة لهم. ومع استمرار تطور العتاد والبرمجيات معًا، من المرجح أن نشهد المزيد من الابتكارات التي تدفع حدود ما هو ممكن في هذا المجال المتسارع.
خلاصة
يمثل نموذج GEM مثالًا حيًا على كيفية تجاوز الحدود التقليدية بين أنظمة التوصية والنماذج اللغوية الكبيرة. ومن خلال مضاعفة كفاءة التدريب مع توسيع نطاق العمليات الحسابية في آنٍ واحد، أثبت الفريق الهندسي أن الجمع بين الابتكار الخوارزمي والتصميم العتادي المدروس قادر على تحقيق نتائج كانت تُعد شبه مستحيلة قبل سنوات قليلة. إنه فصل جديد في قصة تطور الذكاء الاصطناعي على نطاق واسع.
المصدر: GEM Training: How Meta Doubled the Efficiency of Its LLM
