عندما تبني شركة نموذجاً لغوياً كبيراً، تُنفق أشهراً في التفكير في تكاليف التدريب، لكنها في أغلب الأحيان تتجاهل سؤالاً جوهرياً: كم سيكلّف تشغيل هذا النموذج يومياً بعد الإطلاق؟ هذه الفجوة بين منطق التدريب ومنطق الاستدلال هي ما يُعرف الآن بمشكلة التوازن بين التدريب والاختبار، وهي تُعيد رسم قواعد بناء نماذج الذكاء الاصطناعي.
التدريب وحده لا يكفي: المعادلة الناقصة
المعيار التقليدي في بناء النماذج الكبيرة يعتمد على قانون Chinchilla الشهير، الذي صاغه فريق من باحثي DeepMind عام 2022 في ورقة بحثية بعنوان "Training Compute-Optimal Large Language Models". يُحدد هذا القانون العلاقة المثلى بين حجم النموذج وحجم البيانات بهدف تقليل تكلفة التدريب. لكن هذا القانون صُمّم لعالم مختلف، عالم لا يأخذ في الحسبان ما يحدث بعد نشر النموذج، حين يبدأ المستخدمون الحقيقيون في إرسال الملايين من الطلبات يومياً.
تكاليف الاستدلال: الرقم الذي يُفاجئ الجميع
في التطبيقات الفعلية التي تعتمد على تقنيات مثل التفكير في وقت الاستدلال أو البحث والاسترجاع، تتضاعف التكاليف بشكل غير متوقع. النموذج الأصغر حجماً الذي دُرّب بكفاءة قد يستهلك موارد حوسبة أضعافاً مضاعفة عند التشغيل، مقارنةً بنموذج أكبر مُحسَّن للاستدلال. المفارقة هنا حادة: توفير المال في التدريب قد يعني إنفاق أضعافه لاحقاً.
نحو ميزانية حوسبة شاملة من البداية إلى النهاية
الحل الذي يطرحه الباحثون يتمثل في إعادة التفكير في كيفية تخصيص ميزانية الحوسبة منذ اللحظة الأولى، بما يشمل التدريب والضبط الدقيق والاستدلال معاً. هذا يعني اتخاذ قرارات مبكرة حول حجم النموذج وبنيته، بناءً على نمط الاستخدام المتوقع لا على معايير التدريب وحدها. بعض الحالات تستدعي نماذج أصغر مع استدلال أذكى، وأخرى تحتاج العكس تماماً.
وماذا يعني هذا لك؟
إن كنت تبني منتجاً على قاعدة نموذج لغوي كبير، سواء في السعودية أو المغرب أو أي بلد عربي، فإن هذه المعادلة تمسّك مباشرة. الاعتماد على نموذج جاهز دون التخطيط لتكاليف الاستدلال قد يجعل مشروعك غير قابل للتوسع مع نمو قاعدة المستخدمين. التفكير في الميزانية الكاملة، من التدريب إلى الاستخدام اليومي، لم يعد رفاهية بل ضرورة تشغيلية.
السؤال الذي يبقى مفتوحاً: هل ستتكيف أدوات تقييم النماذج مع هذا الواقع الجديد، أم سنظل نقيس الأداء بمعايير لا تعكس التكلفة الحقيقية للذكاء الاصطناعي في العالم الفعلي؟
المصدر: VentureBeat، https://venturebeat.com/orchestration/train-to-test-compute-optimal-llms/
مرجع أكاديمي: Hoffmann et al., DeepMind, 2022. "Training Compute-Optimal Large Language Models". https://arxiv.org/abs/2203.15556
