تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى الثورة التقنية للتعاون اللامركزي

في سلسلة القيمة الكاملة للذكاء الاصطناعي، تعتبر عملية تدريب النماذج هي الأكثر استهلاكًا للموارد، وأعلى عتبة تقنية، حيث تحدد بشكل مباشر الحد الأقصى لقدرة النموذج وفاعلية تطبيقه الفعلية. بالمقارنة مع استدعاء المرحلة الاستدلالية الخفيف، تتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة الكبيرة، ومعالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها «صناعة ثقيلة» حقيقية لبناء نظام الذكاء الاصطناعي. من حيث النمط المعماري، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي سيتم مناقشته في هذه المقالة.

يعتبر التدريب المركزي الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة في مجموعة عالية الأداء محليًا، من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعة، إلى جميع مكونات إطار التدريب التي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تجعل هذه البنية التحتية المتكاملة مشاركة الذاكرة، وتزامن التدرجات، وآليات تحمل الأخطاء تعمل بكفاءة مثلى، مما يجعلها مناسبة جدًا لتدريب نماذج ضخمة مثل GPT وGemini، مع مزايا الكفاءة العالية، وقابلية التحكم في الموارد، لكنها في نفس الوقت تعاني من مشكلات احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.

التدريب الموزع هو الطريقة السائدة حاليًا لتدريب النماذج الكبيرة، حيث يكمن جوهره في تفكيك مهام تدريب النموذج وتوزيعها على عدة آلات تعمل بشكل متعاون، لتجاوز قيود الحساب والتخزين في الآلة الواحدة. على الرغم من أن لديها خصائص "موزعة" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة مؤسسة مركزية للتحكم في الجدولة والتزامن، وغالبًا ما تعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية NVLink للاتصال عالي السرعة، حيث يقوم العقد الرئيسي بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق السائدة ما يلي:

• معالجة البيانات بالتوازي: كل عقدة تدرب معلمات بيانات مختلفة يتم مشاركة الوزن النموذجي، ويجب مطابقة أوزان النموذج.
• التوازي النموذجي: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية توسيع قوية;
• مواسير متوازية: تنفيذ تسلسلي على مراحل، لزيادة معدل النقل;
• التوازي التنسوري: تقسيم دقيق لحساب المصفوفات، لتحسين حجم التوازي.

التدريب الموزع هو مزيج من "تحكم مركزي + تنفيذ موزع"، على غرار نفس المدير الذي يقود عن بُعد موظفي "المكاتب" المتعددة للتعاون في إنجاز المهام. حاليًا، يتم تدريب تقريبًا جميع النماذج الكبيرة الرائجة بهذه الطريقة.

اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزتها الأساسية في: العديد من العقد غير الموثوقة ( قد تكون أجهزة كمبيوتر منزلية، أو وحدات معالجة رسومية سحابية، أو أجهزة حافة ) تعمل معًا لإنجاز مهام التدريب بدون منسق مركزي، عادةً من خلال البروتوكولات التي تحرك توزيع المهام والتعاون، وبمساعدة آلية تحفيز تشفيرية لضمان نزاهة المساهمات. التحديات الرئيسية التي يواجهها هذا النموذج تشمل:

• صعوبة التنسيق بين الأجهزة المتنوعة وتقسيم المهام: صعوبة عالية في تنسيق الأجهزة المتنوعة، وكفاءة منخفضة في تقسيم المهام;
• عنق زجاجة كفاءة الاتصال: الاتصالات الشبكية غير مستقرة، وعقبة تزامن التدرج واضحة؛
• نقص في التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوق، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعلاً في الحساب؛
• نقص التنسيق الموحد: لا يوجد جهاز مركزي للتوجيه، توزيع المهام، وآلية استرجاع الأخطاء معقدة.

يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل منهم بالقوة الحاسوبية لتدريب النموذج بشكل تعاوني، لكن "التدريب اللامركزي على نطاق واسع القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، يتضمن بنية النظام، بروتوكولات الاتصال، أمان التشفير، آلية الاقتصاد، والتحقق من النموذج على مستويات متعددة، لكن ما إذا كان يمكن أن يكون "تعاون فعال + تحفيز للصدق + نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكرة.

تعلم الفيدرالية كمرحلة انتقالية بين التوزيع واللامركزية، يركز على الاحتفاظ بالبيانات محليًا، وتجميع معلمات النموذج بشكل مركزي، وهو مناسب للمشاهد التي تركز على الامتثال للخصوصية مثل الرعاية الصحية، والتمويل(. يتمتع تعلم الفيدرالية بهيكل تنفيذ التدريب الموزع وقدرة التعاون المحلي، وفي الوقت نفسه يمتلك مزايا توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية المُراقبة" في مشاهد الامتثال للخصوصية، حيث تكون مهام التدريب، وبنية الثقة، وآلية الاتصال أكثر اعتدالًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.

) اللامركزية تدريب الحدود، الفرص والطرق الواقعية

من حيث نماذج التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، واحتياجات الموارد العالية جدًا، أو صعوبة التعاون، فإنه بطبيعته غير مناسب لإكماله بكفاءة بين العقد غير المتجانسة وذات الثقة المنخفضة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وزمن استجابة منخفض وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في الشبكة المفتوحة; تتأثر مهام خصوصية البيانات وقيود السيادة بشدة ### مثل الرعاية الصحية والمالية وبيانات سرية ( بالقوانين والامتثال والقيود الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح; بينما تفتقر المهام التي تفتقر إلى قاعدة حوافز التعاون ) مثل نماذج الشركات المغلقة أو تدريب النماذج الأولية الداخلية ( إلى دوافع المشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية لتدريب اللامركزية الحالي.

لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، يظهر التدريب اللامركزي آفاق تطبيقية واضحة في أنواع المهام ذات الهيكل الخفيف وسهولة التوازي والتحفيز. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام التدريب اللاحقة التي تتعلق بمحاذاة السلوك مثل RLHF، DPO)، مهام تدريب وتصنيف البيانات عبر الحشود، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وسيناريوهات التدريب التعاوني التي تشارك فيها الأجهزة الطرفية. تتمتع هذه المهام بشكل عام بخصائص عالية من التوازي، وانخفاض الارتباط، وقدرة على تحمل قوة حسابية غير متجانسة، مما يجعلها مناسبة جداً للتدريب التعاوني من خلال الشبكات P2P، بروتوكول Swarm، والمُحسِّنات الموزعة.

( اللامركزية تدريب الكلاسيكيات تحليل المشاريع

حاليًا، تشمل المشاريع المميزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في البحث النظري الحالي؛ بينما المسارات التنفيذية لـ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة بالتتابع، وستبحث أيضًا في الاختلافات والعلاقات التكميلية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.

)# Prime Intellect: رائد الشبكة المتعاونة للتعلم المعزز القابل للتحقق من المسار التدريبي

تسعى Prime Intellect لبناء شبكة تدريب AI لا تتطلب الثقة، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect في إنشاء نظام تدريب AI لامركزي قابل للتحقق، مفتوح، مع آلية تحفيز كاملة من خلال ثلاثة وحدات: PRIME-RL + TOPLOC + SHARDCAST.

أ. هيكل بروتوكول Prime Intellect وقيمة الوحدات الرئيسية

![تطور نماذج التدريب بالذكاء الاصطناعي: من السيطرة المركزية إلى الثورة التقنية للتعاون اللامركزي]###https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp###

ثانياً، شرح آلية تدريب Prime Intellect الرئيسية

PRIME-RL: بنية مهام التعلم المعزز غير المتزامن المفككة

PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات المتنوعة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف رئيسي للتكيف، ويقوم بفصل هيكلي بين عمليات التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. مقارنةً بعمليات التعلم الخاضع للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتنفيذ التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويضع الأساس لدعم المهام المتعددة والتطور الاستراتيجي.

TOPLOC: آلية تحقق سلوك التدريب الخفيف الوزن

TOPLOC(مراقبة موثوقة & تحقق من المحلية) هو آلية أساسية للتحقق من التدريب قدمتها Prime Intellect، تستخدم لتحديد ما إذا كان العقدة قد أكملت فعلاً تعلم الاستراتيجية بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف عن طريق تحليل المسارات المحلية المتسقة بين "سلسلة الملاحظات ↔ تحديث الاستراتيجية". إنها المرة الأولى التي يتم فيها تحويل مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهو ابتكار رئيسي لتحقيق توزيع مكافآت التدريب بدون ثقة، ويقدم مساراً قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.

SHARDCAST: بروتوكول تجميع الوزن غير المتزامن ونشره

SHARDCAST هو بروتوكول لنشر وتجميع الأوزان مصمم بواسطة Prime Intellect، مُحسّن خصيصًا للبيئات الشبكية الحقيقية ذات الحالة المتغيرة للعُقد، والتي تعاني من القيود على النطاق الترددي والتأخير. إنه يجمع بين آلية نشر gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عُقد بتقديم تحديثات جزئية باستمرار في حالات عدم التزامن، مما يحقق التقارب التدريجي للأوزان وتطور الإصدارات المتعددة. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يُحسِّن SHARDCAST بشكل ملحوظ من قابلية التوسع وقدرة التحمل للتدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق الأوزان المستقر والتدريب المستمر.

OpenDiLoCo:إطار الاتصال غير المتزامن النادر

OpenDiLoCo هو إطار تحسين الاتصالات الذي طوره فريق Prime Intellect استنادًا إلى مفهوم DiLoCo المقدم من DeepMind، وهو تطبيق مستقل ومفتوح المصدر، مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي، مثل قيود النطاق الترددي، وتباين الأجهزة، وعدم استقرار العقد. تعتمد هيكله على التوازي البياني، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للتزامن العالمي، ويعتمد فقط على الجيران المحليين لإتمام التدريب التعاوني للنموذج. بالجمع بين التحديث غير المتزامن وآلية تحمل الأخطاء، يسمح OpenDiLoCo حتى لوحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية بالمشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني على مستوى العالم، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.

PCCL: مكتبة الاتصالات التعاونية

PCCL(Prime Collective Communication Library) هو مكتبة اتصالات خفيفة الوزن تم تصميمها خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، وتهدف إلى حل اختناقات التوافق في مكتبات الاتصالات التقليدية مثل NCCL وGloo( في الأجهزة غير المتجانسة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الهياكل الندرة، وضغط التدرجات، والتزامن منخفض الدقة، واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات من الفئة الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم قدرة الاتصالات غير المتزامنة لبروتوكول OpenDiLoCo. لقد زاد بشكل كبير من تحمل عرض النطاق الترددي لشبكة التدريب وتوافق الأجهزة، مما يسهل بناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة، ويعبر عن "آخر ميل" في أساسيات الاتصال.

ثالثاً، شبكة Prime Intellect للتحفيز وتقسيم الأدوار

بني Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، وتمتلك آلية حوافز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على مساهماته الحقيقية. يعمل البروتوكول استنادًا إلى ثلاث فئات من الأدوار الأساسية:

• مُبادر المهمة: تحديد بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
• عقد تدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
• عقدة التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع الاستراتيجيات

تتضمن العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان )SHARDCAST( وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "السلوك التدريبي الحقيقي".

![تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى الثورة التقنية للتعاون اللامركزي])https://img-cdn.gateio.im/webp-social/moments-45f26de57a53ac937af683e629dbb804.webp(

الرابع، INTELLECT-2: إطلاق أول نموذج تدريب اللامركزي القابل للتحقق

أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز تم تدريبه بواسطة عقد لامركزية غير موثوقة وتعمل بشكل غير متزامن في العالم، مع حجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 من خلال التعاون بين أكثر من 100 عقدة GPU متباينة موزعة على ثلاث قارات، باستخدام أسلوب غير متزامن بالكامل.