اللامركزية AI التدريب من الاستكشافات الرائدة: من Prime Intellect إلى INTELLECT-2

الكأس المقدسة للذكاء الاصطناعي في التشفير: استكشاف متقدم للتدريب اللامركزي

في سلسلة القيمة الكاملة للذكاء الاصطناعي، يُعتبر تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث العوائق التقنية، حيث يحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعالية تطبيقه الفعلية. مقارنةً بمرحلة الاستدلال التي تتطلب استدعاءً خفيف الوزن، يحتاج عملية التدريب إلى استثمار مستمر في قوة حسابية كبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من منظور أنماط الهيكل، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي نناقشه بشكل أساسي في هذه المقالة.

كأس القدر للذكاء الاصطناعي في العملات الرقمية: استكشاف متقدم للتدريب اللامركزي

التدريب المركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب من قبل مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب، يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تجعل هذه البنية التحتية المعقدة من مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل الأكثر كفاءة، مما يجعلها مناسبة جدًا لتدريب النماذج الكبيرة مثل GPT وGemini، حيث تتمتع بميزة الكفاءة العالية والموارد القابلة للتحكم، ولكنها في الوقت نفسه تعاني من مشكلات احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.

التدريب الموزع هو الطريقة السائدة حاليًا لتدريب النماذج الكبيرة، حيث يتمثل جوهره في تفكيك مهام تدريب النموذج ثم توزيعها على عدة آلات لتعاونها في التنفيذ، وذلك لتجاوز قيود الحساب والتخزين على وحدة واحدة. على الرغم من أنه يتمتع بخصائص "اللامركزية" من الناحية الفيزيائية، إلا أن التحكم والتنسيق والتزامن لا يزال بيد مؤسسات مركزية، وغالبًا ما يعمل ضمن بيئات الشبكة المحلية عالية السرعة، من خلال تقنية NVLink لربط الحافلات عالية السرعة، بحيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق السائدة:

  • البيانات المتوازية: كل عقدة تدرب معلمات بيانات مختلفة مع مشاركة المعلمات، يجب مطابقة أوزان النموذج
  • التوازي في النماذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية توسيع قوية
  • تنفيذ متسلسل على مراحل: زيادة معدل التدفق
  • توازي المصفوفات: تقسيم دقيق لحساب المصفوفة، وزيادة درجة التوازي

التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مما يشبه توجيه نفس المدير عن بُعد لتعاون عدة موظفين من "مكاتب" مختلفة لإكمال المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا (GPT-4 وGemini وLLaMA وغيرها ) بهذه الطريقة.

اللامركزية تدريباً تمثل مساراً مستقبلياً أكثر انفتاحاً وخصائص مقاومة للرقابة. تتمثل ميزتها الأساسية في: عدة نقاط غير موثوقة ( يمكن أن تكون أجهزة الكمبيوتر المنزلية، أو وحدات معالجة الرسوميات السحابية، أو أجهزة الحافة ) تكمل مهام التدريب بالتعاون دون وجود منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وبدعم من آلية تحفيز مشفرة لضمان نزاهة المساهمات. التحديات الرئيسية التي تواجه هذا النموذج تشمل:

  • صعوبة تباين الأجهزة وتقسيم المهام: التنسيق بين الأجهزة المتباينة صعب، وكفاءة تقسيم المهام منخفضة
  • قيود كفاءة الاتصال: اتصالات الشبكة غير مستقرة، وقيود مزامنة التدرج واضحة
  • نقص التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوق، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك حقًا في الحساب
  • نقص التنسيق الموحد: لا يوجد جهاز تحكم مركزي، توزيع المهام، وآلية التراجع عن الاستثناءات معقدة

يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل واحد منهم بقوة الحوسبة لتدريب النموذج بشكل متزامن، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا منهجيًا، يشمل بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، ولكن ما إذا كان يمكن "التعاون بشكل فعال + تحفيز النزاهة + الحصول على نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.

التعلم الفيدرالي كمرحلة انتقالية بين التوزيع واللامركزية، يؤكد على الاحتفاظ المحلي بالبيانات، وتجميع معلمات النموذج مركزيًا، وهو مناسب للمشاهد التي تركز على الامتثال للخصوصية ( مثل الرعاية الصحية، والمالية ). يمتلك التعلم الفيدرالي هيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يتمتع أيضًا بمزايا توزيع البيانات لتدريب اللامركزية، لكنه لا يزال يعتمد على طرف موثوق للتنسيق، ولا يمتلك خصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في مشاهد الامتثال للخصوصية، حيث تكون مهام التدريب، وهياكل الثقة، وآليات الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.

كأس القدر في Crypto AI: استكشاف متقدم للتدريب اللامركزي

حدود التدريب اللامركزي، الفرص والمسارات الواقعية

من حيث نماذج التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، أو المتطلبات العالية للموارد، أو صعوبة التعاون، فإنه بطبيعته غير مناسب للإنجاز بكفاءة بين العقد غير المتجانسة وغير الموثوقة. على سبيل المثال، غالبًا ما يعتمد تدريب النماذج الكبيرة على ذاكرة عالية، ووقت استجابة منخفض، ونطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في الشبكات المفتوحة؛ كما أن المهام التي تتطلب خصوصية البيانات وقيود السيادة ( مثل المهام الطبية والمالية وبيانات سرية ) مقيدة بالامتثال القانوني والقيود الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح؛ بالإضافة إلى أن المهام التي تفتقر إلى أساس تحفيز التعاون ( مثل نماذج الشركات المغلقة أو تدريب النماذج الأولية الداخلية ) تفتقر إلى الحافز للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية للتدريب اللامركزي الحالي.

لكن هذا لا يعني أن التدريب اللامركزي هو مجرد مفهوم زائف. في الواقع، تظهر التدريب اللامركزي آفاقاً واضحة في أنواع المهام الخفيفة الهيكل، سهلة التوازي، وتحفيزية. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام ما بعد التدريب المتعلقة بمحاذاة السلوك مثل RLHF، و DPO(، وتدريب وسم البيانات عبر الحشود، وتدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، فضلاً عن سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تتمتع هذه المهام عمومًا بخصائص عالية في التوازي، وانخفاض في الترابط، وقدرة على تحمل حسابات غير متجانسة، مما يجعلها مناسبة جداً للتدريب التعاوني عبر الشبكات P2P، وبروتوكول Swarm، والمحسنات الموزعة.

![كأس القدر في الذكاء الاصطناعي للعملات الرقمية: استكشاف الحدود في التدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(

تحليل مشاريع التدريب الكلاسيكية اللامركزية

حاليًا، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي على البلوكشين كل من Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائجة في الأبحاث النظرية الحالية؛ بينما مسارات التنفيذ لكل من Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية خلف هذه المشاريع الخمسة بالتتابع، وستناقش المزيد عن اختلافاتها وعلاقاتها التكاملية في نظام تدريب الذكاء الاصطناعي اللامركزي.

) Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسارات التدريب

تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تتطلب الثقة، مما يتيح لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect في إنشاء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق، والانفتاح، وآلية التحفيز الكاملة من خلال ثلاثة وحدات رئيسية: PRIME-RL + TOPLOC + SHARDCAST.

01، هيكل بروتوكول Prime Intellect وقيمة الوحدات الرئيسية

![كأس القدر للذكاء الاصطناعي: استكشاف متقدم للتدريب اللامركزي]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(

)# 02، شرح آلية تدريب Prime Intellect الرئيسية

#PRIME-RL:هيكل مهمة التعلم المعزز غير المتزامن المفكك

PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص لسيناريوهات التدريب اللامركزية من قبل Prime Intellect، وقد تم تصميمه خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يستخدم التعلم المعزز ككائن مفضل للتكيف، ويفصل بشكل هيكلي بين عملية التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. مقارنة بعمليات التعلم الإشرافي التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق تدريب مرن في بيئة بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.

#TOPLOC:آلية التحقق من سلوك التدريب الخفيف

TOPLOC###المراقبة الموثوقة & فحص المحلية( هو آلية أساسية اقترحها Prime Intellect للتحقق من قابلية التدريب، تُستخدم لتحديد ما إذا كان العقد قد أكمل فعلاً تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يُكمل التحقق الهيكلي الخفيف من خلال تحليل "سلسلة المراقبة ↔ تحديث الاستراتيجية" بين المسارات المحلية المتسقة. إنها المرة الأولى التي يتم فيها تحويل مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهي الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب بدون حاجة للثقة، مما يوفر مسارًا قابلًا للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.

#SHARDCAST: بروتوكول التجميع والانتشار وزني غير متزامن

SHARDCAST هو بروتوكول انتشار وتجمع الوزن الذي صممه Prime Intellect، مصمم خصيصًا لبيئات الشبكة الحقيقية التي تتميز باللامركزية، وحدود النطاق، وتغير حالة العقد. يجمع بين آلية انتشار gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية باستمرار في حالة غير متزامنة، مما يحقق تقاربًا تدريجيًا للوزن وتطورًا متعدد النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل ملحوظ قابلية التوسع والقدرة على التحمل لتدريب اللامركزية، وهو الأساس الرئيسي لبناء توافق وزن مستقر وتكرار التدريب المستمر.

#OpenDiLoCo:إطار الاتصالات غير المتزامنة المتناثرة

OpenDiLoCo هو إطار تحسين الاتصالات الذي طوره فريق Prime Intellect بناءً على مفهوم DiLoCo الذي اقترحته DeepMind، والذي تم تنفيذه بشكل مستقل ومفتوح المصدر، مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي البياني، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكاليف العالية للتزامن العالمي، ويعتمد فقط على العقد الجوار المحلية لإكمال تدريب النموذج المشترك. مع الجمع بين التحديثات غير المتزامنة وآلية تحمل الأخطاء، يسمح OpenDiLoCo لمجموعة GPU الاستهلاكية والأجهزة الطرفية بالمشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل ملحوظ إمكانية المشاركة في التدريب التعاوني العالمي، وهو واحد من البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.

#PCCL: مكتبة الاتصالات المتزامنة

PCCL)Prime Collective Communication Library( هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، وتهدف إلى حل عنق الزجاجة في التوافق في المكتبات التقليدية للاتصالات) مثل NCCL وGloo( في الأجهزة غير المتجانسة والشبكات ذات عرض النطاق الترددي المنخفض. يدعم PCCL التوبولوجيا النادرة، وضغط التدرجات، والتزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو مكون أساسي يدعم قدرة الاتصالات غير المتزامنة لبروتوكول OpenDiLoCo. وقد عزز بشكل ملحوظ تحمل عرض النطاق الترددي لشبكة التدريب وتوافق الأجهزة، مما فتح "آخر كيلومتر" من الأساس التواصلي لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة.

)# 03، شبكة Prime Intellect للتحفيز وتقسيم الأدوار

بني Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، مزودة بآلية حوافز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاثة أنواع من الأدوار الأساسية:

  • مُطلق المهمة: تعريف بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
  • عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
  • عقدة التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجمع الاستراتيجيات

تتضمن العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان ###SHARDCAST( وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".

![كأس المقدس للذكاء الاصطناعي: استكشاف متقدم للتدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(

)# 04، INTELLECT-2: إطلاق أول نموذج تدريب قابل للتحقق اللامركزية

أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج تعلم معزز كبير في العالم تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة، بحجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بالتعاون بين أكثر من 100 عقدة GPU غير متجانسة موزعة على ثلاث قارات.

PRIME1.45%
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • 4
  • إعادة النشر
  • مشاركة
تعليق
0/400
GasFeeVictimvip
· 08-13 18:22
مشروع آخر يختلس الأموال ويهرب
شاهد النسخة الأصليةرد0
TokenRationEatervip
· 08-13 05:29
قوة الحوسبة快要烧干我新买的3090了
شاهد النسخة الأصليةرد0
SigmaBrainvip
· 08-13 05:05
حريري ورؤى قيمة
شاهد النسخة الأصليةرد0
just_another_fishvip
· 08-13 05:02
سنظل نتعرض للاستغلال من قبل عمالقة التكنولوجيا
شاهد النسخة الأصليةرد0
  • تثبيت