Святий Грааль Crypto AI: передові дослідження децентралізованого навчання
У всьому ціннісному ланцюзі ШІ процес навчання моделей є найбільш ресурсомістким і має найвищий технологічний бар'єр, що безпосередньо визначає межі можливостей моделей і реальні результати застосування. На відміну від легковагового виклику на етапі висновків, процес навчання вимагає безперервних інвестицій у великомасштабні обчислення, складні процеси обробки даних і підтримку інтенсивних алгоритмів оптимізації, є справжньою "важкою промисловістю" для побудови систем ШІ. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цього документа.
Централізоване навчання є найпоширенішим традиційним способом, який виконується єдиним органом в локальному високопродуктивному кластері, охоплюючи весь процес навчання: від апаратного забезпечення, програмного забезпечення нижнього рівня, системи планування кластерів до всіх компонентів навчальної платформи, які координуються єдиною системою управління. Така глибока співпраця архітектури забезпечує максимальну ефективність у спільному використанні пам'яті, синхронізації градієнтів та механізмах відмовостійкості, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але водночас існують проблеми монополії даних, бар'єрів ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним методом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одному комп’ютері. Незважаючи на те, що фізично воно має "розподілені" характеристики, в цілому все ще контролюється централізованими установами, які виконують планування та синхронізацію, зазвичай працюючи в середовищі високошвидкісних локальних мереж, через технологію високошвидкісної міжмашинної комунікації NVLink, основний вузол єдиного координує виконання підзадач. Основні методи включають:
Паралельність даних: кожен вузол навчає різні дані, параметри спільні, необхідно узгодити ваги моделі
Модельна паралельність: розгортання різних частин моделі на різних вузлах для досягнення сильної масштабованості
Паралельне виконання: поетапне послідовне виконання, підвищення пропускної спроможності
Тензорне паралельне обчислення: уточнене розподілення матричних обчислень, підвищення паралельної грануляції
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же начальник дистанційно керує співробітниками кількох "офісів" для виконання завдання. Наразі практично всі основні великі моделі (GPT-4, Gemini, LLaMA тощо ) навчаються саме цим способом.
Децентралізація тренування означає більш відкритий та стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що: кілька неперевірених вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), які спільно виконують завдання з тренування без центрального координатора, зазвичай через протокол, що керує розподілом завдань та співпрацею, а також за допомогою механізму криптостимулювання для забезпечення добросовісності внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність пристроїв та складнощі розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
Вузьке місце в ефективності зв'язку: нестабільний мережевий зв'язок, чітко виражене вузьке місце в синхронізації градієнтів
Відсутність надійного виконання: відсутність надійного середовища виконання ускладнює перевірку того, чи дійсно вузли беруть участь у розрахунках
Відсутність єдиної координації: немає центрального диспетчера, складні механізми розподілу завдань та відкату помилок
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справді життєздатна великомасштабна децентралізація тренування" все ще є системним інженерним викликом, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделей та інші аспекти, але чи можливо "спільно ефективно + стимулювати чесність + отримати правильний результат" все ще перебуває на ранній стадії прототипування.
Федеративне навчання, як перехідна форма між розподіленістю та децентралізацією, підкреслює збереження даних локально та централізовану агрегацію параметрів моделі, що підходить для сцен, що акцентують увагу на дотриманні конфіденційності, таких як медична сфера, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та локальну кооперативну здатність, одночасно володіючи перевагами розподілених даних децентралізованого навчання, але все ще покладається на надійного координатора і не має повністю відкритих і антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" в сценах дотримання конфіденційності, з відносно м'якими вимогами до навчальних завдань, структури довіри та механізмів зв'язку, що робить його більш підходящим для промислових перехідних архітектур.
![Святий Грааль Crypto AI: Децентралізація навчання на передовій])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких ситуаціях, через складну структуру завдання, надзвичайно високі потреби в ресурсах або великі труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від високої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективне розподіл і синхронізацію в відкритій мережі; завдання з сильною конфіденційністю даних і обмеженнями суверенітету ), такі як медицина, фінанси, конфіденційні дані (, обмежені юридичними вимогами та етичними обмеженнями, не можуть бути відкрито поділені; а завдання ) без основи для стимулювання співпраці, такі як закриті моделі компаній або внутрішнє навчання прототипів (, не мають зовнішнього мотиваційного імпульсу. Ці межі разом складають реальні обмеження нинішнього децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, у типах завдань з легкою структурою, що легко паралеляться та можуть бути стимульовані, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: мікронастройкою LoRA, завданнями після навчання з вирівнювання поведінки ), такими як RLHF, DPO (, завданнями з краудсорсингу даних та їхнього маркування, навчанням малих базових моделей з контролем ресурсів, а також сценаріями кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв’язаність і толерантність до гетерогенних обчислювальних потужностей, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протоколи Swarm, розподілені оптимізатори тощо.
![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентралізація тренування класичних проектів аналіз
На сьогодні у передових галузях децентралізованого навчання та федеративного навчання представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, представляючи передові напрямки теоретичних досліджень; в той час як реалізаційні шляхи Gensyn та Flock.io є відносно зрозумілими, уже видно початкові інженерні досягнення. У цій статті буде поетапно проаналізовано основні технології та інженерну архітектуру п’яти проектів, а також подальше дослідження їх відмінностей і взаємодоповнюючих зв’язків у децентралізованій системі AI-навчання.
) Prime Intellect: тренувальні траєкторії, що підлягають перевірці, посилена навчальна кооперативна мережа піонерів
Prime Intellect прагне створити мережу тренування AI без необхідності довіри, що дозволяє кожному брати участь у тренуванні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect прагне побудувати систему децентралізованого тренування AI з трьома основними модулями: PRIME-RL + TOPLOC + SHARDCAST, яка має верифікацію, відкритість та повноцінний механізм мотивації.
01、Структура та ключова вартість модуля протоколу Prime Intellect
![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# 02, Детальний опис ключових механізмів тренування Prime Intellect
#PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з розв'язуванням
PRIME-RL є рамкою моделювання завдань та виконання, створеною компанією Prime Intellect для декентралізованих навчальних сценаріїв, спеціально розробленою для гетерогенних мереж і асинхронної участі. Вона використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно декомпонуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу самостійно виконувати цикли завдань локально, а також співпрацювати з механізмами верифікації та агрегації через стандартизовані інтерфейси. На відміну від традиційних процесів супервізійного навчання, PRIME-RL більше підходить для реалізації еластичного навчання в умовах безцентрового керування, що знижує складність системи та закладає основу для підтримки паралельного виконання багатозадачності та еволюції стратегії.
#TOPLOC:Легка перевірка поведінки тренування
TOPLOC###Достовірне спостереження & Перевірка політики-локальності( є основним механізмом перевірки навчання, запропонованим Prime Intellect, що використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всього моделі, а завершує верифікацію легковагової структури, аналізуючи локальні послідовності "спостереження↔оновлення стратегії". Вперше він перетворює траєкторії поведінки під час навчання на верифіковані об'єкти, що є ключовим нововведенням для реалізації розподілу винагороди за навчання без довіри, забезпечуючи здійсненний шлях до створення аудиторних та стимулюючих децентралізованих мереж спільного навчання.
#SHARDCAST:Асинхронна агрегація ваг та протокол поширення
SHARDCAST - це протокол вагового поширення та агрегації, розроблений Prime Intellect, оптимізований спеціально для асинхронних, обмежених за пропускною здатністю та з мінливим станом вузлів реальних мережевих середовищ. Він поєднує механізм поширення gossip та локальну синхронізацію, що дозволяє кільком вузлам безперервно подавати часткові оновлення в умовах розбіжності, забезпечуючи прогресивну конвергенцію ваг та багатоверсійну еволюцію. У порівнянні з централізованими або синхронізованими методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до помилок децентралізованого навчання, що є основою для створення стабільного консенсусу ваг та безперервних ітерацій навчання.
OpenDiLoCo є комунікаційною оптимізаційною рамкою, незалежно реалізованою та з відкритим вихідним кодом командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Вона спеціально розроблена для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, що часто виникають під час децентралізованого навчання. Її архітектура базується на паралельній обробці даних, шляхом побудови розріджених топологій, таких як кільце, розширювач, малий світ, уникаючи високих витрат на комунікацію, пов'язаних із глобальною синхронізацією, та покладаючись лише на сусідні локальні вузли для спільного навчання моделі. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі у глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
#PCCL:Бібліотека узгодженої комунікації
PCCL)Prime Collective Communication Library( є легковаговою бібліотекою зв'язку, створеною Prime Intellect для децентралізованого середовища навчання ШІ, яка має на меті вирішити проблеми адаптації традиційних бібліотек зв'язку), таких як NCCL, Gloo( в гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з точки зупинки, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, який підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Це значно підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, прокладаючи "остання миля" комунікаційної інфраструктури для створення справжньої відкритої, без довіри мережі спільного навчання.
)# 03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання, яка не вимагає дозволу, є перевірною та має економічний механізм стимулювання, що дозволяє будь-кому брати участь у завданнях і отримувати винагороди на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначити навчальне середовище, початкову модель, функцію винагороди та критерії валідації
Тренувальний вузол: виконання локального тренування, подання оновлень ваг і спостереження за траєкторіями
Вузли перевірки: використовують механізм TOPLOC для підтвердження достовірності навчальної поведінки та беруть участь у розрахунку винагороди та агрегації стратегій
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та виплату винагород, що формує замкнуте коло заохочення навколо "реальної навчальної поведінки".
![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 04、INTELLECT-2:Перше перевірене рішення для децентралізованого навчання моделей.
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі модель глибокого навчання, створена шляхом асинхронного, без довіри доцентралізованого співробітництва вузлів, з параметрами обсягом 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах,
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
17 лайків
Нагородити
17
4
Репост
Поділіться
Прокоментувати
0/400
GasFeeVictim
· 08-13 18:22
Ще один проект, що займається шахрайством.
Переглянути оригіналвідповісти на0
TokenRationEater
· 08-13 05:29
Обчислювальна потужність майже виснажила мою нову 3090.
Переглянути оригіналвідповісти на0
SigmaBrain
· 08-13 05:05
шелковистий і цінні інсайти
Переглянути оригіналвідповісти на0
just_another_fish
· 08-13 05:02
Ми завжди будемо експлуатуватися технологічними гігантами.
Децентралізація AI тренування: від Prime Intellect до INTELLECT-2
Святий Грааль Crypto AI: передові дослідження децентралізованого навчання
У всьому ціннісному ланцюзі ШІ процес навчання моделей є найбільш ресурсомістким і має найвищий технологічний бар'єр, що безпосередньо визначає межі можливостей моделей і реальні результати застосування. На відміну від легковагового виклику на етапі висновків, процес навчання вимагає безперервних інвестицій у великомасштабні обчислення, складні процеси обробки даних і підтримку інтенсивних алгоритмів оптимізації, є справжньою "важкою промисловістю" для побудови систем ШІ. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цього документа.
Централізоване навчання є найпоширенішим традиційним способом, який виконується єдиним органом в локальному високопродуктивному кластері, охоплюючи весь процес навчання: від апаратного забезпечення, програмного забезпечення нижнього рівня, системи планування кластерів до всіх компонентів навчальної платформи, які координуються єдиною системою управління. Така глибока співпраця архітектури забезпечує максимальну ефективність у спільному використанні пам'яті, синхронізації градієнтів та механізмах відмовостійкості, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але водночас існують проблеми монополії даних, бар'єрів ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним методом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одному комп’ютері. Незважаючи на те, що фізично воно має "розподілені" характеристики, в цілому все ще контролюється централізованими установами, які виконують планування та синхронізацію, зазвичай працюючи в середовищі високошвидкісних локальних мереж, через технологію високошвидкісної міжмашинної комунікації NVLink, основний вузол єдиного координує виконання підзадач. Основні методи включають:
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же начальник дистанційно керує співробітниками кількох "офісів" для виконання завдання. Наразі практично всі основні великі моделі (GPT-4, Gemini, LLaMA тощо ) навчаються саме цим способом.
Децентралізація тренування означає більш відкритий та стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що: кілька неперевірених вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), які спільно виконують завдання з тренування без центрального координатора, зазвичай через протокол, що керує розподілом завдань та співпрацею, а також за допомогою механізму криптостимулювання для забезпечення добросовісності внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справді життєздатна великомасштабна децентралізація тренування" все ще є системним інженерним викликом, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделей та інші аспекти, але чи можливо "спільно ефективно + стимулювати чесність + отримати правильний результат" все ще перебуває на ранній стадії прототипування.
Федеративне навчання, як перехідна форма між розподіленістю та децентралізацією, підкреслює збереження даних локально та централізовану агрегацію параметрів моделі, що підходить для сцен, що акцентують увагу на дотриманні конфіденційності, таких як медична сфера, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та локальну кооперативну здатність, одночасно володіючи перевагами розподілених даних децентралізованого навчання, але все ще покладається на надійного координатора і не має повністю відкритих і антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" в сценах дотримання конфіденційності, з відносно м'якими вимогами до навчальних завдань, структури довіри та механізмів зв'язку, що робить його більш підходящим для промислових перехідних архітектур.
![Святий Грааль Crypto AI: Децентралізація навчання на передовій])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких ситуаціях, через складну структуру завдання, надзвичайно високі потреби в ресурсах або великі труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від високої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективне розподіл і синхронізацію в відкритій мережі; завдання з сильною конфіденційністю даних і обмеженнями суверенітету ), такі як медицина, фінанси, конфіденційні дані (, обмежені юридичними вимогами та етичними обмеженнями, не можуть бути відкрито поділені; а завдання ) без основи для стимулювання співпраці, такі як закриті моделі компаній або внутрішнє навчання прототипів (, не мають зовнішнього мотиваційного імпульсу. Ці межі разом складають реальні обмеження нинішнього децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, у типах завдань з легкою структурою, що легко паралеляться та можуть бути стимульовані, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: мікронастройкою LoRA, завданнями після навчання з вирівнювання поведінки ), такими як RLHF, DPO (, завданнями з краудсорсингу даних та їхнього маркування, навчанням малих базових моделей з контролем ресурсів, а також сценаріями кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв’язаність і толерантність до гетерогенних обчислювальних потужностей, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протоколи Swarm, розподілені оптимізатори тощо.
![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентралізація тренування класичних проектів аналіз
На сьогодні у передових галузях децентралізованого навчання та федеративного навчання представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, представляючи передові напрямки теоретичних досліджень; в той час як реалізаційні шляхи Gensyn та Flock.io є відносно зрозумілими, уже видно початкові інженерні досягнення. У цій статті буде поетапно проаналізовано основні технології та інженерну архітектуру п’яти проектів, а також подальше дослідження їх відмінностей і взаємодоповнюючих зв’язків у децентралізованій системі AI-навчання.
) Prime Intellect: тренувальні траєкторії, що підлягають перевірці, посилена навчальна кооперативна мережа піонерів
Prime Intellect прагне створити мережу тренування AI без необхідності довіри, що дозволяє кожному брати участь у тренуванні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect прагне побудувати систему децентралізованого тренування AI з трьома основними модулями: PRIME-RL + TOPLOC + SHARDCAST, яка має верифікацію, відкритість та повноцінний механізм мотивації.
01、Структура та ключова вартість модуля протоколу Prime Intellect
![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# 02, Детальний опис ключових механізмів тренування Prime Intellect
#PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з розв'язуванням
PRIME-RL є рамкою моделювання завдань та виконання, створеною компанією Prime Intellect для декентралізованих навчальних сценаріїв, спеціально розробленою для гетерогенних мереж і асинхронної участі. Вона використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно декомпонуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу самостійно виконувати цикли завдань локально, а також співпрацювати з механізмами верифікації та агрегації через стандартизовані інтерфейси. На відміну від традиційних процесів супервізійного навчання, PRIME-RL більше підходить для реалізації еластичного навчання в умовах безцентрового керування, що знижує складність системи та закладає основу для підтримки паралельного виконання багатозадачності та еволюції стратегії.
#TOPLOC:Легка перевірка поведінки тренування
TOPLOC###Достовірне спостереження & Перевірка політики-локальності( є основним механізмом перевірки навчання, запропонованим Prime Intellect, що використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всього моделі, а завершує верифікацію легковагової структури, аналізуючи локальні послідовності "спостереження↔оновлення стратегії". Вперше він перетворює траєкторії поведінки під час навчання на верифіковані об'єкти, що є ключовим нововведенням для реалізації розподілу винагороди за навчання без довіри, забезпечуючи здійсненний шлях до створення аудиторних та стимулюючих децентралізованих мереж спільного навчання.
#SHARDCAST:Асинхронна агрегація ваг та протокол поширення
SHARDCAST - це протокол вагового поширення та агрегації, розроблений Prime Intellect, оптимізований спеціально для асинхронних, обмежених за пропускною здатністю та з мінливим станом вузлів реальних мережевих середовищ. Він поєднує механізм поширення gossip та локальну синхронізацію, що дозволяє кільком вузлам безперервно подавати часткові оновлення в умовах розбіжності, забезпечуючи прогресивну конвергенцію ваг та багатоверсійну еволюцію. У порівнянні з централізованими або синхронізованими методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до помилок децентралізованого навчання, що є основою для створення стабільного консенсусу ваг та безперервних ітерацій навчання.
#OpenDiLoCo:Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo є комунікаційною оптимізаційною рамкою, незалежно реалізованою та з відкритим вихідним кодом командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Вона спеціально розроблена для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, що часто виникають під час децентралізованого навчання. Її архітектура базується на паралельній обробці даних, шляхом побудови розріджених топологій, таких як кільце, розширювач, малий світ, уникаючи високих витрат на комунікацію, пов'язаних із глобальною синхронізацією, та покладаючись лише на сусідні локальні вузли для спільного навчання моделі. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі у глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
#PCCL:Бібліотека узгодженої комунікації
PCCL)Prime Collective Communication Library( є легковаговою бібліотекою зв'язку, створеною Prime Intellect для децентралізованого середовища навчання ШІ, яка має на меті вирішити проблеми адаптації традиційних бібліотек зв'язку), таких як NCCL, Gloo( в гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з точки зупинки, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, який підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Це значно підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, прокладаючи "остання миля" комунікаційної інфраструктури для створення справжньої відкритої, без довіри мережі спільного навчання.
)# 03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання, яка не вимагає дозволу, є перевірною та має економічний механізм стимулювання, що дозволяє будь-кому брати участь у завданнях і отримувати винагороди на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та виплату винагород, що формує замкнуте коло заохочення навколо "реальної навчальної поведінки".
![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 04、INTELLECT-2:Перше перевірене рішення для децентралізованого навчання моделей.
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі модель глибокого навчання, створена шляхом асинхронного, без довіри доцентралізованого співробітництва вузлів, з параметрами обсягом 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах,