Еволюція індексації даних Блокчейн: від Ноди до послуг повного ланцюга на базі штучного інтелекту

Еволюція технології індексації даних Блокчейн: від Ноди до AI-активованих послуг даних по всьому ланцюгу

1. Вступ

З моменту появи перших децентралізованих додатків (dApp) у 2017 році, екосистема Блокчейн вже бурхливо розвивається, різноманітні dApp розцвітають на різних публічних блокчейнах. Обговорюючи ці децентралізовані додатки, чи замислювалися ми над джерелами різноманітних даних, які вони використовують?

У 2024 році штучний інтелект і Web3 стали гарячими темами. У сфері ШІ дані є життєвою основою для зростання та еволюції інтелектуальних систем. Так само, як рослинам потрібне сонячне світло та волога для того, щоб вони могли міцно рости, системам ШІ також потрібні величезні обсяги даних, щоб постійно "вчитися" та "мислити". Без підтримки даних жоден навіть найтонший алгоритм ШІ не зможе проявити свій потенціал і ефективність.

У цьому документі буде детально розглянуто еволюцію індексації даних Блокчейн у процесі розвитку галузі з точки зору доступності даних, а також проведено порівняльний аналіз традиційних протоколів індексації даних і нових протоколів сервісу даних Блокчейн в аспекті архітектури даних та продуктів, з особливою увагою до інновацій, що виникають у нових протоколах, поєднаних з технологією ШІ.

2. Складність та простота індексації даних: від нод Блокчейн до бази даних усього ланцюга

2.1 Джерело даних: Блокчейн Нода

Суть Блокчейн полягає в децентралізованому розподіленому реєстрі. Ноди Блокчейн є основою всієї мережі, відповідальні за запис, зберігання та розповсюдження всіх даних транзакцій на ланцюзі. Кожна нода зберігає повну копію даних Блокчейн, щоб підтримувати децентралізовану характеристику мережі. Однак для звичайних користувачів створення та обслуговування ноди Блокчейн є непростим завданням, оскільки воно вимагає професійних знань і стикається з високими витратами на апаратуру та пропускну здатність. Водночас можливості запиту звичайних нод обмежені, що ускладнює задоволення потреб розробників щодо формату даних. Тому, хоча теоретично кожен може запустити ноду, на практиці користувачі більш схильні покладатися на послуги третіх сторін.

Щоб вирішити цю проблему, RPC( постачальник віддалених процедурних викликів ) з'явився на світ. Ці постачальники послуг несуть витрати та управління нодами, надаючи користувачам доступ до даних через RPC-інтерфейси. Це дозволяє користувачам легко отримувати дані Блокчейн без необхідності створювати власні ноди. Хоча загальні RPC-інтерфейси безкоштовні, вони мають обмеження швидкості, що може вплинути на досвід користувачів dApp. Приватні RPC-інтерфейси мають кращу продуктивність, але для складних запитів все ще виявляються неефективними, а також мають погану масштабованість і кросмережеву сумісність. Незважаючи на це, стандартизовані API-інтерфейси постачальників нод знизили бар'єри для доступу користувачів до даних на ланцюгу, закладаючи основу для подальшого аналізу даних та застосувань.

2.2 Аналіз даних: від сирих даних до корисних даних

Дані, отримані з ноди Блокчейн, зазвичай є зашифрованими та закодованими сирцевими даними. Хоча ці дані забезпечують цілісність і безпеку Блокчейн, вони також ускладнюють розшифровку даних. Для звичайних користувачів або розробників безпосередня обробка цих сирцевих даних потребує значних технічних знань та обчислювальних ресурсів.

У цьому контексті процес аналізу даних стає особливо важливим. Перетворюючи складні сирі дані в більш зрозумілий та зручний для роботи формат, користувачі можуть більш інтуїтивно використовувати ці дані. Якість аналізу даних безпосередньо впливає на ефективність та результативність застосування даних Блокчейн, є ключовим етапом у всьому процесі індексації даних.

2.3 Еволюція індексаторів даних

Зі збільшенням обсягу даних Блокчейн зростає попит на індексатори даних. Індексатори відіграють ключову роль в організації даних на ланцюгу та їх відправці до бази даних для запитів. Принцип роботи індексатора полягає в індексації даних Блокчейн і наданні даних у будь-який час за допомогою мов запитів, подібних до SQL (, таких як GraphQL API ). Надання єдиного інтерфейсу запиту даних дозволяє розробникам швидко і точно отримувати потрібну інформацію, значно спрощуючи процес.

Різні типи індексаторів використовують різні способи оптимізації пошуку даних:

  1. Повний нодовий індексатор: безпосередньо витягує дані з повного Блокчейн-нод, забезпечуючи їх повноту та точність, але вимагає великої пам'яті та обчислювальної потужності.

  2. Легкий індексатор: залежить від повних нод для отримання конкретних даних на вимогу, зменшуючи вимоги до зберігання, але може збільшити час запиту.

  3. Спеціалізований індексатор: оптимізований для певних типів даних або певного блокчейну, таких як дані NFT або DeFi транзакції.

  4. Агент зведення: витягує дані з кількох Блокчейн та джерел (, включаючи поза ланцюгова інформація ), надає єдиний інтерфейс запитів, що особливо корисно для багатоланцюгових dApp.

Наразі, вимоги до зберігання архівних Нод Ethereum в різних клієнтах коливаються від 3TB до 13.5TB і продовжують зростати з ростом Блокчейн. З огляду на таку величезну кількість даних, основні протоколи індексації підтримують не лише багатоланцюговий індекс, але й розробили рамки для аналізу даних, адаптовані до потреб різних застосувань.

У порівнянні з традиційними RPC-інтерфейсами, індексатори значно підвищують ефективність індексації та запиту даних. Вони можуть ефективно індексувати величезні обсяги даних, підтримують швидкі складні запити, легко фільтрують та аналізують дані. Деякі індексатори також підтримують агрегацію кількох джерел даних з блокчейнів, уникаючи проблеми з необхідністю розгортання кількох API для мульти-ланцюгових dApp. Завдяки розподіленій роботі, індексатори забезпечують більшу безпеку та продуктивність, зменшуючи ризики перерви, які можуть бути викликані централізованими RPC-постачальниками.

Індексатор дозволяє користувачам без необхідності обробки складних підлеглих даних безпосередньо отримувати потрібну інформацію через попередньо визначену мову запитів. Цей механізм значно підвищує ефективність та надійність пошуку даних, що є важливим нововведенням у сфері доступу до даних Блокчейн.

Читання, індексація до аналізу, короткий опис сектору індексації даних Web3

2.4 Повна ланцюгова база даних: вирівнювання за пріоритетом потоку

Використання індексних нод для запиту даних часто означає, що API стає єдиним каналом для обробки даних на блокчейні. Однак, коли проекти переходять до етапу розширення, зазвичай потрібні більш гнучкі джерела даних, які стандартизовані API важко забезпечити. З ускладненням вимог застосування первинні індексатори даних та їх стандартизовані формати індексації поступово не можуть задовольнити дедалі різноманітніші запити, такі як пошук, міжланцюговий доступ або відображення даних поза ланцюгом.

У сучасній архітектурі даних, метод "пріоритету потоку" став рішенням для подолання обмежень традиційної пакетної обробки, що дозволяє реалізувати миттєве захоплення, обробку та аналіз даних. Ця зміна парадигми дозволяє організаціям негайно реагувати на вхідні дані, що дозволяє практично в реальному часі отримувати інсайти та ухвалювати рішення. Аналогічно, розвиток постачальників послуг даних блокчейн також рухається у напрямку створення потоків даних блокчейн. Традиційні постачальники індексування випускають продукти для отримання реальних даних блокчейн у форматі потоку, такі як реальне озеро даних на основі потоку.

Ці послуги спрямовані на задоволення потреб у реальному аналізі транзакцій Блокчейн та забезпеченні більш повних можливостей для запитів. Як "потік переваги" архітектура, знижуючи затримки і підвищуючи чутливість, інноваційно змінює спосіб обробки та споживання даних у традиційних каналах даних, ці постачальники даних Блокчейн також сподіваються підтримати розвиток більше застосунків та допомогти в аналізі даних на ланцюгу за рахунок більш просунутих і зрілих джерел даних.

Перепризначення викликів даних на блокчейні з точки зору сучасних дата-каналів дозволяє нам подивитися на управління, зберігання та надання даних на блокчейні з нової перспективи. Коли ми починаємо розглядати індексатори, такі як Subgraph і Ethereum ETL, як потоки даних в дата-каналі, а не як кінцеві виходи, можна уявити світ, в якому можна налаштувати високопродуктивні набори даних під будь-який бізнес-кейс.

Читання, індексація до аналізу, короткий опис сектора індексації даних Web3

3. AI + База даних? Глибоке порівняння трьох основних протоколів індексації даних

3.1 Граф

Мережа The Graph реалізує мульти-ланцюгові послуги індексації та запиту даних через децентралізовану мережу нод, що полегшує розробникам індексацію даних блокчейну та створення децентралізованих додатків. Основні моделі продуктів включають ринок виконання запитів даних та ринок кешування індексації даних, які в основному обслуговують потреби користувачів у запитах продуктів.

Субграф є основною структурою даних у мережі The Graph, яка визначає, як витягувати та перетворювати дані з Блокчейн у запитуваний формат. Будь-хто може створювати субграфи, кілька додатків можуть повторно використовувати ці субграфи, що підвищує повторюваність даних і ефективність їх використання.

Мережа The Graph складається з чотирьох ключових ролей: індексаторів, кураторів, делегатів і розробників, які разом надають підтримку даним для веб3-додатків. Зокрема, індексатори відповідають за індексацію та обробку запитів, делегати ставлять токени GRT для підтримки роботи індексних вузлів, куратори відповідають за сигналізацію, які підграфи повинні мати пріоритет у індексації, а розробники є основними користувачами, які створюють і подають підграфи в мережу.

Наразі The Graph перейшов на повноцінні децентралізовані послуги хостингу підграфів, різні учасники мають економічні стимули для забезпечення роботи системи. Індексні ноди отримують дохід від зборів за запити та винагороди токенами, делегати та куратори також можуть отримувати частину винагороди.

Продукти The Graph також швидко розвиваються в умовах хвилі ШІ. Інструменти, розроблені Semiotic Labs, такі як AutoAgora, Allocation Optimizer і AgentC, покращують продуктивність екосистеми в кількох аспектах, таких як динамічне ціноутворення, оптимізація розподілу ресурсів та запити природною мовою. Використання цих інструментів дозволяє The Graph поєднати ШІ, що додатково підвищує інтелектуальність системи та зручність для користувачів.

Зчитування, індексація до аналізу, короткий опис траси індексації даних Web3

3.2 Ланцюгова база

Chainbase є мережею даних усіх ланцюгів, яка інтегрує всі дані Блокчейн в одну платформу, що полегшує розробникам створення та обслуговування додатків. Його особливі функції включають:

  • Реальний дата-озеро: надає спеціалізоване реальне дата-озеро для потоків даних Блокчейн, що дозволяє миттєвий доступ до даних.

  • Подвійна архітектура: побудована на основі Eigenlayer AVS виконавчого шару, разом з алгоритмом консенсусу CometBFT формує паралельну подвійна архітектура, що посилює програмованість і комбінованість міжланцюгових даних.

  • Інноваційний стандарт формату даних: введення стандарту формату даних "manuscripts", оптимізує структуризацію та використання даних у криптоіндустрії.

  • Модель криптосвіту: поєднуючи технологію AI-моделей, створено AI-модель, яка здатна розуміти, прогнозувати Блокчейн-транзакції та взаємодіяти з ними. Наразі випущено базову версію моделі Theia для публічного використання.

Модель AI Chainbase Theia є ключовою особливістю, що відрізняє її від інших протоколів даних. Theia базується на моделі DORA від NVIDIA, поєднуючи дані на ланцюгу та поза ним, а також просторово-часові активності, вивчає та аналізує крипто-моделі, реагує через причинно-наслідкове мислення, глибоко досліджує потенційну цінність та закономірності даних на ланцюгу, щоб надати користувачам більш інтелектуальні послуги з даними.

Читання, індексація до аналізу, короткий опис сектора індексації даних Web3

3.3 Простір і час

Space and Time (SxT) прагне створити перевірний обчислювальний рівень, розширюючи нульові знання на децентралізованих сховищах даних, щоб забезпечити надійну обробку даних для смарт-контрактів, великих мовних моделей та підприємств.

У сфері індексації даних та верифікації Space and Time впровадив інноваційну технологію Proof of SQL. Це технологія нульового знання, яка гарантує, що SQL-запити, виконувані на децентралізованому сховищі даних, є незмінними та перевіреними. Під час запиту Proof of SQL генерує криптографічне підтвердження, яке перевіряє цілісність та точність результатів запиту. Цей підхід змінює ресурсні витрати на повторну індексацію однакових даних кількома Нодами в рамках традиційних механізмів консенсусу, покращуючи загальну продуктивність системи.

SxT тісно співпрацює з інноваційною лабораторією AI Microsoft, прискорюючи розробку генеративних AI інструментів, що полегшують користувачам обробку даних блокчейну за допомогою природної мови. У Space and Time Studio користувачі можуть вводити запити природною мовою, AI автоматично перетворює їх у SQL та виконує запити, представляючи користувачеві необхідний кінцевий результат.

Зчитування, індексація до аналізу, короткий опис сектора індексації даних Web3

Висновки та перспективи

Блокчейн даних індексації технології від початкових джерел даних нод, через розвиток解析 даних і індексаторів, зрештою еволюціонувала в AI-обладнане повноцінне сервісне обслуговування даних, пройшовши поступовий процес вдосконалення. Ці технології, що постійно еволюціонують, не лише підвищили ефективність та точність доступу до даних, але й принесли користувачам безпрецедентний інтелектуальний досвід.

Заглядаючи у майбутнє, з розвитком нових технологій, таких як AI технології та нульові знання, послуги даних Блокчейн стануть ще більш інтелектуальними та безпечними. У нас є підстави вірити, що послуги даних Блокчейн у майбутньому продовжать відігравати важливу роль як інфраструктура, надаючи потужну підтримку для прогресу та інновацій у галузі.

![Читання, індексація до аналізу, короткий огляд конкуренції в індексації даних Web3](https://

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 2
  • Репост
  • Поділіться
Прокоментувати
0/400
rekt_but_resilientvip
· 10год тому
Знову прийшов AI, який читає статті
Переглянути оригіналвідповісти на0
NotSatoshivip
· 13год тому
Ця хвиля ШІ обіцяє цікаве шоу.
Переглянути оригіналвідповісти на0
  • Закріпити