Важность данных Блокчейн и эволюция методов их поиска

Данные являются核心 Блокчейн технологии, предоставляя основу для разработки децентрализованных приложений (dApp). Хотя в настоящее время большинство обсуждений сосредоточено на доступности данных (DA), доступность данных также важна, но часто игнорируется.

В эпоху модульного Блокчейн решения DA стали неотъемлемой частью. Они обеспечивают доступ всех участников к данным транзакций, что позволяет осуществлять верификацию в реальном времени и поддерживать целостность сети. Однако уровень DA больше похож на рекламный щит, чем на базу данных, что означает, что данные не будут храниться бесконечно, а со временем будут удалены.

В сравнении, доступность данных сосредотачивается на способности извлекать исторические данные, что имеет решающее значение для разработки dApp и проведения анализа Блокчейн. Несмотря на то, что обсуждение этого вопроса менее активно, доступность данных столь же важна, как и их доступность. Оба аспекта играют разные, но взаимодополняющие роли в экосистеме Блокчейн, и комплексный подход к управлению данными должен одновременно решать обе эти проблемы, чтобы поддерживать мощные и эффективные Блокчейн-приложения.

Традиционный способ поиска данных в Блокчейне

Блокчейн с момента своего появления полностью изменил инфраструктуру, способствуя созданию dApp в таких областях, как игры, финансы и социальные сети. Однако создание этих dApp требует доступа к большому объему данных Блокчейн, что является как трудным, так и дорогим.

Для разработчиков dApp одним из вариантов является размещение и запуск собственного архивного RPC-узла. Эти узлы изначально хранят все исторические данные блокчейна, что позволяет полностью получить доступ к данным. Однако содержание архивного узла дорогостоящее, возможности запросов ограничены, и данные нельзя запрашивать в формате, необходимом разработчикам. Хотя запуск менее дорогих узлов является вариантом, возможности извлечения данных у этих узлов ограничены, что может повлиять на работу dApp.

Другой способ заключается в использовании коммерческих провайдеров узлов RPC. Эти провайдеры несут ответственность за стоимость и управление узлами и предоставляют данные через конечные точки RPC. Публичные конечные точки RPC бесплатны, но имеют ограничения по скорости, что может негативно сказаться на пользовательском опыте dApp. Приватные конечные точки RPC обеспечивают лучшую производительность за счет уменьшения загруженности, но даже простые запросы данных требуют значительного объема связи. Это делает их тяжелыми для запросов и неэффективными для сложных запросов данных. Кроме того, приватные конечные точки RPC обычно трудно масштабировать и не обладают совместимостью между различными сетями.

Блокчейн индексатор: лучшие альтернативы

Индексы Блокчейна играют ключевую роль в организации данных на цепочке и их отправке в базу данных для удобства запроса, поэтому их часто называют "Гуглом Блокчейна". Они индексируют данные Блокчейна и используют язык запросов, подобный SQL, (, такой как GraphQL API ), чтобы сделать их доступными в любое время. Индексы предоставляют разработчикам единый интерфейс запросов, позволяя быстро и точно извлекать необходимую информацию с помощью стандартизированного языка запросов, значительно упрощая процесс.

Различные типы индексаторов оптимизируют извлечение данных различными способами:

1. Полный узел-индексатор: запуск полного узла Блокчейн и прямое извлечение данных, гарантируя полную и точную информацию, однако требует больших объемов хранения и вычислительных мощностей.

2. Легковесный индексатор: полагается на полные узлы для получения определенных данных по мере необходимости, снижая требования к хранению, но возможно увеличивая время запроса.

3. Специальные индексаторы: для определенных типов данных или конкретного Блокчейн, могут оптимизировать поиск для конкретных случаев использования, таких как данные NFT или DeFi-транзакции.

4. Аггрегатор индексов: извлечение данных из нескольких блокчейнов и источников, включая оффлайн-информацию, предоставляющий единый интерфейс запросов, особенно полезен для многосетевых dApp.

Только для Ethereum требуется 3 ТБ пространства для хранения, и по мере роста Блокчейна объем данных хранилищ архивных узлов также будет постоянно увеличиваться. Протокол индексирования разворачивает несколько индексаторов, что позволяет эффективно индексировать и быстро запрашивать большие объемы данных, что невозможно реализовать с помощью RPC.

Индексаторы также позволяют выполнять сложные запросы, легко фильтровать данные и извлекать данные для последующего анализа. Некоторые индексаторы могут агрегировать данные из нескольких источников, избегая развертывания нескольких API в многоцепочечных dApp. Распределенные по нескольким узлам, индексаторы обеспечивают повышенную безопасность и производительность, в то время как поставщики RPC могут сталкиваться с перебоями и простоями из-за своей централизованной природы.

В целом, по сравнению с провайдерами RPC-узлов, индексаторы повышают эффективность и надежность извлечения данных, одновременно снижая стоимость развертывания одного узла. Это делает протокол индексаторов Блокчейн предпочтительным для разработчиков dApp.

Пример использования индексатора

Создание dApp требует поиска и чтения данных Блокчейн для работы его сервисов. Это включает в себя любые типы dApp, такие как DeFi, NFT платформы, игры и даже социальные сети, поскольку эти платформы сначала должны читать данные, прежде чем выполнять другие транзакции.

DeFi

Протоколы DeFi требуют различной информации, чтобы предоставить пользователям конкретные цены, ставки, сборы и т.д. Автоматический маркет-мейкер (AMM) нуждается в информации о ценах и ликвидности определенных пулов для расчета ставок свопа, в то время как кредитные протоколы используют коэффициенты использования для определения процентных ставок по займам и коэффициентов ликвидации долгов. Перед расчетом процентных ставок, которые пользователи будут выполнять, необходимо вводить информацию в их dApp.

Игра

GameFi нуждается в быстром индексировании и доступе к данным, чтобы обеспечить пользователям плавный игровой процесс. Только благодаря молниеносному извлечению и выполнению данных игры Web3 могут соперничать с играми Web2 по производительности, что привлечет больше пользователей. Эти игры нуждаются в данных о праве собственности на землю, балансе токенов внутри игры, игровых операциях и т.д. Используя индексатор, они могут лучше обеспечить стабильный поток данных и стабильное время безотказной работы, чтобы гарантировать идеальный игровой опыт.

NFT

Рынок NFT и платформы кредитования нуждаются в индексации данных для доступа к различной информации, такой как метаданные NFT, данные о собственности и передаче, информация о роялти и т.д. Быстрая индексация таких данных может избежать необходимости просматривать каждый NFT по отдельности для поиска данных о собственности или свойствах NFT.

Независимо от того, требуется ли информация о ценах и ликвидности для DeFi автоматических маркет-мейкеров (AMM) или необходимо обновление постов новых пользователей для приложений SocialFi, быстрая выборка данных критически важна для нормальной работы dApp. С помощью индексаторов они могут эффективно и правильно извлекать данные, обеспечивая плавный пользовательский опыт.

Анализ

Индексатор предоставляет способ извлечения определенных данных из исходных Блокчейн данных (, включая события смарт-контрактов в каждом Блоке ). Это открывает возможности для более конкретного анализа данных, что обеспечивает всесторонние аналитические выводы.

Например, протоколы бессрочных сделок могут определить, какие токены имеют большой объем торгов, какие токены будут генерировать сборы, и, таким образом, решить, следует ли включать эти токены в бессрочные контракты на своей платформе. Разработчик DEX может создать панель инструментов для своего продукта, чтобы глубже понять, какие пулы ликвидности имеют наивысшую доходность или наибольшую ликвидность. Также можно создать общую панель инструментов, чтобы разработчики могли свободно и гибко запрашивать любые типы данных для отображения на графиках.

Поскольку доступно несколько Блокчейн-индексаторов, различие между индексными протоколами имеет решающее значение для обеспечения выбора разработчиками наиболее подходящего индексатора для их нужд.

Обзор индексатора Блокчейн

Граф

The Graph — это первый индексирующий протокол, запущенный на Ethereum, который позволяет легко запрашивать ранее труднодоступные данные о транзакциях. Он использует подграфы для определения и фильтрации подмножеств данных, собранных с Блокчейна, например, всех транзакций, связанных с пулом DEX USDC/ETH.

Используя доказательство индексации, индексатор ставит родной токен GRT для услуг индексации и запроса, делегаторы могут выбрать, чтобы ставить свои токены здесь. Кураторы могут получить доступ к высококачественным подграфикам, чтобы помочь индексатору определить, какие подграфы нужно индексировать для получения наилучших сборов за запросы. В процессе перехода к большей децентрализации The Graph в конечном итоге прекратит свои хостинговые услуги и потребует от подграфов обновления на своей сети, одновременно предлагая обновление индексатора.

Инфраструктура позволяет снизить средние затраты на миллион запросов до 40 долларов, что значительно ниже, чем стоимость собственных узлов. Используя файловые источники данных, она также поддерживает параллельное индексирование как ончейн, так и оффчейн данных для эффективного извлечения информации.

Награды индексатора The Graph стабильно росли в течение последних нескольких кварталов. Это связано как с увеличением объема запросов, так и с ростом цен на токены, поскольку они планируют интеграцию запросов с помощью искусственного интеллекта в будущем.

Подкальмар

Subsquid — это одноранговый, горизонтально масштабируемый децентрализованный дата-озеро, которое эффективно агрегирует большое количество ончейн и оффчейн данных и защищает их с помощью нулевых доказательств. Как децентрализованная сеть рабочих узлов, каждый узел отвечает за хранение данных из определенного подмножества блоков, ускоряя процесс извлечения данных через быструю идентификацию узлов, хранящих необходимые данные.

Subsquid также поддерживает индексацию в реальном времени, позволяя индексировать данные до окончательного подтверждения блока. Он также поддерживает хранение данных в формате, выбранном разработчиком, что упрощает анализ с помощью таких инструментов, как BigQuery, Parquet или CSV. Кроме того, подграфы могут быть развернуты в сети Subsquid без необходимости миграции на Squid SDK, что позволяет развертывание без кода.

Несмотря на то что проект все еще находится на стадии тестовой сети, Subsquid уже добился впечатляющих статистических данных, имея более 80 000 пользователей тестовой сети, развернув более 60 000 индексаторов Squid и более 20 000 проверенных разработчиков в сети. Недавно, 3 июня, Subsquid запустил основную сеть своего дата-озера.

Помимо индексации, дата-озеро Subsquid Network также может заменить RPC в таких случаях, как анализ, ZK/TEE сопроцессоры, AI-агенты и оракулы.

Подзапрос

SubQuery — это децентрализованная сеть инфраструктуры промежуточного программного обеспечения, предоставляющая услуги RPC и индексирования данных. Изначально она поддерживала сети Polkadot и Substrate, теперь же расширилась до более чем 200 цепочек. Ее работа аналогична The Graph, использующему индексные доказательства, где индексаторы индексируют данные и предоставляют запросы на получение данных, а делегаторы ставят свои доли в пользу индексаторов. Однако она вводит потребителей для подачи заказов на покупку, чтобы гарантировать доход индексаторов, а не управляющих.

Он введет узлы данных SubQuery с поддержкой шардирования, чтобы предотвратить постоянную синхронизацию новых данных между каждым узлом, тем самым оптимизируя эффективность запросов и продвигаясь к большей децентрализации. Пользователи могут выбрать оплату вычислительных расходов в размере около 1 SQT токена за каждые 1000 запросов или установить пользовательские сборы для индексаторов через протокол.

Несмотря на то, что SubQuery выпустила свой токен только в начале этого года, вознаграждения для узлов и делегатов также увеличились в долларовом эквиваленте, что также свидетельствует о росте количества запросов, предоставляемых на их платформе. С момента TGE общее количество ставленных SQT увеличилось с 6 миллионов до 125 миллионов, подчеркивая рост участия в их сети.

Ковалентный

Covalent является децентрализованной сетью индексов, созданной производителями образцов блоков (BSP) сетевыми узлами, которые создают копии данных блокчейна с помощью пакетного экспорта и публикуют доказательства на блокчейне Covalent L1. Эти данные затем уточняются производителями результатов блоков (BRP) узлами в соответствии с установленными правилами, отбирая данные, соответствующие требованиям.

С помощью единого API разработчики могут легко извлекать соответствующие данные Блокчейн в一致ом формате запросов и ответов, не требуя написания сложных пользовательских запросов для доступа к данным. Для извлечения этих преднастроенных наборов данных от сетевых операторов можно использовать токены CQT, которые обрабатываются на Moonbeam в качестве средства оплаты.

Награды Covalent, похоже, имеют общее тенденцию к росту с первого квартала 2023 года до первого квартала 2024 года, частично из-за роста цены токена Covalent CQT.

Важные моменты при выборе индексатора

Настраиваемость данных

Некоторые индексаторы (, такие как Covalent ), являются универсальными индексаторами и предоставляют стандартные преднастроенные наборы данных только через API. Хотя они могут быть быстрыми, они не обеспечивают гибкости для разработчиков, которым нужны пользовательские наборы данных. Используя фреймворк индексаторов, это позволяет производить более кастомизированную обработку данных для удовлетворения специфических потребностей приложения.

Безопасность

Индексы данных должны быть безопасными, иначе dApp, построенные на этих индексах, также могут быть подвержены атакам. Например, если транзакции и баланс кошелька могут быть подвержены манипуляциям.