Сбой маршрутизации едва не лишил Solana Mainnet финализации транзакций

По данным CoinDesk, на этой неделе Solana mainnet на короткое время приблизился к утрате финализации транзакций. Причиной стала ошибка маршрутизации у инфраструктурного провайдера Teraswitch: около 28,83% застейканных SOL оказались офлайн. Сеть не остановилась, производство блоков продолжалось, но инцидент вновь показал зависимость валидаторов от небольшого числа поставщиков инфраструктуры. Порог остановки не был пройден, но риск подошёл вплотную. По механике работы Solana при доле офлайн-стейка выше 33,34% сеть прекращает финализировать транзакции. Marinade Finance оценила, что происшествие достигло 86% от этого порога: до потенциальной полной остановки оставалось порядка 20 млн SOL. Пострадали примерно 90 валидаторов, перебои длились около 33 минут. Недополученные награды затронутых валидаторов составили около 333 SOL; ожидается, что компенсация будет покрыта за счёт стейкинга валидаторов по итогам текущей эпохи. Сбой затронул узлы в Европе и Азии и начался на пограничных маршрутизаторах Teraswitch. Ряд площадок в Европе и Азии ошибочно принял неправильно проложенный маршрут за локальный маршрут по умолчанию и присвоил ему приоритет над корректным, тогда как магистральная инфраструктура признала этот путь недействительным. В результате 12 площадок лишились корректных путей пересылки трафика. Среди затронутых локаций названы Лондон, Амстердам, Дублин, Франкфурт, Сингапур и Токио; в Северной Америке аналогичных сбоев не зафиксировано. Teraswitch сообщил, что проблему выявили примерно через 10 минут, а трафик восстановили около 04:16:15 UTC, хотя в ходе работ узел в Майами временно оставался отключён от магистрали. Концентрация стейкинга усилила эффект. Анализ Marinade показывает, что AS20326 контролирует 118,89 млн SOL — более четверти всего застейканного объёма. Во время инцидента примерно 94% этого объёма одновременно оказались офлайн, что стало ключевым фактором быстрого роста риска. Дополнительно около 14,1 млн SOL были офлайн в средах, связанных с Latitude.sh, Limestone, Butterfly Research и Allnodes. В Marinade отметили, что текущие данные не позволяют подтвердить общий источник зависимости для этих отключений — возможно, это совпадение по времени. Marinade также зафиксировала, что 59 валидаторов с совокупными 80,2 млн SOL вернулись в строй в почти одинаковом временном окне восстановления в Амстердаме, Франкфурте и Токио. По оценке компании, эти валидаторы не задействовали автоматический failover и возобновили работу после сходимости маршрутизации. Из 74 валидаторов, по которым Marinade смогла измерить поведение, лишь трое восстановились за счёт резервирования: Laine, Cogent Crypto и Lion3d. Компания отдельно признала и собственные риски централизации: четыре ASN обеспечивают две трети делегированного ею стейка, при этом на один AS395201 приходится 36,94%. Mainnet продолжил работу, тестовые сети пострадали сильнее. Джейкоб Крич (Jacob Creech), вице-президент по технологиям Solana Foundation, сообщил, что из 699 застейканных валидаторов 597 продолжали участвовать в голосовании — около шести седьмых. Затронутые валидаторы восстановились в течение 40 минут, а валидаторы, делегированные в рамках плановой программы фонда, не пострадали. Компания Anza добавила, что в тот же период Solana Devnet временно остановился, но автоматически восстановился после устранения проблем с маршрутизацией. Поскольку Devnet использует то же ПО, что и mainnet, часть разработчиков рассматривает это как признак более высокой устойчивости по сравнению с прежними инцидентами. Последний полный простой Solana mainnet произошёл в феврале 2024 года — тогда перезапуск занял почти пять часов. Текущий эпизод не привёл к полной остановке mainnet, но подчеркнул, что при сохраняющейся централизации инфраструктуры локальные сбои маршрутизации способны быстро перерасти в системные риски. Дополнительно пострадал Pyth. Поскольку Teraswitch размещал два из четырёх NATS-узлов, их потеря временно лишила NATS кворума, из-за чего стал недоступен сервис Router, зависящий от него. Pyth сообщил, что ускорит подключение новых инфраструктурных провайдеров и распределит критические сервисы по независимым доменам отказа.