Сеть Solana оказалась в шаге от остановки финализации транзакций из-за ошибки маршрутизации

По данным CoinDesk, утром в среду сеть Solana на короткое время приблизилась к потере финализации транзакций. Причиной стала проблема с конфигурацией маршрутизации у кастодиального сервиса Teraswitch: 28,83% застейканного SOL временно оказались недоступны. В Solana подтверждение блоков останавливается, когда недосягаемыми становятся около 33,34% застейканных токенов, то есть сеть находилась всего в 4,51 п.п. от критического порога. По расчетам Marinade Finance, инцидент достиг примерно 86% от «порога остановки». Сбой был связан с единичной точкой отказа в маршрутизации. В Teraswitch позднее заявили, что проблема началась из-за default route, анонсированного площадкой в Майами. При распространении этот маршрут потерял исходные metric и community-атрибуты и затем через route reflector в Амстердаме разошелся на узлы в Европе и Азиатско-Тихоокеанском регионе. Пограничный маршрутизатор ошибочно классифицировал его как локально сгенерированный и присвоил ему более высокий приоритет, чем штатному выходу, тогда как магистральная сеть дата-центра сочла маршрут некорректным. В результате 12 локаций, включая Лондон, Амстердам, Дублин, Франкфурт, Сингапур и Токио, временно потеряли корректные пути форвардинга; Северная Америка не пострадала. Инженерная команда выявила проблему примерно за 10 минут, восстановление сервиса завершилось в 04:16:15 UTC. Marinade сообщила, что сбой затронул около 90 валидаторов, которые суммарно недополучили 333 SOL вознаграждений. Анализ показал высокую концентрацию инцидента в одном автономном домене — AS20326. В этой системе размещалось 118,89 млн SOL (примерно 27,34% общего стейка сети), при этом 94% этого объема оказались офлайн в тот же период. Показатель превышает лимит делегирования Solana Foundation для одного автономного домена на уровне 25%. Кроме того, 59 валидаторов с примерно 80,2 млн SOL восстановились в тот же временной интервал в Амстердаме, Франкфурте и Токио, что указывает: узлы в основном ждали повторной сходимости маршрутизации, а не переключались на альтернативные доступные пути. Второй по величине валидатор Solana, Helius, оставался офлайн 33 минуты. Marinade также отметила, что дополнительно 14,1 млн SOL были офлайн в тот же период в кастодиальных средах вроде latitude.sh, Limestone, Butterfly Research и Allnodes; имеющихся данных недостаточно, чтобы объяснить это только наблюдаемыми факторами. По оценке протокола, измерение диверсификации лишь по «разрезу» кастодиана может занижать риск одновременного ухода валидаторов в офлайн при одном отказе. В отчете раскрыта и концентрация в собственной модели распределения Marinade: две трети застейканных токенов сосредоточены в четырех автономных системах, при этом на AS395201 приходится 36,94%. Протокол заявил, что пересмотрит лимиты концентрации по сети и дата-центрам и начнет раскрывать информацию о наличии у валидаторов hotswapping и автоматического failover. Недополученные 333 SOL вознаграждений предполагается компенсировать за счет стейков валидаторов после завершения текущей эпохи. При этом если доля офлайн превысит одну треть на тот момент, подтверждение транзакций для всех держателей SOL остановится, а механизма стейкинга, способного смягчить такие системные последствия, не предусмотрено. Последний полный сбой сети Solana произошел в феврале 2024 года — восстановление заняло почти пять часов.