Solana ледь не втратила фінальність транзакцій через помилку маршрутизації

За даними CoinDesk, у середу вранці мережа Solana на короткий час опинилася майже на межі втрати фінальності транзакцій. Через проблему з конфігурацією маршрутизації у кастодіальному сервісі Teraswitch тимчасово стали недоступними 28,83% застейканих SOL. У Solana підтвердження блоків зупиняється, коли приблизно 33,34% застейканих токенів недосяжні, тож інцидент залишив мережу лише за 4,51 в.п. від порогу зупинки фінальності. За розрахунками Marinade Finance, подія сягнула близько 86% від так званого "порогу зупинки" (stall threshold). Причиною став одиничний збій у маршрутизації. У Teraswitch згодом пояснили, що джерелом стала default-route, згенерована на майданчику в Маямі. Під час поширення маршрут втратив початкові атрибути metric і community, після чого через route reflector в Амстердамі був розповсюджений на вузли в Європі та Азійсько-Тихоокеанському регіоні. Локальний edge-роутер помилково класифікував його як локально згенерований і надав йому вищий пріоритет, ніж штатному виходу, тоді як core-мережа дата-центру визнала маршрут недійсним. У підсумку 12 локацій, зокрема Лондон, Амстердам, Дублін, Франкфурт, Сінгапур і Токіо, тимчасово втратили коректні шляхи форвардингу; Північна Америка не постраждала. Інженерна команда виявила проблему приблизно за 10 хвилин, сервіс відновили о 04:16:15 UTC. Marinade повідомила, що було зачеплено близько 90 валідаторів, які сукупно недоотримали 333 SOL винагород. Аналіз також показав високу концентрацію збою в межах одного автономного системного домену — AS20326. У ньому зосереджено 118,89 млн SOL, або приблизно 27,34% загального стейку мережі, і 94% цього обсягу стали недоступними в той самий період. Це перевищує ліміт делегування Solana Foundation для однієї автономної системи на рівні 25%. Окремо зазначається, що 59 валідаторів із приблизно 80,2 млн SOL відновилися в той самий часовий проміжок в Амстердамі, Франкфурті та Токіо. Це вказує, що ці вузли переважно чекали на повторну конвергенцію маршрутизації, а не перемикалися на альтернативні доступні шляхи. Другий за розміром валідатор Solana, Helius, залишався офлайн повні 33 хвилини. Marinade також звернула увагу на додаткові 14,1 млн SOL, які були офлайн у той самий період у кастодіальних середовищах на кшталт latitude.sh, Limestone, Butterfly Research та Allnodes. За наявними даними це не пояснюється лише маршрутизаційною подією. Висновок Marinade: оцінювання розподіленості лише за "кастодіальною" методологією може занижувати ризик одночасного виходу валідаторів з ладу під час одного збою. Протокол також визнав концентрацію у власній моделі розміщення: дві третини його застейканих токенів сконцентровані в чотирьох автономних системах, при цьому на AS395201 припадає 36,94%. Marinade заявила, що перегляне ліміти концентрації за мережами та дата-центрами і почне розкривати, чи мають валідатори можливості hotswapping та автоматичного failover. Додатково зазначається, що пропущені 333 SOL винагороди очікується компенсувати за рахунок стейку валідаторів після завершення поточної епохи. Водночас, якщо на той момент частка офлайн перевищить одну третину, підтвердження транзакцій для всіх власників SOL зупиниться, і механізму стейкінгу, здатного пом'якшити такі системні наслідки, не існує. Останній повний збій мережі Solana стався у лютому 2024 року — на відновлення роботи тоді пішло майже п'ять годин.