Railway v úterý 21. října zjistil neobvyklou aktivitu v systémech, které ukládají proměnné prostředí zákazníků. Podle prvotního vyšetřování mohl neoprávněný útočník přistoupit k šifrovaným proměnným a u některých získat i jejich dešifrovaný obsah. V proměnných přitom bývají API klíče, přihlašovací údaje k databázím nebo k privátním registrům.

Firma si myslí, že jde o součást série útoků na platformy, jejichž cílem je kompromitace poskytovatelů AI inference. Příslušné poskytovatele upozornila, aby klíče proaktivně zneplatnili. Zasažena by podle odhadu měla být jen část uživatelů, přesto Railway doporučuje opatření všem.

Co Railway radí:

• okamžitě změnit všechny proměnné prostředí a API klíče uložené v Railway
• změnit přihlašovací údaje k privátním registrům
• zkontrolovat logy služeb, zda v nich není neobvyklá aktivita

Railway k tomu zveřejnil návody pro konkrétní služby. Najdete mezi nimi kontrolu neobvyklého využití u OpenAI, Anthropicu, OpenRouteru, Grok, Stripe, GitHub, AWS a GCP a rotaci přihlašovacích údajů k PostgreSQL, MySQL, MongoDB a Redis.

Dopady na provoz:

• Railway kvůli incidentu pozastavil buildy a nasazování a po určitou dobu nefungovaly dashboard, API a CLI.
• Zneplatněné jsou všechny API tokeny a Project Tokeny vytvořené před incidentem. Kdo používá veřejné API nebo CLI, musí si vytvořit nový token.
• Railway rotoval přihlašovací údaje k úložištím (buckety) a části uživatelů zneplatnil OAuth relace, takže se museli znovu přihlásit.

Stav obnovy (podle stavové stránky z 22. října, 18:49 UTC): Buildy a nasazování pro plány Pro a Enterprise běží normálně. Pro plán Hobby je Railway zatím neobnovil, Free a Trial mají následovat až po něm. API je plně obnoveno. V regionu US West se na čas objevovaly neúspěšná nasazení po dokončeném buildu, to už Railway opravil. Uživatelům, jejichž nasazení takto selhalo, doporučuje službu znovu nasadit.

Zasažené zákazníky Railway slíbil kontaktovat přímo e-mailem, až potvrdí, kterých účtů se incident týká. Po uzavření incidentu chce zveřejnit kompletní zprávu na blogu.

Odkazy: https://blog.railway.com/p/security-disclosure-wednesday-october-21st (oznámení), https://status.railway.com/incident/QH8L8B3E (stav incidentu)