Wiktoria Pietrak 
Opublikowano: 08.04.2021 
6 minut Rok 2021 rozpoczął się w Senuto z dobrą energią: nowe perspektywy, ambitne plany, rozwój i optymizm. Niestety już w marcu pojawiły się przeszkody, które nie były od nas zależne i które dały nam solidnie… popalić. Niektórzy z Was pewnie się domyślają, o czym mowa. W nocy z wtorku na środę 10 marca spłonęła serwerownia firmy OVH w Strasburgu, a ponieważ nasze dane były przechowywane właśnie na tych serwerach – to pożar dotknął również nas i wszystkich użytkowników Senuto.
O tym nieszczęśliwym wydarzeniu jako pierwszy poinformował na Twitterze Octave Klaba, twórca OVH.
Jak podaje money.pl, ofiarą pożaru padł co piąty adres IP w chmurze OVH, ucierpiało prawie 2 proc. wszystkich francuskich domen z końcówką „.fr”. Sparaliżowanych zostało wiele europejskich – w tym polskich – biznesów i stron www, a nawet rządowa strona Wybrzeża Kości Słoniowej.
Smutna wiadomość z Francji rozeszła się bardzo szybko po naszym warszawskim biurze. Od wczesnych godzin porannych musieliśmy mierzyć się z nie lada kryzysem, którego dokładną skalę trudno było przewidzieć. Pojawiło się pytanie: i co dalej?
Rzeczy, które straciliśmy w pożarze
Sytuacja była dla nas bardzo poważna. Straciliśmy:
- Wszystkie serwery dla Analizy widoczności,
- Serwery dla Bazy słów kluczowych,
- Serwery, na których przeliczamy dane, takie jak statystyki w Analizie widoczności i Monitoringu,
- Jeden serwer MySQL,
- Jeden serwer web – dlatego padła nam nawet strona produktowa!
Nie było to takie proste, żeby postawić nasze narzędzia z powrotem na nogi. W serwerowni OVH, która kompletnie się spaliła, mieliśmy serwery, które odpowiadają za naszą Bazę słów kluczowych i Analizę widoczności – absolutny trzon funkcjonowania Senuto. Można stwierdzić, że Bazę słów, czyli kilkanaście milionów fraz kluczowych, całkowicie straciliśmy w jedną noc. Całe szczęście byliśmy przygotowani na ewentualne przeciwności losu i na samym starcie wdrożyliśmy nasz Disaster Recovery Plan!
Jak długo trwała awaria?
Każdy dział został zaangażowany w pracę nad przywróceniem Senuto do żywych. Chłopaki z działu dev rozpoczęli swoje działania od zorganizowania nowych serwerów. Kolejnym etapem prac było wgranie backupu.
Konfiguracja całej infrastruktury na nowych serwerach nie zajęła aż tak dużo czasu, biorąc pod uwagę fakt, że cały backup był przywracany od zera. Udało nam się skonfigurować 25 nowych serwerów w jeden dzień! Dodatkowo indeksowanie Bazy słów kluczowych również zmieściło się w określonym przez nas czasie. Monitoring na szczęście praktycznie nie ucierpiał – o tyle mniej problemu dla nas.
Niestety moduł Analiza widoczności nie był w stanie się podnieść po 24 godzinach, a jego „rehabilitacja” trwała stosunkowo najdłużej. Zespół dev wciąż pracował nad przywróceniem bazy storage’owej – mieliśmy 5TB danych do przywrócenia (dla porównania: na dysku o takiej pojemności zmieściłoby się ok. 85 dwugodzinnych filmów w Full HD). Najważniejsze dla nas było uruchomienie Senuto, nawet jeśli dane będą niepełne.
Większość funkcji aplikacji zaczęła działać po dwóch dniach, ale wciąż walczyliśmy z niektórymi zakamarkami w Senuto. Nie wszystko było takie proste, jak mogłoby się wydawać na samym początku. Aktualnie możemy się pochwalić, że doszliśmy do siebie. Strona produktowa została przywrócona po jednym dniu, a appka działa z pełnią mocy. Mimo pozytywnego finału ten gorący czas utkwi w naszej pamięci na długo!
“Halo, dzień dobry? Tak, spłonęła nam appka”
Prace techniczne nad funkcjonowaniem aplikacji, to jedna rzecz. Czymś zupełnie innym było zajęcie się sytuacją od strony wizerunkowej i komunikacji z klientami.
“Appka spłonęła” – taką informację otrzymał zespół Customer Success od naszego CEO. Każdy członek tego zespołu był mocno przejęty sytuacją. Bo jak tu powiedzieć klientom, że dostęp do naszego narzędzia będzie, lekko mówiąc, utrudniony w przeciągu kolejnych dni roboczych i to z tak abstrakcyjnego powodu, jak pożar serwerowni?
W tamtym momencie najważniejsi byli klienci, dlatego zareagowaliśmy bez zwlekania. Postawiliśmy na szczerość. Poinformowaliśmy każdego użytkownika appki o katastrofie i o tym, jak długo będziemy stawać na nogi – choć na początku nie było to jasne i niestety wszyscy musieli pogodzić się z pewną dozą niepewności.
Skorzystaliśmy ze wszystkich kanałów komunikacji: puściliśmy mailing, wstawiliśmy post na Facebooku, Instagramie i Linkedinie. W normalnej sytuacji dodatkowo pokazalibyśmy wewnętrzny komunikat w appce i na stronie, ale cóż, appka i strona chwilowo leżały zagrzebane w popiołach gdzieś we Francji.
Najważniejsze, z punktu widzenia obsługi klienta, było zadbanie o komfort naszych klientów i o to, by nie czuli się zdezorientowani oraz pozostawieni sami sobie. W tworzeniu komunikatów oczywiście pomagał dział marketingu. Cała ta kryzysowa akcja pokazała nam, jaką moc może mieć praca zespołowa!
Życie po pożarze
Każdy kolejny dzień po pożarze był wyzwaniem dla całego zespołu Senuto. Wszyscy walczyliśmy o to, żeby wrócić do stanu sprzed wypadku. Okazało się, że nasi klienci są bardzo wyrozumiali. Otrzymaliśmy od Was tonę pozytywnej energii, która napędzała nas do pracy.
Z tego miejsca chcielibyśmy bardzo podziękować wszystkim, którzy nas wspierali w tych ciężkich chwilach. Bez Was Senuto byłoby niepełne!
Aby zrekompensować przerwę w dostępie do Senuto, która finalnie trwała 2 dni, przedłużyliśmy o ten okres wszystkie płatne konta naszych klientów. Ponadto, jeśli ktoś miał konto testowe, to oczywiście włączyliśmy je ponownie.
Pożar serwerowni OVH postawił nas w zupełnie nowej sytuacji i nauczył, czym jest kryzys w biznesie. Poradziliśmy sobie z nim i choć to, co się wydarzyło, było poza naszą kontrolą, wyciągnęliśmy wnioski na przyszłość. Aktualnie pracujemy nad nowym, ulepszonym podejściem do Disaster Recovery Plan. Mamy nadzieje, że nie będzie potrzeby go wdrażać, lecz jeśli tak, to będziemy przygotowani lepiej niż kiedykolwiek!
