Είναι 3πμ ένα Σάββατο τριημέρου αργίας. Το τηλέφωνό σας χτυπά.
Το κύριο data center σας μόλις έπεσε. Ή ransomware έχει κρυπτογραφήσει τα συστήματά σας. Ή ένας βασικός υπάλληλος με κρίσιμη πρόσβαση είχε ατύχημα. Ή ο κύριος προμηθευτής σας μόλις κήρυξε πτώχευση. Ή ένας σωλήνας έσπασε και πλημμύρισε το server room σας.
Τι συμβαίνει μετά;
Αυτό είναι το τεστ των 3πμ—ένα απλό νοητικό πείραμα που αποκαλύπτει τη διαφορά μεταξύ οργανισμών που είναι πραγματικά ανθεκτικοί και αυτών που ήταν τυχεροί μέχρι τώρα.
Γιατί οι 3πμ Έχουν Σημασία
Οι καταστροφές δεν κλείνουν ραντεβού. Δεν περιμένουν βολικό timing. Φτάνουν όταν:
Βασικοί άνθρωποι δεν είναι διαθέσιμοι. Σε διακοπές. Κοιμούνται. Απρόσιτοι. Σε διαφορετικές ζώνες ώρας.
Η υποστήριξη είναι περιορισμένη. Οι γραμμές υποστήριξης vendor είναι κλειστές ή με ελάχιστο προσωπικό. Οι υπηρεσίες έκτακτης ανάγκης είναι τεντωμένες.
Οι decision-makers είναι διασκορπισμένοι. Οι άνθρωποι που μπορούν να εγκρίνουν δαπάνες, να εγκρίνουν ενέργειες, και να πάρουν κλήσεις δεν είναι στο γραφείο.
Οι πόροι είναι περιορισμένοι. Τα καταστήματα hardware είναι κλειστά. Οι contractors δεν είναι διαθέσιμοι. Ο εξοπλισμός ενοικίασης έχει λίστα αναμονής.
Η προσοχή είναι αλλού. Οι άνθρωποι είναι με την οικογένεια, ταξιδεύουν, γιορτάζουν. Η δουλειά είναι το τελευταίο πράγμα στο μυαλό τους.
Αν η ανθεκτικότητά σας εξαρτάται από το να πάνε όλα σωστά—οι σωστοί άνθρωποι διαθέσιμοι, οι σωστοί πόροι προσβάσιμοι, οι σωστές συνθήκες παρούσες—δεν είστε ανθεκτικοί. Εξαρτάστε από την τύχη.
Οι Ερωτήσεις
Δουλέψτε τες ειλικρινά:
Ανίχνευση
Θα ξέρατε καν ότι κάτι πήγε στραβά;
Στις 3πμ ένα τριήμερο αργίας, ποιος παρακολουθεί; Υπάρχουν αυτοματοποιημένες ειδοποιήσεις; Θα έφταναν σε κάποιον που θα μπορούσε να δράσει; Ή θα περνούσε απαρατήρητο το πρόβλημα μέχρι να αρχίσουν να παραπονιούνται οι πελάτες—ή μέχρι Δευτέρα πρωί;
Πολλοί οργανισμοί ανακαλύπτουν προβλήματα όταν τα αναφέρουν οι χρήστες. Αυτό δεν είναι ανίχνευση—είναι ελπίδα ότι θα το παρατηρήσει κάποιος άλλος.
Επαφή
Ποιος καλείται, και μπορεί να τον βρείτε;
Υπάρχει τεκμηριωμένο μονοπάτι κλιμάκωσης; Λειτουργεί όταν ο πρώτος άνθρωπος δεν απαντά; Και ο δεύτερος; Υπάρχει κάποιος που μπορεί πάντα να βρεθεί, ή η απόκρισή σας εξαρτάται από συγκεκριμένα άτομα να είναι διαθέσιμα;
Phone trees που καταλήγουν σε voicemail δεν είναι σχέδια απόκρισης.
Εξουσία
Μπορούν οι άνθρωποι που βρίσκετε πραγματικά να πάρουν αποφάσεις;
Ο on-call τεχνικός μπορεί να απαντήσει, αλλά μπορεί να εγκρίνει έκτακτες δαπάνες; Μπορεί να εγκρίνει το κλείσιμο ενός συστήματος που παράγει έσοδα; Μπορεί να δεσμεύσει εξωτερικούς πόρους;
Αν κάθε σημαντική ενέργεια απαιτεί κλιμάκωση σε κάποιον που δεν είναι διαθέσιμος, η απόκρισή σας θα παραλύσει.
Γνώση
Ξέρουν οι διαθέσιμοι άνθρωποι τι να κάνουν;
Υπάρχει τεκμηρίωση που μπορούν να ακολουθήσουν; Είναι οι διαδικασίες τρέχουσες και δοκιμασμένες; Ή η ανάκαμψη εξαρτάται από συγκεκριμένη τεχνογνωσία που κατέχουν άνθρωποι που μπορεί να μην είναι προσβάσιμοι;
"Κάλεσε τη Σάρα, αυτή ξέρει πώς δουλεύει αυτό" δεν είναι σχέδιο ανθεκτικότητας. Είναι single point of failure.
Πρόσβαση
Μπορούν πραγματικά να μπουν στα συστήματα για να τα φτιάξουν;
Έχουν credentials; Λειτουργούν τα συστήματα authentication όταν η κύρια υποδομή είναι down; Μπορούν να έχουν πρόσβαση απομακρυσμένα, ή πρέπει να είναι φυσικά παρόντες κάπου;
Το καλύτερο σχέδιο είναι άχρηστο αν οι responders είναι κλειδωμένοι έξω από τα συστήματα που χρειάζονται να φτιάξουν.
Πόροι
Τι χρειάζεστε που δεν έχετε άμεσα διαθέσιμο;
Ανταλλακτικό hardware. Έκτακτη υποστήριξη contractor. Προσωρινός χώρος εργασίας. Εργαλεία επικοινωνίας όταν τα κύρια κανάλια είναι down. Μετρητά για απρόβλεπτα έξοδα.
Αν η απόκρισή σας απαιτεί πράγματα που δεν έχετε και δεν μπορείτε γρήγορα να αποκτήσετε, η απόκρισή σας θα κολλήσει.
Επικοινωνία
Πώς λέτε στους ανθρώπους τι συμβαίνει;
Εργαζόμενοι. Πελάτες. Partners. Ρυθμιστές. Μέσα. Πώς τους φτάνετε όταν τα κανονικά κανάλια επικοινωνίας μπορεί να επηρεάζονται; Ποιος μιλά για τον οργανισμό; Ποιο είναι το μήνυμα;
Η σιωπή κατά τη διάρκεια κρίσης γεννά εικασίες. Οι εικασίες είναι συνήθως χειρότερες από την πραγματικότητα.
Διάρκεια
Πόσο μπορείτε να λειτουργείτε σε crisis mode;
Μπορείτε να διατηρήσετε 24/7 απόκριση για μέρες; Τι συμβαίνει όταν οι πρώτοι responders εξαντλούνται; Από πού έρχονται αντικαταστάτες; Πόσο καιρό πριν οι υποβαθμισμένες λειτουργίες γίνουν μη αποδεκτές;
Πολλοί οργανισμοί μπορούν να διαχειριστούν τις πρώτες 24 ώρες. Λιγότεροι μπορούν να διαχειριστούν την πρώτη εβδομάδα.
Η Ειλικρινής Αξιολόγηση
Οι περισσότεροι οργανισμοί αποτυγχάνουν στο τεστ των 3πμ. Όχι επειδή είναι αμελείς—επειδή η γνήσια ανθεκτικότητα είναι δύσκολη και ακριβή:
"Έχουμε backups" δεν σημαίνει ότι μπορείτε να τα αποκαταστήσετε γρήγορα, πλήρως, ή σωστά στις 3πμ.
"Έχουμε σχέδιο disaster recovery" δεν σημαίνει ότι λειτουργεί, είναι τρέχον, ή μπορεί να εκτελεστεί από διαθέσιμους ανθρώπους.
"Έχουμε ασφάλιση" δεν σημαίνει ότι μπορείτε να λειτουργείτε ενώ επεξεργάζονται οι αξιώσεις.
"Έχουμε redundancy" δεν σημαίνει ότι το failover είναι αυτόματο, δοκιμασμένο, ή πλήρες.
"Έχουμε on-call rotation" δεν σημαίνει ότι ο on-call άνθρωπος έχει εξουσία, γνώση, και πρόσβαση για να ανταποκριθεί αποτελεσματικά.
Το κενό μεταξύ θεωρητικής ανθεκτικότητας και πρακτικής ανθεκτικότητας είναι όπου αποτυγχάνουν οι επιχειρήσεις.
Τα Επίπεδα Ανθεκτικότητας
Οι οργανισμοί υπάρχουν σε ένα φάσμα:
Επίπεδο 0: Ελπίζοντας
Κανένα σχέδιο. Καμία προετοιμασία. Βασιζόμενοι εξ ολοκλήρου στο να μην πάνε στραβά τα πράγματα. Όταν χτυπά καταστροφή, είναι χάος.
Επίπεδο 1: Σχεδιασμένο
Σχέδια υπάρχουν στο χαρτί. Κάποια προετοιμασία έχει γίνει. Αλλά τίποτα δεν έχει δοκιμαστεί υπό ρεαλιστικές συνθήκες. Όταν χτυπά καταστροφή, το σχέδιο πιθανώς δεν επιβιώνει την πρώτη επαφή.
Επίπεδο 2: Δοκιμασμένο
Τα σχέδια έχουν δοκιμαστεί. Κάποια κενά έχουν βρεθεί και αντιμετωπιστεί. Η απόκριση θα ήταν ατελής αλλά λειτουργική. Όταν χτυπά καταστροφή, η ανάκαμψη συμβαίνει—τελικά.
Επίπεδο 3: Εξασκημένο
Τακτικά drills και ασκήσεις. Συνεχής βελτίωση βασισμένη σε μαθήματα. Η ικανότητα απόκρισης επικυρώνεται, δεν υποτίθεται. Όταν χτυπά καταστροφή, ο οργανισμός εκτελεί.
Επίπεδο 4: Ανθεκτικό
Αρχιτεκτονική σχεδιασμένη για αποτυχία. Αυτόματο failover. Κατανεμημένη ικανότητα. Κανένα single point of failure. Όταν χτυπά καταστροφή, πολλοί χρήστες δεν το παρατηρούν καν.
Οι περισσότεροι οργανισμοί νομίζουν ότι είναι στο Επίπεδο 2 ή 3. Οι περισσότεροι είναι στην πραγματικότητα στο Επίπεδο 0 ή 1. Το τεστ των 3πμ αποκαλύπτει την αλήθεια.
Χτίζοντας Πραγματική Ανθεκτικότητα
Η ανάβαση στη σκάλα της ανθεκτικότητας απαιτεί:
Τεκμηρίωση Όλων
Όχι μόνο ότι υπάρχουν διαδικασίες—ότι είναι πλήρεις, τρέχουσες, και χρησιμοποιήσιμες από κάποιον που δεν είναι εξοικειωμένος με τα συστήματα.
Εξάλειψη Εξαρτήσεων
Κανένα μεμονωμένο άτομο, σύστημα, ή τοποθεσία που δημιουργεί single point of failure. Redundancy στη γνώση, όχι μόνο στην υποδομή.
Ρεαλιστικές Δοκιμές
Όχι tabletop ασκήσεις σε αίθουσες συνεδριάσεων. Πραγματικές δοκιμές ανάκτησης. Προσομοιωμένες αποτυχίες. Αιφνιδιαστικά drills. Βρείτε τι δεν λειτουργεί πριν έχει σημασία.
Ενδυνάμωση Responders
Άνθρωποι που μπορούν να βρεθούν μπορούν επίσης να πάρουν αποφάσεις, να έχουν πρόσβαση σε συστήματα, και να εγκρίνουν πόρους. Απόκριση που απαιτεί κλιμάκωση σε μη διαθέσιμους ανθρώπους δεν είναι απόκριση.
Συνεχής Συντήρηση
Τα σχέδια φθείρονται. Οι άνθρωποι αλλάζουν. Τα συστήματα εξελίσσονται. Αυτό που λειτούργησε πέρσι μπορεί να μην λειτουργεί σήμερα. Η ανθεκτικότητα απαιτεί συνεχή προσοχή.
Το Ερώτημα της Επένδυσης
Η πραγματική ανθεκτικότητα κοστίζει χρήματα. Απαιτεί redundancy που μπορεί να μην χρησιμοποιηθεί ποτέ. Απαιτεί προετοιμασία για γεγονότα που μπορεί να μην συμβούν ποτέ. Καταναλώνει πόρους που θα μπορούσαν να χτίσουν features ή να παράγουν έσοδα.
Το ερώτημα δεν είναι αν έχετε την πολυτέλεια της ανθεκτικότητας. Είναι αν έχετε την πολυτέλεια της απουσίας της.
Σκεφτείτε: Τι θα κόστιζε 72 ώρες ολικής διακοπής; Χαμένα έσοδα. Χαμένοι πελάτες. Χαμένη φήμη. Έξοδα ανάκαμψης. Ρυθμιστικές κυρώσεις. Νομική έκθεση.
Για τους περισσότερους οργανισμούς, αυτός ο αριθμός υπερβαίνει κατά πολύ την επένδυση που απαιτείται για γνήσια ανθεκτικότητα.
Η Ουσία
Το τεστ των 3πμ δεν αφορά την απαισιοδοξία. Αφορά την ειλικρίνεια.
Κάθε οργανισμός θα αντιμετωπίσει τελικά μια κρίση. Το ερώτημα είναι αν θα ανταποκριθείτε αποτελεσματικά ή θα ανακαλύψετε—τη χειρότερη δυνατή στιγμή—ότι η ανθεκτικότητά σας ήταν ψευδαίσθηση.
Η ώρα να απαντήσετε αυτό το ερώτημα είναι τώρα, όχι στις 3πμ ένα τριήμερο αργίας όταν χτυπά το τηλέφωνο.
Αν χτυπούσε καταστροφή απόψε, πώς θα έμοιαζε το αύριο;