Tos přehnal! – Manuál přežití analytika rizik
Opět Vám komunita QICS přináší formou překladu zahraničního názorového článku “That Feels Too High”: A Risk Analyst’s Survival Guide pohled „Z Nového světa“ a opět je autorem Tony Martin-Vegue ze společnosti Netflix.
Doufáme, že Vám i tentokrát článek promluví z duše stejně, jako před lety oslovil americké publikum Antonín Dvořák.
A opět po dohodě s autorem přidáváme k původnímu článku naše komentáře z CZ-SK prostředí.
Pište, komentujte a buďte quant!
———————————————————————————————————-
Technology Risk Management @ Netflix
Pozn. 1: V titulku jsme záměrně použili název populární hádací karetní hry, kterou si zahrajeme v kurzu CRQ2 v rámci kalibrování účastníku před poskytnutím kvalifikovaných expertních odhadů.
Před lety jsem přišel na poradu s naším ředitelem pro řízení rizik a byl jsem připraven představit vyhodnocení rizik výpadku cloudu, na které jsem byl právem hrdý. Stálo mě to tři týdny práce: vedl jsem rozhovory s experty pro danou oblast, ověřoval předpoklady na základě komplexních dat, modeloval scénáře, testoval mezní případy a připravil prezentaci ukazující možné ztráty a pravděpodobnosti překročení různých prahových hodnot. Ověřená data, ne ta typu „věř mi, kámo“.
Dokončil jsem prezentaci a čekal dotazy týkající se naší rizikové expozice, zjištěných nedostatků v opatřeních a kontrolních mechanismech, návratnosti investic do plánovaných mitigací nebo zvolené metodiky.
Místo toho nastala pauza. Pak se ozvalo: „Hmm… To jsi nějak přehnal.“
Tím se tři týdny pečlivé analýzy změnily v diskusi o dojmech a pocitech. Veškerá práce (rozhovory, ověřování dat, testování scénářů) náhle musela ustoupit intuitivní reakci jednoho jediného člověka.
Pozn. 2: Toto je naprosto typická situace pro většinu kvant-risk implementací v kybernetické bezpečnosti (CRQ). Jakmile se prezentuje jakákoli reálná hodnota rizika, vždy to mezi zainteresovanými stranami vyvolá (velmi cennou) diskusi, protože jejich „vnitřní kompas“ zareaguje na právě prezentovaný „jasně udaný směr“. U barev v matici rizik a nic neříkajícího „indexu rizika“ se to (zcela logicky) neděje, což vede k falešné proklamaci „rychlého a snadného konsensu“ při použití kvalitativních metodik. Nic ale není vzdálenější realitě, risk matice vytvářejí pouze dojem shody, ordinální škály a barvy jen skrývají reálnou variabilitu rizik a risk scénářů a jednotně působí jen naoko. Ve snaze vyhnout se diskusím a zjednodušit si práci s riziky se tak na pozadí odehrává čirý placebo efekt gigantických rozměrů bez aktivního zapojení zainteresovaných stran.
Po letech této opakovaně slýchané zpětné vazby jsem pochopil toto: když někdo řekne, že mu vaše hodnoty rizik pocitově nesedí, nemusí být nutně mimo mísu. Jen používá jiný jazyk. Chcete-li v této branži obstát, musíte se naučit plynně ovládat nejen kvantitativní analýzu, ale i slovník a jazyk top managementu.
Tři důvody, proč jsou vaše čísla zpochybněna
Nestalo se to poprvé a ani naposledy. Po desítkách jednání, na kterých zaznělo „to už je moc“, „tohle se zdá nízko“ nebo „tohle mi nesedí“, jsem identifikoval tři důvody, proč kvantifikace rizik nemusí projít testem „vypadá to dobře“.
Důvod č. 1: Něco jste zpackali
Je to pokořující lekce, ale zároveň ta nejcennější zpětná vazba, jakou můžete dostat.
Někdy má účastník pravdu. Ne proto, že by provedl vlastní simulaci Monte Carlo, ale proto, že jako veterán má hluboké a v první linii těžce vybojované znalosti provozního prostředí organizace, od notoricky poruchových systémů až po proměnlivou paletu hrozeb.
Jednou jsem vymodeloval scénář, který na papíře vypadal bezchybně. Všechna opatření a kontrolní mechanismy byly zdokumentovány jako funkční, technologie obstála v testech dobře a procesy vypadaly robustně. Technický ředitel se podíval na moje čísla a řekl: „To mi přijde nějak málo.“
Ukázalo se, že technický ředitel měl provozní znalosti, které nebyly zachyceny v žádném z mých zdrojů: předchozí selhání, specifické chování systémů pod zátěží, nezdokumentované skryté závislosti. Zkušenosti, které se obtížně kvantifikují, ale zásadně překreslí mapu rizik.
Bayesovský přístup:
Pozn. 3: Reverend Thomas Bayes položil v 18. století základy podmíněné pravděpodobnosti a zcela odlišného statistického přístupu, než jaký se od konce století páry vyučuje na školách a univerzitách. Pracuje s mírou (sílou) přesvědčení a umožňuje ve výpočtu pravděpodobnosti současně zohlednit subjektivní názory i naměřená data a výsledek dále zpřesňovat na základě nově získaných informací (tzv. princip Bayesovských aktualizací). Je důležitou částí základního kurzu CRQ1.
Když někdo zpochybní vaše čísla, berte jeho zpětnou vazbu jako novou informaci (evidenci), která aktualizuje vaše původní přesvědčení. Nikoli jako osobní útok na vaši práci.
Ptejte se například:
„Která konkrétní část se vám nezdá správně?“
„Co jste viděli a zažili v praxi a já jsem to mohl přehlédnout?“
„Jsou některá opatření a kontrolní mechanismy jenom na papíře, v reálu a pod tlakem to vůbec nefunguje?“
„Jakou hodnotu byste tu očekávali a proč?“
Takhle jsem odhalil skutečné problémy: zavádějící předpoklady o účinnosti opatření a kontrol, nekonzistentní data, problémy s pokrytím, špatné nebo zastaralé metriky nebo chyby v rozsahu, které nějakým způsobem proklouzly hned několika koly revizí.
Nejde o to, kdo se spletl. Jde o ochotu aktualizovat svůj model, jakmile získáme nové informace (evidence). Tomu se říká dobrá věda a dobré řízení rizik.
Pozn. 4: A právě toto se skrývá za termínem „Bayesian updating“.
Důvod č. 2: Kognitivní zkreslení se připletlo do cesty
Někdy odpor nevzniká kvůli chybějícím informacím. Jde o to, že je od pravěku lidský mozek stále naladěný na „pozor, šavlozubec!“), a ne na intuitivní chápání pravděpodobnostních rozdělení.
Pozn. 5: Kognitivních zkreslení existuje celá řada, málokdo je vůči nim imunní a mají tedy ohromný potenciál zkreslit náš úsudek. Je ale možné je systematicky potlačit nebo zcela odstranit tzv. kalibrací expertů, která je součástí úvodního kurzu CRQ1 a specializovaného kurzu CRQ2 zaměřeného právě na kalibrování účastníku před poskytnutím kvalifikovaných expertních odhadů.
Práce Daniela Kahnemana (kniha „Myšlení rychlé a pomalé„) je v tomto kontextu naprosto zásadní. Konfirmační zkreslení způsobuje podvědomé upřednostňování informací, které podporují naše aktuální přesvědčení. Zkreslení kotvením nás nutí držet se prvního čísla, které jsme slyšeli. Zkreslení dostupnosti způsobuje, že se nám nedávné nebo mediálně výrazné události zdají pravděpodobnější než pečlivě vypočítané statistiky.
Kdysi jsem prezentoval model, podle něhož byla anualizovaná pravděpodobnost závažného úniku dat relativně nízká, přibližně 5 %. Ředitel informační bezpečnosti okamžitě zareagoval: „To se mi zdá strašně málo! O únicích dat slyšíme pořád!“
Bylo to klasické zkreslení dostupnosti. Neustálý proud titulků o únicích dat vyvolal dojem daleko pravděpodobnějších závažných incidentů, než jak to skutečně bylo.
Jak proplout kognitivním zkreslením
Logickými argumenty nevyvrátíte názor, který na základě logiky nevznikl. Můžete ale pracovat s myšlenkovými vzorci účastníků:
- Nejprve jim potvrďte (a uznejte) jejich zkušenost: „Rozumím, proč to tak může působit, když toho je ve zprávách tolik …“
- Najděte společnou řeč a až pak hledejte a diskutujte rozdíly
- Používejte analogie a příběhy, které pracují s přirozenými vzorci myšlení (s naším selským rozumem)
- Soustřeďte se na společné rozhodnutí, ne na vítězství v debatě
Pamatujte: nejste tu od toho, abyste někomu aktualizovali mozkový firmware. Jen pomáháte lidem lépe se rozhodovat – navzdory kognitivním šotkům, které nás všechny občas potrápí.
Pozn. 6: Kalibrace má sice efekt dočasného brain firmware update. Budeme ji ale používat spíše u odborníků pro danou oblast (u SMEs) pro správný náběr (elicitaci) kvalifikovaných expertních odhadů. S kalibrací u top manažerů a dalších zainteresovaných stran pravděpodobně kvůli časovým nárokům neuspějeme.
Důvod č. 3: Komunikace rizik selhává
Někdy je důvod nesouladu ještě prostší než zkreslení nebo chybějící znalost. Následující situaci lze nejsnáze napravit, ale současně bývá nejčastějším zádrhelem.
Promítnete snímek s krásnou křivkou překročení ztrát. Jste na ni právem pyšní. Je vypovídající! Ukazuje míru neurčitosti!
Posluchači grafu nerozumí, vidí něco, co nedokážou interpretovat.
Mnoho lidí z kybernetické bezpečnosti strávilo celou svou kariéru prací s tepelnou mapou (maticí rizik) a s tříbarevným semaforem. Nikdy nemuseli interpretovat interval spolehlivosti ani přemýšlet, co znamená „95. percentil“.
Viděl jsem zkušené manažery rizik (chytré lidi, kteří mě v provozních znalostech hravě předčí) naprosto volně zaměňovat střední hodnotu (průměr) za nejčetnější hodnotu (modus). Viděl jsem vrcholové manažery zírat na pětičíselný souhrn (min, P25/50/75, max), jako by to bylo napsáno v sanskrtu. Není to projev jejich nekompetentnosti. Jde o naši neschopnost převést kvantitativní koncepty do srozumitelného jazyka.
A ironií osudu jsem více zápasil s vysvětlováním kvantitativních konceptů u svých kolegů z risku a kyber-bezpečnosti než u lidí z businessu. Finančníci, ekonomové a MBA řeči kvantifikovaných rizik intuitivně rozumějí.
Pozn. 7: Tento zápas s kolegy má původ v systémovém nastavení práce s riziky, kdy se matice plošně používají jako vhodné zjednodušení bez čísel, statistiky a „zbytečného přemýšlení“ a staly se de facto „komunikačním nástrojem a jazykem rizik“. Za uplynulé dekády to degradovalo profesi riskaře na umělce tří barev a mistra nekonečné tabulky rizik. Oproti „cifršpionům“ tedy nemá ani znalosti, ani dovednosti, ani praxi.
Umění překladu rizik
Představte si sami sebe jako tlumočníka. Musíte znát své publikum natolik dobře, abyste mohli stejné poznatky prezentovat několika různými způsoby:
- Pro vizuální typy: využijte grafy a diagramy, ale vždy s jasným vysvětlením.
- Pro milovníky příběhů: přetavte čísla na příběhy, které jsou jim blízké.
- Pro manažery orientované na výsledek: Začněte klíčovým poznatkem a doporučením.
- Pro detailisty: Nabídněte jim metodiku, pokud o ni stojí.
Spolupracoval jsem s jedním CISO, který se v rozděleních pravděpodobnosti moc nevyznal, ale okamžitě se chytil, když jsem mu analýzu popsal jako „sestavování rozpočtu na průšvihy, které se nám mohou stát“. Stejný koncept, jiná komunikace.
Nejde o pohodu, jde o důvěru
Kvantitativní risk nemá být o pohodlí. Má být užitečný.
Když někdo řekne, že mu vaše čísla nesedí, není to průšvih. Je to informace! Signalizuje to něco důležitého o jeho znalostech, jeho kognitivních vzorcích nebo vašem komunikačním přístupu.
Vaším úkolem není, aby všichni bez výhrad přijali vaše Monte Carlo simulace. Vaším úkolem je vybudovat dostatečnou důvěru a porozumění, aby se lidé mohli lépe rozhodovat i při nepříjemné míře nejistoty a neurčitosti.
Někdy to znamená opravit váš model, protože si všimli něčeho, co vám uteklo. Někdy to znamená popasovat se s kognitivním zkreslením. Někdy to znamená vysvětlovat stejný koncept hned několika různými způsoby, dokud si to nesedne.
Klíčové je vždy nejprve naslouchat. Zapojte se do nepohodlí, místo abyste s ním bojovali.
Pozn. 8: Přesně o tuto diskusi, víceúrovňovou a křížovou kontrolu odhadů a „kolektivní seřízení vnitřních kompasů“ nám jde a přesně toto je způsob, jak top manažery skutečně zaujmout. Ne líbivými barvami heat-map, ale jasnou řečí čísel a peněz. V businessu jde vždy o peníze až v první řadě a pokud se budou kvantifikovaná rizika diskutovat stejně důkladně jako položky rozpočtu na příští rok (a tam uslyšíte také spoustu názorů typu „to už je nějak moc“), máme napůl vyhráno.
Jednoduchý diagnostický rámec
Až budou příště zpochybňovat vaše hodnoty rizik, projděte s nimi postupně tyto tři otázky:
1. Nevědí náhodou něco, co já ne? (Téma: Chybějící informace)
Zeptejte se: „Která konkrétní část se vám zdá špatná?“
Naslouchejte provozním detailům, historickým vzorcům nebo zvláštnostem systému
Sonda: „Co se už v reálu stalo a já to mohl přehlédnout?“
2. Nekotví na jiném referenčním bodě? (Téma: Kognitivní zkreslení)
Zjistěte, zda jejich vnímání neovlivňují nedávné titulky novin, osobní zkušenosti nebo incidenty v oboru.
Ověřte, zda neporovnávají se zastaralými výchozími hodnotami nebo jinými scénáři
Všimněte si emotivního jazyka nebo reakcí na základě „pocitu z břicha“
3. Rozumí tomu, co se prezentuje? (Téma: Komunikační mezera)
Všímejte si neverbálních signálů během odborného výkladu
Zeptejte se: „Jak byste toto riziko převyprávěli svému týmu?“
Otestujte porozumění: „Co si z toho odnášíte jako klíčové sdělení?“
Začněte bodem 1. Nejcennější zpětná vazba pramení z provozních zkušeností, které jste sami nezažili.
Zařaďte za 2 a za 3 jen když jste si na beton jistí, že je vaše analýza v pořádku.
Sečteno a podtrženo
Sebelepší analýza rizik je k ničemu, pokud skončí v šuplíku, protože jí nikdo nevěří nebo nerozumí. Vybudovat důvěru vyžaduje víc než jen správný výpočet. Musíte správně trefit i lidský faktor a komunikaci.
Až vám příště někdo řekne, že vaše čísla „pocitově nesedí“, nebraňte se. Buďte zvědaví. Někde v té konverzaci bude klíč k tomu, jak proměnit vaše kvantitativní závěry v praktický podklad pro rozhodování v organizaci.
Až příště někdo zpochybní vaše výsledky, mějte na paměti: ten nesouhlas může být tou nejcennější zpětnou vazbou, kterou kdy získáte. Naslouchejte jí – na tom nakonec záleží nejvíc.
Pozn. 9: A každá kvantitativní analýza, která bude použitá v praxi, nám pomůže vrátit riskaře zpět k jednacímu stolu a mezi důvěryhodné a oceňované profese v kybernetické bezpečnosti. Čeká nás ještě dlouhá cesta.
