Hur säkerhetsfall skiljer sig från traditionella riskanalyser: Perspektiv på autonom teknik och säkerhetsbedömning

Säkerhetsbedömning är en väsentlig del av designprocessen för komplexa system. Inom traditionell säkerhet används ofta riskanalyser där sannolikheter tilldelas olika risker, vilket leder till beräkningar som skapar en säkerhetsprofil för systemet. Men när det kommer till att skydda mot osäkra eller intelligent agerande angripare, vilket ofta är fallet med säkerhetsbedömningar inom autonom teknik och cybersäkerhet, blir de traditionella metoderna otillräckliga. Till skillnad från naturliga eller mekaniska fel, där osäkerheten ofta beror på slump, rör vi oss här mot epistemisk osäkerhet — det vill säga osäkerhet som beror på brist på kunskap.

Den centrala skillnaden mellan traditionell säkerhet och säkerhetsbedömning för autonoma system är att den senare ofta involverar scenarier som inte kan förutses enbart med hjälp av sannolikheter och matematiska modeller. Analyser som baseras på de etablerade säkerhetsnormerna ger oss inte de verktyg som behövs för att förstå och förutse de beteenden som kan uppstå vid attacker från intelligenta angripare. Dessa system måste i stället designas med ett mer dynamiskt och flexibelt ramverk som kan hantera sådana osäkerheter.

Från säkerhetsfall till säkerhetsanalys av autonoma system måste vi förstå att utvecklingen av dessa system ofta sker parallellt med framväxten av nya typer av hot och attacker. Därför är det inte tillräckligt att bygga på en statisk säkerhetsmodell utan att kontinuerligt utvärdera och uppdatera modellen för att spegla de föränderliga hoten i teknologins landskap. Säkerhetsfall för autonoma system bör därför ha en retrospektiv och adaptiv karaktär, där både aktuella och potentiella hot bedöms i ljuset av nya insikter och teknologiska framsteg.

Vid utformningen av ett säkerhetsfall för autonoma system är det också viktigt att förstå att traditionella säkerhetsmodeller för ofta inte tar hänsyn till det faktum att designfel numera ofta överträffar de osäkra, slumpmässiga felen. Detta innebär att vi måste skapa modeller som kan hantera både mänskliga misstag och oförutsägbara interaktioner i systemets beteende. När dessa fel inträffar måste säkerhetsfallen kunna identifiera och minimera deras påverkan genom robusta och flexibla systemdesigns.

En annan viktig aspekt att beakta är hur dokumentation och bevis i säkerhetsfallen samlas och presenteras. I mer traditionella tekniska discipliner är dokumentation en kritisk del av utvecklingsprocessen, där precisa ritningar och specifikationer ger ingenjörerna nödvändig information för att bygga system. För mjukvaruutvecklare är det däremot svårt att producera exakta dokument, vilket innebär att säkerhetsdokumentationen ofta betraktas som något sekundärt. Men för säkerhetskritiska system är denna dokumentation avgörande för att kunna förutse och hantera alla möjliga risker och hot, inte som en eftertanke utan som en del av den initiala designen.

I denna kontext är det också avgörande att förstå att säkerhet inte är ett statiskt tillstånd utan snarare en pågående process som ständigt måste omvärderas och förbättras i takt med nya risker och hot. Denna förståelse är särskilt viktig i en tid när autonoma system och AI-teknologier snabbt utvecklas och potentiellt kan skapa nya säkerhetsutmaningar som vi ännu inte kan förutse.

Vad innebär säkerhet vid latenta överraskningar och systemfel?

När vi talar om säkerhet i tekniska system som är beroende av maskininlärning och artificiell intelligens (AI), uppstår en betydande utmaning när det gäller att hantera latenta överraskningar – händelser som inte kan förutses eller modelleras med nuvarande systemkunskap. Detta problem belyses på ett sätt som gör att många säkerhetskritiska system inte kan förlita sig enbart på förbättrade modeller eller algoritmer för att förhindra olyckor eller misslyckanden.

Ett exempel på detta fenomen kan ses i situationer där systemets förmåga att förutsäga eller reagera på ovanliga eller extrema händelser inte är tillräcklig. Detta kan vara särskilt farligt i autonoma fordon eller andra AI-drivna system som är designade för att minska riskerna, men som i själva verket kan orsaka nya faror genom sina begränsningar. Här kan vi se det klassiska fallet där ett system inte misslyckas med sin funktion i sig, men där det ändå uppstår en farlig situation på grund av den oförutsedda påverkan av externa faktorer som inte är inbyggda i systemets lärandeprocess.

En sådan situation inträffade i New Jersey den 31 oktober 2014, när ett system som skulle förhindra en olycka inte fungerade som avsett, trots att alla komponenter var operativa. Problemet här var att det totala antalet latenta överraskningar var så stort, och den aggregatbaserade ankomstfrekvensen av dessa oförutsedda händelser var mer frekvent än systemets säkerhetsgräns. Detta innebär att systemet inte var acceptabelt säkert, och att ett enkelt åtgärdande av enskilda problem inte löste det underliggande säkerhetsproblemet.

Det är viktigt att förstå att när vi talar om säkerheten för avsedda funktioner (SOTIF, Safety of the Intended Functionality), handlar det inte bara om att systemen inte ska misslyckas med sina grundläggande funktioner. Det innebär också att systemet måste kunna hantera de oväntade händelserna som kan uppstå när något går fel. Ett exempel är när en bils autonoma system misslyckas med att korrekt identifiera en person som går framför bilen, inte för att sensorerna är defekta, utan för att algoritmerna inte var tillräckligt robusta för att hantera den specifika situationen.

För att lösa dessa problem har forskare och ingenjörer inom AI och maskininlärning utvecklat metoder för att skapa mer robusta system, där både de förväntade och oförväntade riskerna hanteras genom en kombination av teknik och systemdesign. Dessa metoder kan till exempel innefatta att skapa modeller som är flexibla nog att anpassa sig efter nya typer av data, eller att systemet kan göra korrekta bedömningar i osäkra eller föränderliga miljöer.

Det är också viktigt att komma ihåg att säkerhet inte är en statisk process, utan något som kontinuerligt måste utvärderas och justeras. När nya överraskningar upptäcks eller nya typer av risker identifieras, måste systemen kunna integrera dessa insikter utan att äventyra den övergripande stabiliteten och säkerheten.

En annan viktig aspekt som ofta förbises i diskussioner om säkerhet är den mänskliga faktorn. När människor interagerar med komplexa system, särskilt autonoma system som fordon, kommer det alltid finnas en viss grad av osäkerhet i hur människor reagerar på olika situationer. Detta är en kritisk punkt som behöver beaktas i alla säkerhetsmodeller. Det handlar inte bara om att förutsäga hur ett system ska fungera under normala förhållanden, utan också hur människor kan påverka systemets funktion i kritiska situationer.