Hvordan en ny adfærdskodeks kunne hjælpe med at mindske AI-risikoen

Den britiske regering satser stort på kunstig intelligens. I betragtning af de offentlige finansers tilstand og en langvarig national produktivitetsnedgang er det på mange måder nødt til det. En ambitiøs Handlingsplan for AI-muligheder annonceret i januar har meget at anbefale. Men hvor der er mulighed, er der også risiko.

Det er derfor, det er opmuntrende at se, at regeringen også tager konkrete skridt til at forbedre sikkerheden i AI-økosystemet. Annonceret blot fjorten dage efter handlingsplanen vil en ny "verdens-første" praksiskodeks hjælpe udviklere, systemoperatører og andre interessenter i at bygge, implementere, vedligeholde og overvåge deres AI-systemer i overensstemmelse med bedste sikkerhedspraksis. Det er håbet, at koden på sigt vil danne grundlaget for en ny international ETSI-standard.

Hvorfor har vi brug for det

Selvom teknologien udvikler sig hurtigt, kender vi allerede nogle af de vigtigste trusler AI udgør for virksomheder, hvis de ikke er designet sikkert. De omfatter:

• Spørg injektionsangreb, som gør det muligt for ondsindede aktører at omgå indbyggede sikkerhedsværn for at misbruge store sprogmodeller (LLM'er) til ondsindede formål. Det mørke spind er angiveligt allerede oversvømmet med "jailbreak-as-a-service"-tilbud, der muliggør netop dette.
• Sårbarheder og fejlkonfigurationer i AI-systemkomponenter, som kunne udnyttes/bruges til at stjæle eller "forgifte" følsomme træningsdata eller modeller. Sådanne sikkerhedshuller allerede er blevet opdaget på tværs af forsyningskæden, herunder i vektordatabaser, open source-komponenter og LLM-hostingplatforme.
• Denial of service, hvis en angriber tilfører et usædvanligt stort input til en LLM
• Videregivelse af følsomme data (f.eks. kundedata) via svar på en brugers prompt, uanset om det er utilsigtet eller ondsindet

Sandheden er, at moderne AI-systemer udvider en allerede bred virksomheds cyberangrebsflade, herunder API'er, LLM-modeller, open source-kode, træningsdatasæt, front-end-grænseflader og cloud-infrastruktur. Risikoen for misbrug vokser, efterhånden som de bliver indlejret i flere forretningsprocesser og applikationer. De OWASP Top 10 til LLM-applikationer er en god start. Men det er ikke en udtømmende liste over AI-relaterede sikkerhedsrisici.

Hvem er det for

Selve kodeksen gælder for en række centrale interessenter. Disse omfatter:

• Softwareleverandører, der tilbyder AI-tjenester til kunder
• Softwareleverandører, der bruger AI internt, uanset om det er blevet skabt internt eller af en tredjepart
• Regelmæssige organisationer, der skaber AI-systemer til intern brug
• Almindelige organisationer, der kun bruger tredjeparts AI-komponenter til intern brug

Kun "AI-leverandører", der sælger modeller eller komponenter, men som faktisk ikke udvikler eller implementerer dem, vil sandsynligvis være uden for denne kodes "omfang".

Hvad står der i koden

Kodekset er opdelt i 13 "principper", der dækker alle stadier af AI-livscyklussen, på tværs af design, udvikling, implementering, vedligeholdelse og afslutning af levetiden. De er:

1. Skabe opmærksomhed af AI-sikkerhedstrusler og -risici ved at træne cybersikkerhedspersonale og bredere medarbejderbase.
2. Design AI-systemer for sikkerhed, funktionalitet og ydeevne baseret på grundig planlægning og risikovurderinger.
3. Evaluere/modellere trusler og styre risici i forbindelse med brugen af ​​kunstig intelligens gennem sikkerhedskontrol og løbende overvågning.
4. Aktiver menneskelig ansvarlighed og tilsyn med AI-systemer.
5. Identificer, spor og beskyt aktiver gennem en omfattende opgørelse og sporingsværktøjer, der tager højde for indbyrdes afhængighed og forbindelse.
6. Sikker infrastruktur såsom API'er, modeller, data og trænings- og behandlingspipelines. Dette bør omfatte en politik for afsløring af sårbarheder og hændelsesstyring/systemgendannelsesplaner.
7. Sikre softwareforsyningskæden gennem risikovurderinger, afbødende kontroller og dokumentation.
8. Dokumenter data, modeller og prompter med et klart revisionsspor af systemdesign og vedligeholdelsesplaner efter implementering. Dokumentation vil være nødvendig for at dæmpe bekymringer over dataforgiftning, når der bruges offentlige træningsdata.
9. Udfør passende test og evaluering dækker alle modeller, applikationer og systemer før implementering via uafhængige testere.
10. Implementer sikkert ved at fortælle slutbrugerne, hvordan deres data vil blive brugt, tilgået og gemt. Interessenter bør også levere sikkerhedsrelevante opdateringer, vejledning om administration og konfiguration og assistance til at begrænse og afbøde virkningen af ​​enhver hændelse.
11. Vedligeholde regelmæssige sikkerhedsopdateringer, patches og afhjælpninger.
12. Overvåg systemets adfærd ved at logge system- og brugerhandlinger og opdage uregelmæssigheder, sikkerhedsbrud eller uventet adfærd over tid.
13. Sørg for korrekt bortskaffelse af data og model ved nedlukning eller overdragelse af ejerskab af en model eller træningsdata.

At sætte byggeklodserne på plads

Den gode nyhed er, at best-practice cybersikkerhedsstandarder kan hjælpe organisationer med at overholde koden. ISO 27001 er citeret i selve dokumentet, men David Cockcroft, sektorchef for informationssikkerhed hos ISOQAR, hævder, at ISO 42001 passer bedst. Denne relativt nye standard er designet til at hjælpe organisationer med at etablere, implementere, vedligeholde og løbende forbedre et Artificial Intelligence Management System (AIMS).

“De grundlæggende forbindelser til ISO 42001 er tydelige fra starten. Publikum og interessenter inden for kodekset er direkte bundet til den organisatoriske kontekst og organisationens rolle i AI-livscyklussen, der findes i standarden,” siger han til ISMS.online.

"Alle principper i kodeksen kan kortlægges til klausulerne og kontrollerne i 42001-standarden."

Andreas Vermeulen, leder af AI hos Avantra, er enig.

"Ved at integrere ISO 42001 med nuværende sikkerhedsstandarder kan organisationer forbedre overholdelse af koden og sikre, at AI-specifikke sikkerheds- og operationelle risici håndteres tilstrækkeligt, og dermed forbedre den overordnede sikkerhedsposition for AI," siger han til ISMS.online.

"Storbritannien sætter et stærkt eksempel ved at etablere omfattende retningslinjer, der sikrer en sikker og sikker implementering af AI-teknologier. Disse bestræbelser positionerer den som førende inden for ansvarlig udvikling af AI-systemer."

På ISMS.online, har vi tidligere spurgt om regeringens ambitiøse AI-planer også kunne injicere cyberrisiko i den infrastruktur og applikationer, der er nødvendige for at drive dets meget omtalte "årti med national fornyelse". Så det er godt at se nogle nyttige vejledninger udgivet sammen med ofte vage løfter om teknologistyret vækst.

"Den nye adfærdskodeks, som vi har udarbejdet i samarbejde med globale partnere, vil ikke kun hjælpe med at forbedre modstandsdygtigheden af ​​AI-systemer mod ondsindede angreb, men også fremme et miljø, hvor britisk AI-innovation kan trives," siger NCSCs tekniske direktør, Ollie Whitehouse.

Efterhånden som koden modnes og udvikler sig til en international standard, kan den blive de facto basislinjen for AI-sikkerhed i nogen tid fremover.