Hvad kan man gøre for at genvinde kontrollen, efterhånden som finanssektorens problem med skygge-AI forværres?

Som værktøjer som OpenAI's ChatGPT blive allestedsnærværende, skygge AI er et stigende problem for finanssektoren. Værktøjerne udgør flere risici, herunder datalækage og hallucinationer, hvilket forværres af, at finansielle virksomheder i mange tilfælde ikke engang ved, at de er i brug.

Da implementeringen af ​​AI sker hurtigere i udkanten af ​​organisationen, end ledelsen kan følge med, skal sektoren lære at håndtere denne hurtigt udviklende risiko. Hvordan kan ledere inden for sikkerhed og compliance begynde at genvinde kontrollen over skygge-AI?

Eksponeret sektor

Som en stærkt reguleret sektor, der håndterer enorme mængder følsomme data, er finanssektoren særligt udsat for skygge-AI. "Branchen håndterer værdifulde, stærkt regulerede data under konstant pres for at bevæge sig hurtigt," ifølge Leslie Nielsen, CISO hos Mimecast. "Den kombination skaber betingelser, hvor medarbejderne griber efter det værktøj, der hjælper dem med at udføre deres arbejde – ofte før organisationen aner, at det sker."

Men dette kan også føre til, at medarbejdere bruger meget følsomme og privilegerede data til AI-modeller. Mark McClain, grundlægger og administrerende direktør hos SailPoint, nævner eksemplet med et uautoriseret værktøj, der bruges til at håndtere en låneoprettelsesproces. "Det ville aggregere finansielle data, analysere kredithistorik, udarbejde vilkår, facilitere underwriting og kommunikere med interessenter."

Men hvis agenten har ubegrænset adgang til virksomhedens systemer, kan han misfortolke data, godkende højrisikolån eller utilsigtet afsløre kundeoplysninger, hvilket kan udløse overtrædelser af reglerne eller skade hans omdømme, foreslår han.

Flere AI-værktøjer

Det meste af brugen af ​​skygge-AI er praktisk og opgavedrevet, da medarbejdere tyr til værktøjer, der hjælper dem med at spare tid eller reducere manuel indsats i deres daglige arbejde.

Faktisk er udvalget af værktøjer, der anvendes i finansielle virksomheder, bredere, end de fleste sikkerhedsteams er klar over, siger Nielsen fra Mimecast. "Inden for finansielle tjenester bruger medarbejderne generelle værktøjer som ChatGPT, AI-aktiverede e-mail- og mødeplatforme, transskriptions- og opsummeringstjenester og analyse-copiloter. De udarbejder klientkommunikation, opsummerer dokumenter og analyserer data og administrerer arbejdsbyrder med værktøjer, som deres arbejdsgivere aldrig har gennemgået eller godkendt."

Den adfærd, der skaber den største risiko, er ikke sofistikeret, påpeger han. "Medarbejdere uploader dokumenter til eksterne AI-værktøjer. De videresender arbejdsmails til personlige konti for at få adgang til AI-funktioner. De indsætter følsom kontekst i prompts, fordi værktøjet fungerer bedre med det."

Selvom denne type brug af kunstig intelligens ikke er ondsindet, scanner kunstig intelligens-funktioner, som dem der nu tilbydes i personlige e-mailkonti, automatisk indhold. "Det betyder, at fortrolige forretningsdata kan ende i tredjepartssystemer eller træningsmodeller uden at nogen er klar over det," advarer Nielsen.

Ikke skygge-IT

Risikoen er bekymrende, men når man har med skygge-AI at gøre, bør man ikke forveksle den med skygge-IT. At behandle dem på samme måde er "en fejltagelse", siger Nielsen. "Skygge-IT handler om uautoriserede applikationer, der opererer uden for IT-tilsyn. Risikoen handler i høj grad om synlighed og kontrol over værktøjerne. Skygge-AI introducerer et andet lag: De data, der føres ind i disse værktøjer, de output, der genereres, og de måder, hvorpå information kan opbevares, genbruges eller eksponeres."

Skygge-AI er ikke bare skygge-IT med en tilknyttet chatbot, er Christopher Jess, senior R&D-chef hos Black Duck, enig. Han nævner modelspecifikke risici såsom "følsom datalækage, fabrikeret, men overbevisende output, hurtig indsprøjtning og indlejrede AI-funktioner, der ankommer i software, der allerede ser godkendt ud".

Indsatsen er højere inden for finansielle tjenester, fordi inputtene er mere følsomme, og de regulatoriske konsekvenser af eksponering er mere alvorlige, siger Nielsen fra Mimecast. "Når en medarbejder indsender klientdata til et eksternt AI-værktøj for at generere en rapport hurtigere, er risikoen ikke kun selve værktøjet. Det handler om, hvorvidt disse data gemmes, hvem der har adgang til dem, og om de falder inden for de grænser, som organisationen er forpligtet til at opretholde i henhold til generel databeskyttelsesforordning (GDPR) eller andre rammer.”

Der er også en bredere risiko, der ofte overses: ansvarlighed og beslutningsintegritet, siger Nielsen. "Når AI-genererede output informerer kundekommunikation eller operationelle beslutninger uden klar overvågning, kan organisationer ikke påvise oprindelse eller nøjagtighed. Det er lige så meget et styringsproblem som et sikkerhedsproblem."

Blokering af AI

Det hjælper ikke at blokere AI-værktøjer på arbejdet. Faktisk siger eksperter, at det kan forværre tingene. Medarbejdere, der ser klare effektivitetsgevinster, vil ofte finde alternative måder at bruge AI-værktøjer på eller ty til mere farlige metoder for at opnå resultater.

"I stedet for at bruge godkendte forretningsværktøjer kan medarbejderne ty til personlige konti, browserudvidelser eller gratis AI-platforme med endnu mindre synlighed eller tilsyn," fortæller Callum Beckwith, teknisk leder af softwareudvikling hos Capture Expense. IO.

Samtidig er en virksomhed, der siger "vi forbød det", ikke et forsvar, som tilsynsmyndigheden vil acceptere, efter at bruddet er sket, tilføjer Ben Jacob-Smith, grundlægger af Obsessed Group.

"Organisationer, der udelukkende fokuserer på restriktioner, øger ofte risikoen snarere end at reducere den."

Genvind balancen

Det kan virke komplekst, men det er muligt at genvinde balancen mellem produktivitet og kontrol ved at sikre løbende tilsyn og bruge integrerede ledelsessystemer.

Som en del af dette kan AI-styringsrammer hjælpe, Såsom ISO 42001 og ISO 27001 for informationssikkerhedsstyringssystemer.

I mellemtiden NIST AI Risk Management Framework tilbyder et nyttigt udgangspunkt for at tænke over AI-specifikke risici og kontroller, siger Beckwith. "Det giver organisationer en struktureret måde at vurdere, hvordan AI-systemer er designet, brugt og styret i hele deres livscyklus, samtidig med at det tager højde for vigtige overvejelser såsom datahåndtering, pålidelighed og ansvarlighed.

Finansielle virksomheder bør også være opmærksomme på EU's AI-lov, som gælder for enhver britisk virksomhed, hvis AI-systemer berører EU-kunder.

Der er ingen tvivl om, at udfordringen med skygge-AI vokser i takt med, at en stigning i AI-værktøjer kommer på markedet. Men der er ingen måde at forhindre det på. Med AI-værktøjer i stand til at øge produktiviteten, er målet for ledere inden for sikkerhed og compliance inden for finanssektoren ikke at bremse innovation, men at styre den sikkert, siger Beckwith.

For at genvinde kontrollen anbefaler Beckwith at skabe "strukturerede, synlige og styrede veje" til brug af AI. "Dette starter med at forstå, hvor AI allerede bruges på tværs af virksomheden. Derfra kan organisationer definere klare forventninger til acceptabel brug og datahåndtering, der er i overensstemmelse med forventningerne til lovgivning og overholdelse af regler."

Han mener, at det centrale mål bør være at tilbyde medarbejderne effektive værktøjer til at udføre deres arbejde. At tilbyde godkendte værktøjer fjerner behovet for løsninger, mens realistisk træning hjælper medarbejderne med at forstå, hvordan man bruger AI ansvarligt i virkelige scenarier, såsom at opsummere interne politikker, siger Beckwith. "Målet her er ikke perfektion, men styret, kontrollerbar og velforstået brug."

Udvid din viden

Blog: Rapport om informationssikkerhedens tilstand: 11 nøglestatistikker og tendenser for finansbranchen

Blog: 700Kreditbrud: API-risici sætter fokus på finansiel forsyningskædestyring

Guide: Den stressfri guide til ISO 42001-certificering