EchoLeak: Er virksomheder selvtilfredse med de risici, som AI udgør?

Forskere har beskrevet en fejl i Microsoft 365's Copilot, "EchoLeak", som kan give angribere mulighed for at få adgang til følsomme virksomhedsdata uden brugerinteraktion. I takt med at problemer som dette stiger, er virksomheder så selvtilfredse med den trussel, som AI udgør?

I juni afslørede forskere, at de havde fundet en fejl i Microsoft 365's CoPilot der kan give modstandere mulighed for at stjæle følsomme virksomhedsdata i et "nul-klik"-angreb, der ikke kræver nogen interaktion fra brugeren.

Døbt “EchoLeak” og menes at være den først af sin art, udnytter sårbarheden designfejl fundet i genfinding augmented generation-baserede chatbots og AI-agenter, sagde forskere hos Aim Labs.

I en blog, forklarede forskerne, hvordan de brugte en ny udnyttelsesteknik kaldet large language model (LLM) scope violation. "Dette repræsenterer et stort forskningsmæssigt fremskridt i, hvordan trusselsaktører kan angribe AI-agenter – ved at udnytte interne modelmekanikker," skrev de.

Microsoft rettede problemet, før det kunne bruges i virkelige angreb, men EchoLeak demonstrerer de meget reelle risici, som det udgør. AI-værktøjer i erhvervslivet.

I takt med at sårbarheder som denne i stigende grad dukker op, er virksomheder så selvtilfredse med hensyn til truslen fra AI, og hvilke skridt skal de tage for at sikre, at de er modstandsdygtige?

AI-baserede trusler

AI-værktøjer udgør adskillige risici for virksomheder. For eksempel, selvom de er blevet trænet til at være hjælpsomme, forstår de ikke altid, hvad der ikke bør deles, siger Sam Peters, Chief Product Officer hos ISMS.online.

En af de største risici ligger i den måde, hvorpå generative AI-systemer trænes eller udløses. "De kan lagre eller vise følsomme oplysninger utilsigtet uden ondsindet hensigt," advarer Lillian Tsang, senior databeskyttelses- og privatlivsadvokat hos advokatfirmaet Harper James.

Hvis AI-værktøjer er dårligt konfigureret, kan de endda gengælde klient- eller medarbejderdata som svar på prompts. "Baggrundsprocesser kan eksponere cachelagrede eller tokeniserede oplysninger gennem interaktioner med eksterne systemer," forklarer Tsang. "Det mest foruroligende er, at brugeren måske aldrig ved, at deres data er blevet håndteret forkert, hvilket gør det endnu vanskeligere at opdage og reagere."

Det, der gør tingene værre, er den hastighed, hvormed AI bliver implementeret. AI-værktøjer bliver i stigende grad integreret dybt i virksomhedsinfrastrukturen – ofte sammen med "vage politikker" eller "begrænset indsigt i, hvordan de behandler og lagrer data", siger Robert Rea, teknisk chef hos Graylog.

Sårbarheder i AI-værktøjer hælder yderligere brænde på bålet. EchoLeak er et tydeligt tegn på, at de sikkerhedsmodeller, som virksomheder har stolet på, ikke oversættes godt til AI, siger Emilio Pinna, direktør hos SecureFlag. "Værktøjer som Copilot fungerer på tværs af flere kilder og tilladelser og henter data automatisk for at øge produktiviteten. Udfordringen er, at AI ikke følger de samme klare grænser som traditionelle apps."

AI-værktøjer, såsom Microsoft Copilot, er utvivlsomt kraftfulde, men de er kun så sikre som de systemer og den styring, der omgiver dem, siger Peters. "Jeg tror, at det, denne hændelse fremhæver, er, at den reelle risiko ved AI lige nu ikke kun handler om bevidst misbrug; det handler om utilsigtet eksponering."

Risikobevidst

Som EchoLeak viser, er truslen reel og voksende, men eksperter mener, at nogle virksomheder er selvtilfredse med hensyn til de farer, der er forbundet med AI-værktøjer. Dette skyldes delvist, at der er så meget fokus på, hvad AI kan gøre, snarere end de risici, den udgør.

"I en vis grad er virksomheder i øjeblikket blinde af den nye teknologiske kendsgerning ved AI og dens muligheder," fortæller Joseph Thompson, advokat i det kommercielle og teknologiske team hos Birketts LLP. ISMS.online"Vi spørger ikke os selv, om det er sikkert, hvad risiciene er, og hvordan vi kan beskytte os selv og vores virksomheder."

Det største problem er, at mange organisationer stadig ser AI som et tilbehør snarere end noget, der fundamentalt ændrer, hvordan data tilgås og eksponeres, siger Peters. "Der er en antagelse om, at leverandører har det hele under kontrol."

Men realiteten er, at AI ikke sidder i en silo, siger han. "Det påvirker alt. Det er præcis den sammenkobling, der gør det så risikabelt uden de rette kontroller på plads."

Efterhånden som AI er dybt integreret i kerneproduktivitetspakker, vokser de tilhørende risici betydeligt, siger Rea. "AI-systemer fungerer ikke længere som isolerede værktøjer, men udvikler sig til gennemgribende lag, der er integreret på tværs af applikationer, API'er og kommunikationskanaler. Denne udbredte integration øger potentialet for misbrug, utilsigtet dataeksponering og lækage."

Hvis der ikke gøres noget for at løse problemet nu, vil tingene blive værre. Efterhånden som teknologien udvikler sig, vil AI berøre flere data, systemer og arbejdsgange, hvilket vil udvide potentielle angrebsflader betydeligt, siger Thompson.

Samtidig bliver virksomheder nødt til at kæmpe med de stadig mere sofistikerede angrebsmetoder, som modstandere bruger. "Angribere vil gå fra udelukkende at målrette kode og infrastruktur til at fokusere på selve AI-adfærden," advarer Thompson.

Alt dette vil gøre AI-styring stadig mere kompleks og kræve, at teams fra hele virksomheden arbejder sammen for at overvåge compliance og overvinde potentielle trusler, tilføjer Thompson.

Styrkelse af AI-styringsstrategier

Først og fremmest er EchoLeak et wake-up call, siger Thompson. "Det handler ikke bare om at lappe sårbarheden og komme videre. Organisationer skal genoverveje både omfanget og måden for AI-integration i forretningskritiske systemer."

Med et stigende antal AI-værktøjer og -applikationer, der kommer på markedet, er virksomheder nødt til at handle hurtigt. Dette indebærer "et seriøst skridt fremad" i, hvordan virksomheder griber AI-styring an, siger Peters. "Selvom det måske lyder kedeligt, omfatter dette ting som klar dataklassificering, stærkere adgangskontroller, bedre overvågning og, afgørende, træning af dine medarbejdere til at forstå, hvordan disse værktøjer opfører sig."

Det er værd at overveje NIST's AI Risk Management Framework, hvilket vil hjælpe virksomheder med at realisere teknologiens fordele og samtidig mindske dens risici. ISO 42001:2023 Rammen foreslår også, hvordan man opretter og vedligeholder AI-styringssystemer ansvarligt i organisationer.

Effektiv ledelse kan ikke være en eftertanke. Hvis den er det, har du allerede fejlet, siger Peters. For at ledelse kan beskytte din virksomhed effektivt, skal den være indbygget i dine risiko- og compliance-strategier fra starten, råder han.

"Ingen virksomheder har råd til at sige 'nej til AI'. Vi ønsker alle at udnytte fordelene, men det skal gøres ansvarligt," forklarer Peters.

Det betyder at stille svære spørgsmål om, hvor dine data befinder sig, hvordan de strømmer gennem din virksomhed og dine leverandører, og hvem – eller hvad – der har adgang til dem.

"Min bekymring er, at hvis virksomheder ikke kommer foran dette nu, vil de ende med konstant at reagere på hændelser i stedet for at forhindre dem," siger Peters. "Fra et forretningsperspektiv vil dette med den hastighed, AI-udviklingen tager, hurtigt blive uholdbart."