Generativ AI (GenAI) har nået de højeste niveauer af branchehype, siden den brød frem i slutningen af ​​2022. Nu går den ind i det, som Gartner kalder "desillusioneringens bund", da implementeringer ikke lever op til de tårnhøje forventninger. I 2023, McKinsey anslog at GenAI kunne tilføje hvad der svarer til 2.6 billioner til 4.4 billioner dollars årligt på tværs af 63 use cases. Men mindre end et år senere hævdede under 30 % af AI-lederne Deres administrerende direktører var tilfredse med projekternes ROI, ifølge Gartner.

Værre er det, at de forretningsmæssige risici forbundet med at bruge teknologien kan være betydelige. Bare spørg Deloitte Australia, som for nylig blev kritiseret for at inkludere AI-genererede fejl i en rapport fra den føderale regering, de skrev. I takt med at organisationer kappes om at implementere teknologien for at opnå konkurrencefordele, bliver sikkerhedsforanstaltninger for styring afgørende.

Deloitte forlod med rødt i ansigtet

Den 237 sider lange rapport, der er udarbejdet af Deloitte, blev oprindeligt offentliggjort på Department of Employment and Workplace Relations hjemmeside i juli. ifølge rapporterResultaterne tydede på en uoverensstemmelse mellem de systemer, som regeringen bruger til at udrydde velfærdssvindel, og de faktiske politiske mål. Universitetsforsker Chris Rudge bemærkede dog, at noget ikke var helt rigtigt.

Efter yderligere undersøgelser fandt han angiveligt 20 fejl i rapporten, herunder:

  • Et opdigtet citat fra en føderal dommer, hvis efternavn var stavet forkert
  • Ti referencer fra en bog med titlen "The Rule of Law and Administrative Justice in the Welfare State", som faktisk ikke findes.
  • Fejlagtig tilskrivning af bogen til en professor ved Sydney University
  • Referencer til ikke-eksisterende rapporter tilskrevet juridiske og softwaretekniske eksperter

Som svar sagde Deloitte Australia angiveligt kun, at "sagen er blevet løst direkte med klienten". Regeringen delte dog, at konsulentfirmaet havde indvilliget i at tilbagebetale en del af honoraret på 440,000 australske dollars (290,000 dollars) for projektet. I en opdateret version af rapporten blev fejlene tilsyneladende fjernet, og en ny afsløring tilføjede, at Azure OpenAI blev brugt til at skrive den.

Hallucinationer og mere

Deloitte Australia er ikke alene om at finde sig flov over AI på arbejdspladsen. En rapport fra april fra rivalen KPMG afslører detMens 67 % af medarbejderne bruger AI til at forbedre deres produktivitet, indrømmer næsten seks ud af ti (57 %), at de har lavet fejl i deres arbejde på grund af fejl genereret af teknologien.

Hallucinationer er en vedvarende udfordring, især når offentligt tilgængelige AI-værktøjer bruges til bestemte opgaver, der kræver en høj grad af domæneekspertise. De er nogle gange, men ikke altid, forårsaget af ufuldstændige eller ukorrekte træningsdata. Men risikoen er, at AI'en lyver med så stor sikkerhed, at en ikke-ekspert kan falde for hallucinationen.

Hallucinationer er dog ikke den eneste risiko, der stammer fra brugen af ​​AI på arbejdspladsen. Brugere kan ved et uheld dele følsomme virksomheds-IP- eller kundeoplysninger i prompts med en offentlig model. Det repræsenterer betydelige risici for datalækage og compliance, da de samme oplysninger teoretisk set kan blive gengivet til andre brugere. De er også i risiko for tyveri fra modeludvikleren. AI-værktøjer kan i sig selv indeholde sårbarheder eller være målrettet mod fjendtlige angreb, der er designet til at skabe utilsigtede output.

Disse risici er ikke teoretiske. ISMS Status for informationssikkerhedsrapport 2025 afslører, at 26 % af britiske og amerikanske virksomheder har oplevet et dataforgiftningsangreb i løbet af det seneste år. Og en tredjedel (34 %) er bekymrede over spredningen af ​​skygge-AI i organisationen.

Disse risici kan blive forstærket med den udbredte anvendelse af agentisk AI, som er designet til at fungere autonomt på tværs af arbejdsgange med langt mindre menneskelig overvågning for at fuldføre opgaver. Bekymringen er, at det kan tage meget længere tid at opdage, når agenten begynder at opføre sig mærkeligt eller på en ikke-kompatibel måde.

For organisationer som Deloitte Australia, der er i modtagerfasen, kan ukontrolleret brug af AI udsætte dem for omdømme-, finans- og compliance-risici. I dette særlige tilfælde var det økonomiske tab ubetydeligt for en organisation af Deloittes størrelse. Men hændelsen kan få potentielle nye kunder til at tænke sig om en ekstra gang, før de underskriver aftaler.

ISO 42001 til undsætning?

Det er ikke første gang, at AI-hallucinationer har bragt enkeltpersoner og organisationer i forlegenhed, der burde vide bedre. I 2023 kom det frem, at et amerikansk advokatfirma citerede falske sager og citater opfundet af ChatGPT i en personskadesag. Den føderale dommer beskrev det på daværende tidspunkt som "en hidtil uset omstændighed". Selvom udviklere arbejder på måder at minimere hallucinationer af denne art, er det mere sandsynligt, at andre virksomheder vil følge i Deloitte Australias fodspor, jo mere teknologien bruges uden tilstrækkelige beskyttelsesrækværk og tilsyn.

For Ruth Astbury, medstifter af ExpandAI, er sagen "en barsk påmindelse om, at AI-risiko ikke kun er teknisk – den er organisatorisk og berører alle områder af forretningsrisikostyring." Hun argumenterer for, at tilstrækkelig "governance, ansvarlighed og løbende menneskelig overvågning" var afgørende mangelfuld, og i sidste ende gav næring til en hændelse, der kunne forårsage enorm omdømmeskade for virksomheden.

"Når AI-værktøjer rulles ud uden defineret ejerskab, etiske grænser eller brugspolitikker, innoverer du ikke – du gambler med dit brands omdømme," fortæller hun ISMS.online. "Forretningsrisiciene ved ureguleret AI spænder fra databrud og bias til manglende compliance og tab af kundernes tillid."

Selvom AI kan hjælpe forskere, bør den aldrig erstatte "gammeldags gennemgang, forfinelse og bekræftelse af fakta", tilføjer Astbury. "Det overraskende er, at dette skete inden for et af de fire store konsulentfirmaer," fortsætter hun. "AI-partnere og seniorkonsulenter lever og ånder deres domæner. De kan, og bør, genkende referencer eller påstande i rapporter, som de aldrig har stødt på, eller som tydeligvis er hallucinationer."

Svaret kunne være ISO 42001, som blev designet til at hjælpe organisationer med at etablere, implementere, vedligeholde og løbende forbedre AI-ledelsessystemer.

"Løsningen er ligetil: Organisationer har brug for en struktureret tilgang til AI-risikostyring, klare politikker, gennemsigtig beslutningstagning og personaleuddannelse, der integrerer ansvarlighed på alle niveauer. Det er her, AI-styring, understøttet af et AI-styringsrammeværk som ISO/IEC 42001, kommer ind i billedet," forklarer Astbury.

"ISO/IEC 42001 leverer et ledelsessystem til AI, ligesom ISO 27001 gør for informationssikkerhed, og sikrer, at løbende AI-styring, risikostyring, overvågning og etisk design er indbygget i ethvert AI-initiativ."

Der er stadig et stykke vej endnu, før AI-værktøjer begynder at slå igennem. Gartners berømte Produktivitetsplateau. Men hvis de skal nå dertil, bliver organisationer nødt til at indse, at menneskelig ekspertise altid vil være en forudsætning for succesfulde use cases.