Hvad DeepSeek fortæller os om cyberrisiko og store sprogmodeller

Ikke mange virksomheder kan på egen hånd udslette 1 billion dollars i markedsværdi fra det amerikanske aktiemarked. Alligevel er det præcis, hvad kinesisk AI-opstart DeepSeek forvaltes i slutningen af ​​januar efter at have introduceret en ny model, der hævdes at fungere til en brøkdel af OpenAI's omkostninger med lignende resultater. Siden da er markederne kommet sig, og nyheder om alvorlige sikkerheds- og privatlivsproblemer med DeepSeek-R1 large language model (LLM) og firmaets front-end app er dukket op.

Men før CISO'er trækker på skuldrene og går videre, lad os sætte dette i sammenhæng. Bare fordi DeepSeeks teknologi er blevet betegnet som højrisiko, betyder det ikke, at andre modeller er fuldstændig fejlfrie. Sikkerhedsteams kan have brug for bedste praksis-standarder for at hjælpe dem med at navigere i risici i dette hurtigt udviklende område.

Hvad er der galt med DeepSeek?

Ifølge ét stykke forskning, DeepSeek-R1 har to hovedproblemer:

• Det er sårbart over for "jailbreaking" via hurtig indsprøjtning. Med andre ord, ved at indtaste specifikke prompter kan brugerne omgå de indbyggede sikkerhedsrækværker indsat af DeepSeek-udviklere - hvilket resulterer i nogle uetiske og direkte farlige output. For eksempel, da Kela-forskere tilskyndede LLM til at adoptere en "ond" persona, fri for etiske eller sikkerhedsmæssige begrænsninger, var de meget glade for at give et infostealer malware-script, forslag til, hvilke cyberkriminalitetsmarkedspladser de skulle besøge, og endda vejledning om at skabe en selvmordsdrone
• Det er tilbøjeligt til "hallucinationer" – for eksempel at give, når du bliver bedt om det, en liste over personlige oplysninger om ledende OpenAI-medarbejdere, som var falsk

En separat undersøgelse fra EnkryptAI bekræfter, at DeepSeek er tilbøjelig til at levere misinformation og skadeligt indhold. Den hævder, at modellen er:

• 3 gange mere forudindtaget end Claude-3 Opus
• 4 gange mere sårbar over for generering af usikker kode end OpenAI's O1
• 4x mere giftig end GPT-4o
• 11 gange større sandsynlighed for at generere skadeligt output sammenlignet med OpenAI O1
• 3.5 gange større sandsynlighed for at producere indhold af kemiske, biologiske, radiologiske og nukleare (CBRN) end OpenAI O1 og Claude-3 Opus

Yderligere bekymringer over sikkerheden i DeepSeeks back-end-infrastruktur dukkede op efter en sikkerhedsleverandør opdaget en offentligt tilgængelig database, der tilhører virksomheden, som afslører meget følsomme data, herunder log-streams, API-hemmeligheder og operationelle detaljer.

Separat analyse fra SecurityScorecard afslører en række sikkerheds- og privatlivsproblemer med DeepSeek Android-appen, herunder:

• Svag sikkerhed, såsom hårdkodede krypteringsnøgler, svage kryptografiske algoritmer og SQL-injektionsrisici
• Alt for bred dataindsamling om brugere, herunder input, enhedsdetaljer og tastetryksmønstre, som alle er gemt på servere i Kina
• Hemmelig datadeling med kinesiske statsejede virksomheder og TikTok moderselskabet ByteDance og vage privatlivspolitikker

Anti-debugging-teknikker, som normalt anvendes til at forhindre sikkerhedsanalyse.

Løft af låget på LLM-risici

Men mens rivaliserende modeller som OpenAI's menes at være langt mere sikre, ville det være tåbeligt at antage, at de risici, DeepSeek-R1 fremhæver, ikke er til stede andre steder.

"Den udfoldede DeepSeek-hændelse bør ikke udnyttes som en bekvem grund til pludselig at glemme alvorlige krænkelser og AI-relaterede risici fra andre GenAI-leverandører. Ellers mangler vi skoven for træerne," argumenterer ImmuniWeb CEO, Platt Law cybersikkerhedspartner og Capitol Technology University professor Ilia Kolochenko.

Uanset om organisationer bruger en tredjeparts LLM som DeepSeek eller udvikler/finjusterer en internt, skal de være opmærksomme på, hvordan det kan udvide virksomhedens angrebsoverflade. Potentielle risikopunkter omfatter selve modellen, de data, den er trænet på, eventuelle API'er, tredjeparts open source-biblioteker, frontend-applikationer og back-end cloud-infrastruktur.

OWASP har kompileret a Top 10 for LLM-applikationer en liste over de vigtigste sikkerhedsproblemer - hvoraf nogle påvirkede DeepSeek. Disse er:

1. Hurtig injektion sårbarheder som kan udnyttes ved at lave specifikke input til at ændre modellens opførsel, uden at sikkerhedsfunktioner.
2. Videregivelse af følsomme oplysninger som kan omfatte virksomhedshemmeligheder eller kundedata.
3. Supply chain sårbarheder, såsom fejl i open source-komponenter, som kan udnyttes til at skabe utilsigtede output, stjæle følsomme data eller forårsage systemfejl.
4. Data- og modelforgiftning, hvor fortræning, finjustering eller indlejring af data manipuleres for at introducere sårbarheder, bagdøre eller skævheder.
5. Forkert outputhåndtering, som følge af utilstrækkelig validering, desinficering og håndtering, hvilket potentielt kan føre til hallucinationer eller indføre sikkerhedssårbarheder.
6. Overdreven handlefrihed stammer fra overdreven funktionalitet, tilladelser og/eller autonomi og kan føre til et væld af negative resultater, herunder brud og overholdelsesproblemer.
7. Systemprompt lækage, som opstår, når systemprompter indeholder følsomme oplysninger, hvilket gør det muligt for angribere at våben denne indsigt.
8. Vektor- og indlejringssvagheder er specifikke for LLM-systemer, der bruger Retrieval Augmented Generation (RAG) og kan udnyttes til at injicere skadeligt indhold, manipulere modeloutput eller få adgang til følsomme oplysninger.
9. Misinformation, som i høj grad stammer fra hallucinationer.
10. Ubegrænset forbrug, som stammer fra "overdrevne og ukontrollerede slutninger" og kan føre til lammelsesangreb.

Kan ISO 42001 hjælpe?

Den gode nyhed er, at CISO'er, der ønsker at udnytte kraften fra LLM'er i deres operationer og/eller at levere til kunder, kan gøre det på en måde, der mindsker disse risici, takket være en banebrydende ny standard. ISO 42001 giver en ramme til at etablere, implementere, vedligeholde og løbende forbedre et AI Management System (AIMS). Den dækker hele livscyklussen af ​​AI-systemer og hjælper organisationer med at:

• Integrer etiske principper i AI for at undgå bias og respektere menneskerettighederne
• Øg gennemsigtigheden af ​​AI-systemer og algoritmer for at fremme tillid og ansvarlighed
• Identificer, vurder og dæmp risici som dem, der fremhæves af OWASP og findes i DeepSeek
• Forbedre overholdelse ved at tilpasse AI-operationer med eksisterende juridiske og regulatoriske rammer
• Fremme en kultur med kontinuerlig forbedring af AI-systemstyring

Kolochenko fortæller til ISMS.online, at sådanne standarder ikke er et vidundermiddel, men kan tjene et værdifuldt formål.

"Den nye ISO 42001-standard vil helt sikkert bringe værdi til at udfylde det regulatoriske vakuum inden for AI, selvom hændelser, der involverer AI - inklusive meget alvorlige - sandsynligvis vil fortsætte med at vokse eksponentielt," argumenterer han.

Corian Kennedy, SecurityScorecard senior trusselindsigt og attributionschef, går videre.

"Både ISO 42001 og ISO 27001 giver styrings- og sikkerhedsrammer, der hjælper med at mindske risici fra usikre tredjepartsapps som DeepSeek og højrisiko LLM'er - uanset om det er eksternt eller internt bygget," siger han til ISMS.online.

"Tilsammen hjælper de med at reducere risici fra usikre AI-modeller ved at håndhæve streng styring, styrke overholdelse af lovgivningen for at forhindre uautoriseret dataeksponering og sikre interne AI-systemer med adgangskontrol, kryptering og leverandørdue diligence."

Kennedy påpeger dog, at selvom ISO 42001 kan give et "solid grundlag for AI-sikkerhed, privatliv og styring", kan den mangle kontekstuelle forretningsrisici.

"Derfor er det dem i cyberforsvarets ansvar at implementere yderligere kontroller baseret på konteksten af ​​trusselslandskabet og til støtte for virksomheden," argumenterer han.