Ikke mange selskaper kan på egenhånd fjerne 1 billion dollar i markedsverdi fra det amerikanske aksjemarkedet. Likevel er det akkurat det den kinesiske AI-oppstartsbedriften DeepSeek klarte i slutten av januar etter å ha introdusert en ny modell som hevdes å operere til en brøkdel av OpenAIs kostnad med lignende resultater. Siden den gang har markedene hentet seg inn igjen, og nyheter om alvorlige sikkerhets- og personvernproblemer med DeepSeek-R1-språkmodellen (LLM) og firmaets front-end-app har dukket opp.

Men før CISO-er trekker på skuldrene og går videre, la oss sette dette i sammenheng. Bare fordi DeepSeeks teknologi har blitt merket med høy risiko betyr ikke det at andre modeller er helt feilfrie. Sikkerhetsteam kan trenge standarder for beste praksis for å hjelpe dem med å navigere risiko i dette raskt utviklende området.

Hva er galt med DeepSeek?

Ifølge en forskningsartikkel har DeepSeek-R1 to hovedproblemer:

 

  • Det er sårbart for "jailbreaking" via rask injeksjon. Med andre ord, ved å skrive inn spesifikke meldinger, kan brukere omgå de innebygde sikkerhetsrekkverkene som er satt inn av DeepSeek-utviklere – noe som resulterer i noen uetiske og direkte farlige utdata. For eksempel, da Kela-forskere ba LLM om å adoptere en "ond" persona, fri for etiske eller sikkerhetsmessige begrensninger, var de ganske fornøyde med å gi et infostealer-malware-skript, forslag til hvilke nettkriminalitetsmarkedsplasser de skulle besøke, og til og med veiledning for å lage en selvmordsdrone
  • Det er utsatt for "hallusinasjoner" – for eksempel å gi når du blir bedt om det en liste over personlig informasjon om senior OpenAI-ansatte, som var falsk

En separat studie fra EnkryptAI bekrefter at DeepSeek er tilbøyelig til å levere feilinformasjon og skadelig innhold. Den hevder at modellen er:

  • 3 ganger mer partisk enn Claude-3 Opus
  • 4 ganger mer sårbar for å generere usikker kode enn OpenAIs O1
  • 4 ganger mer giftig enn GPT-4o
  • 11 ganger større sannsynlighet for å generere skadelig utgang sammenlignet med OpenAI O1
  • 3.5 ganger større sannsynlighet for å produsere kjemisk, biologisk, radiologisk og nukleært (CBRN) innhold enn OpenAI O1 og Claude-3 Opus

Ytterligere bekymringer rundt sikkerheten til DeepSeeks backend-infrastruktur dukket opp etter at en sikkerhetsleverandør oppdaget en offentlig tilgjengelig database som tilhørte selskapet, og avslørte svært sensitive data, inkludert loggstrømmer, API-hemmeligheter og driftsdetaljer.

En separat analyse fra SecurityScorecard avslører en rekke sikkerhets- og personvernproblemer med DeepSeek Android-appen, inkludert:

  • Svak sikkerhet, som hardkodede krypteringsnøkler, svake kryptografiske algoritmer og SQL-injeksjonsrisiko
  • Altfor bred datainnsamling om brukere, inkludert inndata, enhetsdetaljer og tastetrykkmønstre, som alle er lagret på servere i Kina
  • Uavslørt datadeling med kinesiske statseide foretak og TikTok-forelder ByteDance, og vage personvernregler

Anti-feilsøkingsteknikker som vanligvis brukes for å hindre sikkerhetsanalyse.

Å løfte lokket på LLM-risikoer

Men mens rivaliserende modeller som OpenAIs antas å være langt sikrere, ville det være dumt å anta at risikoen som fremheves av DeepSeek-R1 ikke er tilstede andre steder.

"Den utfoldende DeepSeek-hendelsen bør ikke utnyttes som en praktisk grunn til å plutselig glemme alvorlige brudd og AI-relaterte risikoer fra andre GenAI-leverandører. Ellers savner vi skogen for trærne," argumenterer ImmuniWeb CEO, Platt Law cybersecurity partner og Capitol Technology University professor Ilia Kolochenko.

Enten organisasjoner bruker en tredjeparts LLM som DeepSeek eller utvikler/finjusterer en internt, må de være klar over hvordan det kan utvide bedriftens angrepsoverflate. Potensielle risikopunkter inkluderer selve modellen, dataene den er trent på, eventuelle APIer, tredjeparts åpen kildekode-biblioteker, front-end-applikasjoner og backend-skyinfrastruktur.

OWASP har satt sammen en topp 10-liste for LLM-applikasjoner som viser de viktigste sikkerhetsproblemene – noen av dem påvirket DeepSeek. Disse er:

  1. Umiddelbare injeksjonssårbarheter som kan utnyttes ved å lage spesifikke innganger for å endre modellens oppførsel, omgå sikkerhetsfunksjoner.
  2. Utlevering av sensitiv informasjon som kan inkludere bedriftshemmeligheter eller kundedata.
  3. Svakheter i forsyningskjeden, for eksempel feil i åpen kildekode-komponenter, som kan utnyttes til å lage utilsiktede utdata, stjele sensitive data eller forårsake systemfeil.
  4. Data- og modellforgiftning, der forhåndstrening, finjustering eller innebygging av data blir manipulert for å introdusere sårbarheter, bakdører eller skjevheter.
  5. Feil håndtering av utdata, som følge av utilstrekkelig validering, desinfisering og håndtering, som potensielt kan føre til hallusinasjoner eller introdusere sikkerhetssårbarheter.
  6. Overdreven byrå stammer fra overdreven funksjonalitet, tillatelser og/eller autonomi og kan føre til en rekke negative utfall, inkludert brudd og overholdelsesproblemer.
  7. Systemprompt lekkasje, som oppstår når systemmeldinger inneholder sensitiv informasjon, slik at angripere kan bruke denne innsikten med våpen.
  8. Svakheter i vektor og innebygging er spesifikke for LLM-systemer som bruker Retrieval Augmented Generation (RAG) og kan utnyttes til å injisere skadelig innhold, manipulere modellutdata eller få tilgang til sensitiv informasjon.
  9. Feilinformasjon, som i stor grad stammer fra hallusinasjoner.
  10. Ubegrenset forbruk, som stammer fra "overdrevne og ukontrollerte slutninger" og kan føre til tjenestenekt.

Kan ISO 42001 hjelpe?

Den gode nyheten er at IT-sjefer som ønsker å utnytte kraften til juridiske sjefer i driften og/eller levere til kunder, kan gjøre det på en måte som reduserer disse risikoene, takket være en banebrytende ny standard. ISO 42001 gir et rammeverk for å etablere, implementere, vedlikeholde og kontinuerlig forbedre et AI-styringssystem (AIMS). Systemet dekker hele livssyklusen til AI-systemer og hjelper organisasjoner med å:

  • Legg inn etiske prinsipper i AI for å unngå skjevhet og respektere menneskerettighetene
  • Øk åpenheten til AI-systemer og algoritmer for å drive tillit og ansvarlighet
  • Identifiser, vurder og reduser risikoer som de som er fremhevet av OWASP og funnet i DeepSeek
  • Forbedre samsvar ved å tilpasse AI-operasjoner med eksisterende juridiske og regulatoriske rammer
  • Fremme en kultur for kontinuerlig forbedring av AI-systemadministrasjon

Kolochenko sier til ISMS.online at slike standarder ikke er et universalmiddel, men kan tjene et verdifullt formål.

"Den nye ISO 42001-standarden vil absolutt gi verdi for å fylle ut det regulatoriske vakuumet innen AI, selv om hendelser som involverer AI - inkludert svært alvorlige - sannsynligvis vil fortsette å vokse eksponentielt," hevder han.

Corian Kennedy, SecurityScorecard senior trusselinnsikt og attribusjonssjef, går lenger.

"Både ISO 42001 og ISO 27001 gir styrings- og sikkerhetsrammeverk som bidrar til å redusere risikoen fra usikre tredjepartsapper som DeepSeek og høyrisiko LLM-er - enten eksternt eller internt bygget," sier han til ISMS.online.

"Sammen bidrar de til å redusere risikoen fra usikre AI-modeller ved å håndheve streng styring, styrke overholdelse av regelverk for å forhindre uautorisert dataeksponering, og sikre interne AI-systemer med tilgangskontroller, kryptering og leverandørdue diligence."

Kennedy påpeker imidlertid at selv om ISO 42001 kan gi et "solid grunnlag for AI-sikkerhet, personvern og styring", kan den mangle kontekstuell forretningsrisiko.

"Derfor er det ansvaret til de som er i cyberforsvaret å implementere ytterligere kontroller basert på konteksten til trussellandskapet og til støtte for virksomheten," hevder han.