Forskere har detaljert identifisert en feil i Microsoft 365s Copilot, «EchoLeak», som kan tillate angripere å tømme sensitive bedriftsdata uten brukerinteraksjon. Er bedrifter selvtilfredse med tanke på trusselen fra AI etter hvert som problemer som dette øker?

I juni avslørte forskere at de hadde funnet en feil i Microsoft 365s copilot som kan tillate motstandere å stramme inn sensitive bedriftsdata i et «nullklikk»-angrep, uten å kreve noen interaksjon fra brukeren.

Kalt «EchoLeak» og antatt å være først av sitt slag, utnytter sårbarheten designfeil funnet i gjenfinning utvidet generasjon-baserte chatboter og AI-agenter, sa forskere ved Aim Labs.

I en blog, forklarte forskerne hvordan de brukte en ny utnyttelsesteknikk kalt LLM-omfangsbrudd (large language model). «Dette representerer et stort forskningsfremskritt i hvordan trusselaktører kan angripe AI-agenter – ved å utnytte interne modellmekanikker», skrev de.

Microsoft rettet problemet før det kunne brukes i virkelige angrep, men EchoLeak demonstrerer de svært reelle risikoene som utgjør dette. AI-verktøy i næringslivet.

Etter hvert som slike sårbarheter dukker opp i økende grad, er bedrifter selvtilfredse med tanke på trusselen fra AI, og hvilke skritt må de ta for å sikre at de er robuste?

AI-baserte trusler

AI-verktøy utgjør en rekke risikoer for bedrifter. For eksempel, selv om de har blitt opplært til å være nyttige, forstår de ikke alltid hva som ikke bør deles, sier Sam Peters, produktsjef hos ISMS.online.

En av de største risikoene ligger i måten generative AI-systemer trenes eller blir bedt om. «De kan lagre eller avdekke sensitiv informasjon utilsiktet, uten ondsinnet hensikt», advarer Lillian Tsang, senior advokat for databeskyttelse og personvern i advokatfirmaet Harper James.

Hvis AI-verktøy er dårlig konfigurert, kan de til og med gulpe opp klient- eller ansattdata som svar på forespørsler. «Bakgrunnsprosesser kan eksponere bufret eller tokenisert informasjon gjennom samhandling med eksterne systemer», forklarer Tsang. «Det mest urovekkende er at brukeren kanskje aldri får vite at dataene deres ble håndtert feil, noe som gjør det enda vanskeligere å oppdage og reagere.»

Noe som gjør vondt verre er hastigheten som AI tas i bruk med. AI-verktøy blir i økende grad integrert dypt i forretningsinfrastrukturen – ofte sammen med «vage retningslinjer» eller «begrenset innsikt i hvordan de behandler og lagrer data», sier Robert Rea, teknisk sjef i Graylog.

Sårbarheter i AI-verktøy setter ytterligere bunn i bålet. EchoLeak er et tydelig tegn på at sikkerhetsmodellene firmaer har stolt på ikke fungerer godt i AI, sier Emilio Pinna, direktør i SecureFlag. «Verktøy som Copilot fungerer på tvers av flere kilder og tillatelser, og henter inn data automatisk for å øke produktiviteten. Utfordringen er at AI ikke følger de samme klare grensene som tradisjonelle apper.»

AI-verktøy, som Microsoft Copilot, er utvilsomt kraftige, men de er bare så sikre som systemene og styringen rundt dem, sier Peters. «Jeg tror det denne hendelsen fremhever er at akkurat nå handler den virkelige risikoen med AI ikke bare om bevisst misbruk; det handler om utilsiktet eksponering.»

Risikobevisst

Som EchoLeak viser, er trusselen reell og voksende, men eksperter mener at noen bedrifter er selvtilfredse med tanke på farene forbundet med AI-verktøy. Dette er delvis fordi det er så mye fokus på hva AI kan gjøre, snarere enn risikoene den utgjør.

«Til en viss grad er bedrifter for tiden blindet av nyhetene ved AI og dens muligheter», forteller Joseph Thompson, advokat i det kommersielle og teknologiske teamet hos Birketts LLP. ISMS.online«Vi spør oss ikke selv om det er trygt, hva risikoene er, og hvordan vi kan beskytte oss selv og bedriftene våre.»

Det største problemet er at mange organisasjoner fortsatt ser på AI som et tillegg, snarere enn noe som fundamentalt endrer hvordan data tilgås og eksponeres, sier Peters. «Det er en antagelse om at leverandører har alt under kontroll.»

Realiteten er imidlertid at AI ikke sitter i en silo, sier han. «Den påvirker alt. Det er nettopp denne sammenkoblingen som gjør det så risikabelt uten de riktige kontrollene på plass.»

Etter hvert som KI er dypt integrert i kjerneproduktivitetspakker, øker de tilhørende risikoene betydelig, sier Rea. «KI-systemer fungerer ikke lenger som isolerte verktøy, men utvikler seg til gjennomgripende lag innebygd på tvers av applikasjoner, API-er og kommunikasjonskanaler. Denne utbredte integrasjonen utvider potensialet for misbruk, utilsiktet dataeksponering og lekkasje.»

Hvis ingenting gjøres for å håndtere problemet nå, vil ting bli verre. Etter hvert som teknologien utvikler seg, vil AI berøre flere data, systemer og arbeidsflyter, noe som vil utvide potensielle angrepsflater betydelig, sier Thompson.

Samtidig må bedrifter håndtere stadig mer sofistikerte angrepsmetoder som brukes av motstandere. «Angripere vil gå fra å utelukkende målrette kode og infrastruktur til å fokusere på selve AI-atferden», advarer Thompson.

Alt dette vil gjøre AI-styring stadig mer kompleks, noe som krever at team fra hele virksomheten samarbeider for å overvåke samsvar og overvinne potensielle trusler, legger Thompson til.

Styrking av strategier for styring av kunstig intelligens

Først og fremst er EchoLeak en vekker, sier Thompson. «Det handler ikke bare om å lappe sårbarheten og gå videre. Organisasjoner må revurdere både omfanget og måten AI-integrering i forretningskritiske systemer skal foretas på.»

Med et økende antall AI-verktøy og -applikasjoner som kommer på markedet, må bedrifter handle raskt. Dette innebærer «et alvorlig steg opp» i hvordan bedrifter tilnærmer seg AI-styring, sier Peters. «Selv om det kanskje høres kjedelig ut, inkluderer dette ting som tydelig dataklassifisering, sterkere tilgangskontroller, bedre overvåking og, viktigst av alt, opplæring av ansatte til å forstå hvordan disse verktøyene oppfører seg.»

Det er verdt å vurdere NISTs AI Risk Management Framework, som vil hjelpe bedrifter med å realisere teknologiens fordeler samtidig som de reduserer risikoen. ISO 42001:2023 Rammeverket foreslår også hvordan man kan opprette og vedlikeholde AI-styringssystemer på en ansvarlig måte i organisasjoner.

Effektiv styring kan ikke være en ettertanke. Hvis den er det, har du allerede mislyktes, sier Peters. For at styring skal beskytte virksomheten din effektivt, må den bygges inn i risiko- og compliance-strategiene dine fra starten av, råder han.

«Ingen bedrifter har råd til å si 'nei AI'. Vi ønsker alle å utnytte fordelene, men det må gjøres ansvarlig», forklarer Peters.

Dette betyr å stille vanskelige spørsmål om hvor dataene dine befinner seg, hvordan de flyter gjennom virksomheten din og leverandørene dine, og hvem – eller hva – som har tilgang til dem.

«Min bekymring er at hvis bedrifter ikke kommer i forkjøpet nå, vil de stadig reagere på hendelser, i stedet for å forhindre dem», sier Peters. «Fra et forretningsperspektiv vil dette raskt bli uholdbart med tempoet i AI-utviklingen.»