Generativ AI (GenAI) har nådd de enorme høydene av bransjehype siden den slo igjennom sent i 2022. Nå går den inn i det Gartner kaller «desillusjonsbunnen» ettersom implementeringer ikke klarer å innfri de skyhøye forventningene. I 2023, McKinsey anslo at GenAI kunne legge til tilsvarende 2.6 billioner til 4.4 billioner dollar årlig på tvers av 63 brukstilfeller. Men mindre enn et år senere hevdet under 30 % av AI-lederne Administrerende direktører var fornøyde med avkastningen på prosjektene, ifølge Gartner.

Verre er det at forretningsrisikoen forbundet med bruk av teknologien kan være betydelig. Bare spør Deloitte Australia, som nylig ble kritisert for å inkludere AI-genererte feil i en rapport fra den føderale regjeringen de skrev. Etter hvert som organisasjoner kappløper om å ta i bruk teknologien for å oppnå konkurransefortrinn, blir styringsmekanismer avgjørende.

Deloitte forlot stillingen med rødt i ansiktet

Den 237 sider lange rapporten produsert av Deloitte ble opprinnelig publisert på nettsiden til Department of Employment and Workplace Relations i juli. ifølge rapporterFunnene tydet på et misforhold mellom systemene som brukes av myndighetene for å bekjempe velferdssvindel og faktiske politiske mål. Universitetsforsker Chris Rudge oppdaget imidlertid at noe ikke var helt riktig.

Etter videre undersøkelser fant han angivelig 20 feil i rapporten, inkludert:

  • Et oppdiktet sitat fra en føderal dommer, hvis etternavn var feilstavet
  • Ti referanser fra en bok kalt The Rule of Law and Administrative Justice in the Welfare State, som faktisk ikke finnes
  • Feilaktig tilskrivelse av boken til en professor ved Sydney University
  • Referanser til ikke-eksisterende rapporter tilskrevet juridiske eksperter og programvareeksperter

Som svar skal Deloitte Australia ha sagt at «saken er løst direkte med klienten». Myndighetene opplyste imidlertid at konsulentselskapet hadde gått med på å betale tilbake deler av honoraret på 440 000 australske dollar (290 000 dollar) for prosjektet. I en oppdatert versjon av rapporten ble feilene tilsynelatende fjernet, og en ny avsløring la til at Azure OpenAI ble brukt til å skrive den.

Hallusinasjoner og mer

Deloitte Australia er ikke alene om å synes de er flaue over AI på jobben. En aprilrapport fra rivalen KPMG avslører atMens 67 % av ansatte bruker AI for å forbedre produktiviteten sin, innrømmer nesten seks av ti (57 %) at de har gjort feil i arbeidet sitt på grunn av feil generert av teknologien.

Hallusinasjoner er en vedvarende utfordring, spesielt når offentlig tilgjengelige AI-verktøy brukes til visse oppgaver som krever høy grad av domeneekspertise. De er noen ganger, men ikke alltid, forårsaket av ufullstendige eller feil treningsdata. Men risikoen er at AI-en lyver med så stor sikkerhet at en ikke-ekspert kan falle for hallusinasjonen.

Hallusinasjoner er imidlertid ikke den eneste risikoen som følger av bruk av kunstig intelligens på arbeidsplassen. Brukere kan ved et uhell dele sensitiv bedrifts-IP eller kundeinformasjon i forespørsler med en offentlig modell. Dette representerer betydelig risiko for datalekkasje og samsvar, ettersom den samme informasjonen teoretisk sett kan bli gjengitt til andre brukere. Den er også i fare for tyveri fra modellutvikleren. Kunstig intelligens-verktøy kan i seg selv inneholde sårbarheter eller være målrettet mot fiendtlige angrep som er utformet for å skape utilsiktede resultater.

Disse risikoene er ikke teoretiske. ISMS Status for informasjonssikkerhetsrapport 2025 avslører at 26 % av britiske og amerikanske bedrifter har opplevd et dataforgiftningsangrep det siste året. Og en tredjedel (34 %) er bekymret for spredningen av skygge-AI i organisasjonen.

Disse risikoene kan forsterkes med den utbredte bruken av agentisk AI, som er utviklet for å fungere autonomt på tvers av arbeidsflyter med langt mindre menneskelig tilsyn for å fullføre oppgaver. Bekymringen er at det kan ta mye lengre tid å oppdage når agenten begynner å oppføre seg merkelig eller på en måte som ikke er i samsvar med regelverket.

For organisasjoner som Deloitte Australia som er mottakeren av hendelsen, kan ukontrollert bruk av AI eksponere dem for omdømme-, økonomisk og compliance-risiko. I dette tilfellet var det økonomiske tapet ubetydelig for en organisasjon av Deloittes størrelse. Men hendelsen kan få potensielle nye kunder til å tenke seg om to ganger før de signerer avtaler.

ISO 42001 til unnsetning?

Dette er ikke første gang AI-hallusinasjoner har satt enkeltpersoner og organisasjoner i forlegenhet som burde vite bedre. I 2023 kom det frem at et amerikansk advokatfirma viste til falske saker og sitater oppfunnet av ChatGPT i en personskadesak. Den føderale dommeren beskrev det den gang som «en enestående omstendighet». Selv om utviklere jobber med måter å minimere hallusinasjoner av denne typen, er det mer sannsynlig at andre firmaer følger i fotsporene til Deloitte Australia jo mer teknologien brukes uten tilstrekkelige rekkverk og tilsyn.

For Ruth Astbury, medgründer av ExpandAI, er saken «en sterk påminnelse om at AI-risiko ikke bare er teknisk – den er organisatorisk og berører alle områder av forretningsrisikostyring.» Hun argumenterer for at tilstrekkelig «styring, ansvarlighet og kontinuerlig menneskelig tilsyn» manglet avgjørende, og at det til slutt førte til en hendelse som kunne forårsake enorm omdømmeskade for firmaet.

«Når AI-verktøy rulles ut uten definert eierskap, etiske grenser eller bruksregler, innoverer du ikke – du gambler med merkevarens omdømme», sier hun til ISMS.online. «Forretningsrisikoen ved ustyrt AI spenner fra datainnbrudd og skjevhet til manglende samsvar og tap av kundetillit.»

Selv om AI kan hjelpe forskere, bør den aldri erstatte «gammeldags gjennomgang, forbedring og sikring av fakta», legger Astbury til. «Det som er overraskende er at dette skjedde innenfor et av de fire store konsulentselskapene», fortsetter hun. «AI-partnere og seniorkonsulenter lever og ånder for sine domener. De kan, og bør, gjenkjenne referanser eller påstander i rapporter som de aldri har møtt på, eller som tydelig er hallusinasjoner.»

Svaret kan være ISO 42001, som ble utviklet for å hjelpe organisasjoner med å etablere, implementere, vedlikeholde og kontinuerlig forbedre AI-styringssystemer.

«Løsningen er enkel: organisasjoner trenger en strukturert tilnærming til risikostyring knyttet til AI, klare retningslinjer, transparent beslutningstaking og opplæring av ansatte som integrerer ansvarlighet på alle nivåer. Det er her AI-styring, støttet av et rammeverk for AI-styring som ISO/IEC 42001, kommer inn», forklarer Astbury.

«ISO/IEC 42001 tilbyr et styringssystem for AI, omtrent som ISO 27001 gjør for informasjonssikkerhet, og sikrer at kontinuerlig AI-styring, risikostyring, overvåking og etisk design er innebygd i alle AI-initiativer.»

Det er fortsatt et stykke igjen før AI-verktøy slår an Gartners berømte Produktivitetsplatå. Men hvis de skal komme dit, må organisasjoner innse at menneskelig ekspertise alltid vil være en forutsetning for vellykkede brukstilfeller.