legal247

Prompt injection: hvilke sikkerhetskrav bør stilles til KI-agenter i kontrakten?

Kort fortalt

Prompt injection er angrep der skjulte instrukser i tekst får en språkmodell til å handle mot virksomhetens interesser. Risikoen kan ikke fjernes helt, så den må begrenses ved minste privilegium, menneskelig godkjenning og logging. Kontrakten bør pålegge leverandøren konkrete sikkerhetskrav, testing, varsling av sårbarheter og hendelser og et ansvar som står i forhold til risikoen.

OWASP plasserte prompt injection øverst på listen over sikkerhetsrisikoer for applikasjoner som bygger på store språkmodeller i OWASP Top 10 for LLM Applications 2025, og risikoen øker når språkmodellen er koblet til verktøy som kan sende e-post, endre data eller utføre betalinger. Rettslig er spørsmålet regulert av flere regelsett samtidig. KI-forordningen krever i KI-forordningen art. 15 nr. 5 at høyrisikosystemer er motstandsdyktige mot forsøk fra uautoriserte tredjeparter på å endre bruk, resultater eller ytelse, og personvernforordningen stiller krav til sikkerheten ved behandlingen. Artikkelen behandler hvorfor språkmodeller er sårbare for slike angrep, hvilke krav regelverket stiller, hvilket systemdesign som begrenser konsekvensene, og hva en virksomhet som kjøper eller bygger en KI-agent, bør kreve av leverandøren i kontrakten.

Hva er prompt injection, og hvorfor skiller ikke språkmodellen instruks fra data?

Prompt injection er angrep der tekst som språkmodellen behandler, inneholder instrukser som får modellen til å handle i strid med det virksomheten har bestemt. Årsaken ligger i hvordan modellen virker. Instruksene fra virksomheten, spørsmålet fra brukeren og innholdet modellen henter fra dokumenter, e-post eller nettsider, blir alle lagt inn i den samme tekststrømmen som modellen behandler. Modellen har ingen teknisk sikker grense mellom det som er ment som instruks, og det som er ment som opplysninger.

En tradisjonell programvaresårbarhet kan normalt rettes med en oppdatering, men for prompt injection finnes det ingen tilsvarende løsning. OWASP legger til grunn at det er uklart om det finnes en sikker metode for å forhindre slike angrep fullt ut, og at tiltakene først og fremst reduserer virkningen. NISTs taksonomi over angrep mot maskinlæringssystemer, NIST AI 100-2 E2025 fra mars 2025, beskriver på samme måte prompt injection som en egen angrepsklasse der de kjente mottiltakene har begrensninger. For den rettslige vurderingen betyr dette at spørsmålet ikke er om en KI-agent kan manipuleres, men hvor stor skade en vellykket manipulasjon kan gjøre.

Hva er forskjellen på direkte og indirekte prompt injection?

Ved direkte prompt injection er det brukeren av systemet som skriver inn instruksene. Et eksempel er en kunde som i en kundeservicetjeneste forsøker å få assistenten til å se bort fra reglene den er gitt, og i stedet gi opplysninger eller tilbud den ikke skulle gitt. Risikoen er størst der systemet har tilgang til opplysninger eller funksjoner som brukeren selv ikke skal ha.

Ved indirekte prompt injection ligger instruksene i innhold som modellen henter inn fra en ekstern kilde, for eksempel en nettside, et vedlegg, en kalenderinvitasjon eller et dokument i en delt mappe. Instruksene kan være skjult for mennesker som leser innholdet, men være fullt lesbare for modellen. Denne formen er den alvorligste for KI-agenter, fordi angriperen ikke trenger tilgang til systemet. Det er tilstrekkelig at agenten leser innhold angriperen har kontroll over, mens den har tilganger og fullmakter fra virksomheten. Ansvar for skade agenten påfører andre, er omtalt i artikkelen om ansvar for KI-agenter.

Hvilke rettslige krav gjelder for sikkerheten i KI-agenter?

Det finnes ingen egen regel om prompt injection, men flere regelsett stiller krav som treffer risikoen. Tabellen viser de viktigste.

Regelverk Hvem pliktene gjelder Krav som er relevante Status
KI-forordningen art. 15 Leverandører av høyrisikosystemer Nøyaktighet, robusthet og cybersikkerhet, herunder vern mot manipulerende input Gjelder i EU fra 2. desember 2027 (vedlegg III) og 2. august 2028 (vedlegg I), ikke tatt inn i EØS-avtalen
KI-forordningen art. 55 Leverandører av allmenne KI-modeller med systemisk risiko Evaluering med motstandstesting, hendelsesrapportering og cybersikkerhet Gjelder i EU fra 2. august 2025
Cyberrobusthetsforordningen (EU) 2024/2847 Produsenter av produkter med digitale elementer Grunnleggende cybersikkerhetskrav, sårbarhetshåndtering og rapportering Rapportering fra 11. september 2026, øvrige plikter fra 11. desember 2027, ikke tatt inn i EØS-avtalen
GDPR art. 32 og 33 Behandlingsansvarlige og databehandlere Egnede sikkerhetstiltak og melding av brudd innen 72 timer Gjelder i Norge
Digitalsikkerhetsloven Tilbydere av samfunnsviktige og digitale tjenester Risikobaserte sikkerhetstiltak og varsling av hendelser I kraft fra 1. oktober 2025

Etter KI-forordningen art. 15 nr. 5 skal de tekniske løsningene mot KI-spesifikke sårbarheter blant annet omfatte tiltak mot input som er utformet for å få modellen til å gjøre feil. Etter vår vurdering omfatter dette prompt injection, selv om begrepet ikke brukes i bestemmelsen. Etter endringen av KI-forordningen art. 113 ved forordning (EU) 2026/1744 gjelder kravene i EU først fra desember 2027 og august 2028, og de fleste KI-agenter vil uansett ikke være høyrisikosystemer. Leverandører av de største modellene skal etter KI-forordningen art. 55 nr. 1 bokstav a gjennomføre og dokumentere motstandstesting, og etter bokstav d sørge for et tilstrekkelig nivå av cybersikkerhet. Disse pliktene gjelder modelleverandøren og gir ikke kunden et selvstendig krav, men de gir et grunnlag for å kreve dokumentasjon.

Cyberrobusthetsforordningen gjelder programvare som gjøres tilgjengelig på markedet, med tilhørende løsninger for fjernbehandling av data. Etter cyberrobusthetsforordningen art. 14 skal produsenten fra 11. september 2026 gi et tidlig varsel innen 24 timer om aktivt utnyttede sårbarheter og alvorlige hendelser, og en fullstendig melding innen 72 timer. Ren programvare som tjeneste faller etter Kommisjonens sammendrag i utgangspunktet utenfor, med mindre tjenesten er nødvendig for at et produkt skal virke. Forordningen er ifølge EEA-Lex ikke tatt inn i EØS-avtalen.

For norske virksomheter er personvernforordningen, som gjelder gjennom personopplysningsloven, det regelverket som gjelder fullt ut i dag. Etter GDPR art. 32 skal både behandlingsansvarlig og databehandler gjennomføre tekniske og organisatoriske tiltak som gir et sikkerhetsnivå tilpasset risikoen, og vurderingen skal ta hensyn til den tekniske utviklingen. En agent med tilgang til personopplysninger som leser innhold fra eksterne kilder, uten at risikoen for prompt injection er vurdert, vil vanskelig oppfylle kravet. Lykkes et angrep i å få agenten til å utlevere personopplysninger, er det et brudd som etter GDPR art. 33 skal meldes til Datatilsynet innen 72 timer, se artikkelen om brudd på personopplysningssikkerheten. Virksomheter som er omfattet av digitalsikkerhetsloven, har i tillegg plikt til risikobaserte sikkerhetstiltak etter digitalsikkerhetsloven § 7 og § 10, og til å varsle hendelser uten unødig opphold etter § 8 og § 11.

Hvilket systemdesign begrenser konsekvensen av prompt injection?

Fordi angrepene ikke kan forhindres fullt ut, må agenten utformes slik at en vellykket manipulasjon gir begrenset skade. Både OWASP og retningslinjene for sikker utvikling av KI-systemer fra britiske NCSC, amerikanske CISA og flere andre lands myndigheter fra 27. november 2023 bygger på dette. NSM har ikke utgitt egen veiledning om KI-agenter, men viser i sin omtale av KI-baserte angrep fra 12. mai 2026 til grunnprinsippene for IKT-sikkerhet, herunder overvåking og lagring av logger.

Det første tiltaket er minste privilegium. Agenten skal bare ha de tilgangene oppgaven krever, med en egen teknisk identitet og uten å arve tilgangene til den ansatte som satte den opp. Det andre er menneskelig godkjenning av handlinger med betydelige følger, som betalinger, sletting, inngåelse av avtaler og utsendelse til eksterne mottakere. Godkjenningen må skje utenfor språkmodellen, slik at modellen ikke selv kan gi seg tillatelse. Det tredje er separasjon av verktøy og data. Innhold fra eksterne kilder bør merkes og behandles som upålitelig, og en agent som leser upålitelig innhold, bør ikke samtidig ha tilgang til både sensitive opplysninger og en kanal ut av virksomheten. Det fjerde er logging av hva agenten har lest, hvilke verktøy den har brukt og hvilke handlinger den har utført, slik at et angrep kan oppdages og dokumenteres. Datatilsynets råd om styring av KI-agenter peker i samme retning.

Hvilke sikkerhetskrav mot prompt injection bør stå i kontrakten?

Kontrakten bør beskrive konkrete tiltak og ikke bare en generell plikt til å følge bransjestandard. En henvisning til «god bransjepraksis» gir liten veiledning når praksis er i rask utvikling, og gjør det vanskelig å påvise mislighold. Leverandøren bør i stedet forplikte seg til de designtiltakene som er beskrevet over, og til å dokumentere hvordan agenten er konfigurert. Kravene bør gjelde både leverandørens eget system og de underleverandørene som leverer språkmodellen.

Avtalen bør videre pålegge leverandøren å teste systemet for prompt injection før levering og ved vesentlige endringer, herunder ved bytte av underliggende modell. Testingen bør omfatte motstandstesting (red teaming) utført av personer med uavhengighet fra utviklingsteamet, og kunden bør få et sammendrag av resultatene og tiltakene. Kunden bør også ha rett til å gjennomføre egne tester etter avtale, uten at det regnes som brudd på bruksvilkårene. Uten et slikt unntak kan kundens egen kontroll bli et brudd på standardvilkår som forbyr forsøk på å omgå sikkerhetstiltak. Leverandørenes vilkår for bruk på høyrisikoområder er behandlet i artikkelen om KI-leverandørvilkår ved høyrisikobruk.

Varslingsplikten bør omfatte både sårbarheter og hendelser. Leverandøren bør varsle uten ugrunnet opphold, og med en fast frist som gjør det mulig for kunden å overholde 72-timersfristen i GDPR art. 33. Varselet bør angi hvilke data og handlinger som kan være berørt. Er leverandøren databehandler, må databehandleravtalen etter GDPR art. 28 gi tilsvarende plikter. Avtalen bør i tillegg gi kunden rett til å stanse agenten umiddelbart og kreve at loggene gjøres tilgjengelige.

Hvordan bør ansvar og ansvarsbegrensning reguleres?

Standardvilkårene for KI-tjenester begrenser normalt ansvaret til vederlaget for en kort periode og utelukker indirekte tap og tap av data. Det tapet prompt injection typisk gir, som uautoriserte betalinger, utlevering av forretningshemmeligheter og personopplysninger eller krav fra tredjeparter, vil ofte falle inn under nettopp disse unntakene. Konsekvensen er at kunden bærer tapet selv om leverandøren har misligholdt sikkerhetskravene. Grensene for slike klausuler etter norsk rett er behandlet i artikkelen om ansvarsbegrensning i SaaS-avtaler.

Etter vår vurdering bør brudd på sikkerhets- og personvernforpliktelsene enten unntas fra ansvarstaket eller ha et eget, høyere tak. Tap av data, kostnader til hendelseshåndtering og varsling, og overtredelsesgebyr som skyldes leverandørens brudd, bør uttrykkelig regnes som direkte tap. Leverandøren bør svare for underleverandørene som for egne forhold. Om virksomheten blir bundet av disposisjoner agenten foretar etter å ha blitt manipulert, avhenger av avtalerettslige regler som er drøftet i artikkelen om KI-agenter og avtaleinngåelse.

Hva bør virksomheten gjøre før KI-agenten tas i bruk?

Tiltakene bør gjennomføres før agenten får tilgang til produksjonssystemer. Flere artikler finnes på pilarsiden om kunstig intelligens og pilarsiden om kontrakter.

  1. Kartlegg hvilke eksterne kilder agenten leser, og hvilke handlinger den kan utføre på grunnlag av dem.
  2. Begrens agentens tilganger til det oppgaven krever, og krev menneskelig godkjenning av betalinger, sletting og utsendelse til eksterne mottakere.
  3. Vurder risikoen for prompt injection i risikovurderingen etter GDPR art. 32, og i en personvernkonsekvensvurdering der agenten behandler personopplysninger i stort omfang.
  4. Krev i kontrakten konkrete sikkerhetstiltak, testing før levering og ved modellbytte, og rett for kunden til å teste selv.
  5. Avtal varsling av sårbarheter og hendelser med en frist som lar virksomheten melde brudd innen 72 timer.
  6. Forhandle et eget ansvarstak for brudd på sikkerhets- og personvernforpliktelser, og presiser at tap av data og kostnader ved hendelseshåndtering er direkte tap.

Spørsmål og svar

Kan leverandøren garantere at KI-agenten ikke kan manipuleres med prompt injection?

Nei, og en slik garanti bør ikke aksepteres som erstatning for konkrete forpliktelser. OWASP og NIST legger begge til grunn at det ikke finnes en kjent metode som forhindrer prompt injection fullt ut. Kontrakten bør derfor regulere hvilke tiltak leverandøren skal ha, hvordan de testes, og hvem som bærer tapet når et angrep likevel lykkes.

Er et vellykket prompt injection-angrep et brudd på personopplysningssikkerheten?

Det er et brudd etter GDPR art. 4 nr. 12 dersom angrepet fører til at personopplysninger utilsiktet eller ulovlig blir utlevert, endret, slettet eller gjort utilgjengelige. Den behandlingsansvarlige må da melde bruddet til Datatilsynet innen 72 timer etter art. 33, med mindre det er usannsynlig at bruddet medfører risiko for de registrerte.

Gjelder KI-forordningens krav til cybersikkerhet for alle KI-agenter?

Nei. Kravene i KI-forordningen art. 15 gjelder bare høyrisikosystemer, og i EU gjelder pliktene for systemer i vedlegg III fra 2. desember 2027. Forordningen er ikke tatt inn i EØS-avtalen. Kravene er likevel en egnet referanse for hva virksomheten bør kreve også av agenter som ikke er høyrisiko.

Neste faglige kontroll: 1. desember 2026