Det ni skriver in i ett AI-verktyg kan dyka upp i svar senare

Information kan läcka via AI-verktyg. OWASP:s projekt för säkerhet i generativ AI listar läckage av känslig information som en av de tio största riskerna för tjänster som bygger på språkmodeller, i listan för 2025. På OWASP:s sida om risken står det att den som skriver in information behöver veta att den kan dyka upp i modellens svar senare. Frågorna längre ner är vår översättning för ledningen i ett bolag som köper sådana tjänster.

OWASP räknar upp sju typer av känslig information

Som känslig information nämns personuppgifter, finansiella uppgifter, hälsojournaler, konfidentiell affärsinformation, inloggningsuppgifter, juridiska dokument och uppgifter om egna modeller, till exempel träningsmetoder och källkod.

OWASP beskriver tre sätt det kan gå till. Ett svar kan innehålla en annan användares personuppgifter om uppgifter har rensats bristfälligt. En angripare kan formulera sin inmatning så att verktyget släpper ut sådant det borde hålla inne, vilket kallas prompt injection. Och information kan av misstag ha hamnat i träningsdata. OWASP skriver att begränsningar i verktygets systeminstruktioner kan hjälpa men går att kringgå.

Avtalet med leverantören styr hur er information används

Vår bedömning är att det är scenariot med träningsdata som bolaget kan påverka genom avtalet. Villkoren avgör om det ni skriver in får användas för att träna modellen, och de skiljer sig mellan konton, vilket artikeln om privata och betalda planer visar. Det är en av vägarna till att något ni skrivit in senare kan dyka upp i ett svar till någon annan.

De två andra scenarierna ligger hos leverantören: hur data hålls isär mellan användare och hur verktyget står emot angrepp. Be om skriftliga svar om de två punkterna och spara dem tillsammans med avtalet.

Vår bedömning är att inget verktyg kan garantera att ingenting avslöjas. Ledningen kan minska mängden känslig information som skrivs in och veta vad som skrivits in.

Fyra frågor översätter OWASP:s åtgärder

Den första frågan gäller vilken information som aldrig får skrivas in, och om medarbetarna vet det. OWASP rekommenderar att användare informeras om vad de ska undvika att skriva in. Den andra gäller om ett dokument anonymiseras innan det används eller klistras in som det är, där OWASP beskriver rensning och maskering av känsligt innehåll som en åtgärd. Den tredje gäller vem som har åtkomst till vilka data som verktyget kan söka i. OWASP förordar att åtkomsten begränsas till vad som behövs, och i verktyg som söker i bolagets egna filer hänger det ihop med medarbetarnas behörigheter, vilket artikeln om Copilot och behörigheter går igenom. Den fjärde gäller om bolaget har valt bort att det som skrivs in används för träning, där leverantören erbjuder det. OWASP nämner möjligheten att välja bort.

Den som inte vet vilka verktyg som används kan börja med artikeln om att hitta alla AI-initiativ som redan pågår. Vad som skyddas som företagshemlighet när information skrivs in beskriver artikeln om företagshemligheter och AI.

Be en medarbetare frivilligt visa vad hen senast skrev in i verktyget. Fråga sedan om samma text hade fått skickas i ett mejl till någon utanför bolaget.