Gamla dokumentversioner kan bli AI-verktygets svar

Många bolag har en filserver där samma dokument finns i flera versioner. Offerten finns som version 2, version 3 och slutlig, och en kopia ligger i en mapp som någon döpte om för länge sedan. De som arbetar där vet att den slutliga ligger i en viss mapp och att kopian ska ignoreras. Ett AI-verktyg som söker bland filerna har inte den erfarenheten.

Verktyget behöver veta vilken version som gäller

Det här är vår bedömning och bygger på hur sådana verktyg fungerar i allmänhet. Ett verktyg som söker i bolagets filer hämtar de textstycken som bäst liknar frågan och bygger sitt svar på dem. Ett stycke ur en gammal version kan likna frågan lika mycket som stycket ur den nya. Ofta säger ingenting i texten att den ena är ersatt.

Då kan svaret bero på vilket stycke som råkade hamna först. Den som frågar får ett säkert formulerat svar, ofta med en källhänvisning, utan att något tyder på att dokumentet är inaktuellt.

Språkmodeller kan välja hämtad text framför sin egen rätta kunskap

Forskarna Kevin Wu, Eric Wu och James Zou mätte vad som händer när en språkmodell får hämtad text som motsäger det den själv kan. I studien ClashEval, som presenterades vid konferensen NeurIPS 2024, prövade de sex språkmodeller på över 1 200 frågor inom sex områden. Modellerna tog över felaktigt innehåll och lät det ersätta sin egen riktiga kunskap i mer än 60 procent av fallen. Det fanns ett samband mellan låg tilltro till det första svaret och benägenhet att ta över det hämtade. Ju mer ett påstående avvek från sanningen, desto mer sällan togs det över. En gammal version av ett dokument avviker oftast lite, vilket är vår tolkning av vad resultatet betyder här.

Studien handlar om medvetet ändrade texter och inte om gamla dokumentversioner. Slutsatsen vi drar är därför en tolkning. Ett verktyg som får både en gammal och en ny version har ingen särskild anledning att välja den nya, och kan inte i sig avgöra vilken som gäller. Det avgörs av vad bolaget har gjort med sina filer.

Så kan ledningen få ordning på underlaget

Börja med frågan vem som bestämmer vilken version som gäller för de dokument som verktyget ska söka i. Om svaret är att alla vet det blir nästa fråga var det står. Om bara de som skrev dokumentet vet vilken version som gäller kan verktyget inte veta det heller.

Låt sedan en person som kan verksamheten välja ut de dokument där en felaktig version skulle kosta mest, till exempel prislistor, tekniska specifikationer och avtalsmallar. Säkerställ att det bara finns en gällande version av dem i den miljö som verktyget söker i, och flytta resten till ett arkiv som verktyget inte söker i. Tills det är gjort bör svaren ses som ett förslag som någon kontrollerar mot källan.

Hur ni prövar verktyget mot ett känt svar beskrivs i artikeln Testa AI-verktyget mot ett svar ni redan kan. Vilka dokument ett verktyg över huvud taget kan nå styrs av behörigheterna, som tas upp i Copilot kan visa det medarbetaren har behörighet till.

Be någon ställa verktyget en fråga där ni vet att dokumentet har ändrats det senaste året. Kontrollera vilken version svaret bygger på.