Testa AI-verktyget mot ett svar ni redan kan innan ni litar på det

En demonstration visar verktyget på dess bästa dag. Uppgiften är oftast vald av leverantören, underlaget är rent och resultatet ser övertygande ut. Det säger lite om hur verktyget klarar era egna ärenden, med deras luckor, undantag och ofullständiga underlag.

Ett enklare sätt att ta reda på det är att låta verktyget lösa en uppgift där ni redan kan svaret.

Välj ett avslutat fall och lås undan facit

Ta ett ärende som redan är färdigt, till exempel en offert som lämnats, ett avtal som granskats eller en bokföring som godkänts. Lägg det färdiga resultatet åt sidan innan testet startar, så att verktyget inte kan kopiera svaret och ingen finjusterar instruktionerna efter det. Kontrollera också att facit är rätt. Ett lämnat eller godkänt ärende kan ha fel i sig, och då ska avvikelserna granskas åt båda hållen.

Använd underlag som liknar vardagens och ta inte det finaste ni har. Verktyget kommer att möta ofullständiga underlag i skarp drift, och då är det bättre att veta hur det hanterar dem nu.

Totalen kan stämma medan raderna är fel

Ett svar kan landa nära facit i summan och ändå vara fel på många ställen. Ett fel åt ena hållet tar ut ett lika stort fel åt det andra. Tänk en kalkyl på hundra rader. Totalen kan ligga en procent från rätt och ändå innehålla femton rader som är tydligt fel. Därför bör avvikelsen mätas per delmoment, alltså varje rad i kalkylen, varje klausul i avtalet och varje konto i bokföringen.

Bestäm gränserna innan ni kör. Hur stor avvikelse är acceptabel för en enskild rad, och vilka fel får aldrig förekomma alls? Gränser som sätts efter att resultatet setts tenderar att hamna så att verktyget klarar dem. Gränser som är satta i förväg går inte att anpassa efter utfallet.

Låt den som kan jobbet läsa svaret

Ett verktyg som skriver svar som låter säkra kräver en läsare som kan avgöra om de stämmer. Bäst lämpad är den som har gjort jobbet för hand i många år och ser när något är fel utan att behöva räkna om allt. Saknas en sådan person i testet får ni en bedömning som bara ser noggrann ut.

Det är också ett skäl att fråga vem som ska granska resultaten när verktyget används skarpt. Ett verktyg som ingen i organisationen kan granska går inte att använda, hur bra det än är.

Ett ärende räcker inte

Ett enda ärende är ett stickprov. Verktyg som bygger på språkmodeller kan dessutom ge olika svar när samma uppgift körs flera gånger. I en studie körde forskare åtta uppgifter tio gånger vardera på fem modeller som nås via leverantörernas API:er. Träffsäkerheten varierade med upp till 15 procentenheter mellan körningarna, trots inställningar som var avsedda att vara deterministiska. Kör därför helst två eller tre olika ärenden, och samma ärende mer än en gång. Ett godkänt test är nödvändigt men räcker inte.

Upprepa när något ändras

Ett godkänt test gäller för den modell, de instruktioner och de data som användes. Byter leverantören modell, ändras instruktionerna eller kommer en ny typ av underlag behöver samma test köras om. Behåll därför facit och metoden, så att nästa körning går fort.

Hur ett verktyg tar steget från prov till drift beskrivs i artikeln om vägen från prototyp till drift. Mått som sätts i förväg, tillsammans med ett datum för beslutet, behandlas i Piloten som aldrig tog slut.

Välj det första ärendet den här veckan och lås undan facit.