Ett AI-svar kan hänvisa till en lagparagraf som inte finns

I en av intervjuerna till AI-mognadsrapporten beskrev en vd hur ett juridiskt underlag hade tagits fram med hjälp av ett AI-verktyg. Ett av argumenten byggde på en paragraf som inte finns i svensk lag. Bestämmelsen hör hemma i ett annat lands rättssystem.

Felet upptäcktes vid en genomgång med en jurist, innan underlaget användes. Ingen kom till skada, men bara för att någon som kunde ämnet läste texten i tid.

Felet syns bara för den som kan slå upp lagrummet

En hänvisning till en paragraf ser likadan ut vare sig den finns eller inte. Paragrafnumret och språket är lika övertygande. För en läsare utan juridisk skolning går det inte att avgöra om det är rätt, och enligt vår erfarenhet markerar verktyget sällan själv att det är osäkert.

Enligt vår bedömning är risken störst i bolag där juridik och avtal hanteras vid sidan av ordinarie arbete, eftersom ingen då läser texten med det som huvuduppgift. Där är det frestande att behandla AI-svaret som ett färdigt underlag och inte som ett första utkast. Ett utkast kan vara till stor hjälp i ett sådant läge, så länge någon som kan ämnet läser det innan det används.

Ett amerikanskt rättsfall visar vad det kostar när ingen kontrollerar

Ett av de mest uppmärksammade exemplen kommer från en federal domstol i New York. I juni 2023 beslutade domaren att två advokater och deras byrå skulle betala 5 000 dollar. Enligt ABA Journal hade de i en inlaga åberopat flera rättsfall som ChatGPT hade hittat på. Advokaten som skrev under hade inte granskat fallen. Där var det rättsfall som hittats på, men samma fel kan gälla ett lagrum.

Domaren konstaterade ond tro. När domstolen och motparten ifrågasatte fallen försvarade advokaterna dem, och de erkände felet först efter att domaren krävt att de skulle förklara sig. Enligt ABA Journal skrev domaren att bilden hade sett annorlunda ut om de erkänt tidigt.

Tre beslut som flyttar kontrollen före användningen

Det första gäller vem som får läsa. Juridiska referenser ska granskas av någon som behärskar området, och det ska vara bestämt i förväg vem det är. Det andra gäller vad som kontrolleras. Varje hänvisning till lag, rättsfall eller myndighetsbeslut ska slås upp i originalet, till exempel i Svensk författningssamling, och det räcker inte att be verktyget bekräfta sig själv. Kontrollen omfattar också vilket lands rätt hänvisningen tillhör. Ett lagrum från ett annat land är en särskild fallgrop, eftersom det ser trovärdigt ut.

Det tredje gäller tidpunkten. Granskningen ska ske innan texten lämnar bolaget eller läggs till grund för ett beslut, inte efteråt. Artikeln om att testa AI-verktyget mot ett svar ni redan kan beskriver hur ni kan pröva verktygets pålitlighet innan någon litar på det. Artikeln om AI-ansvarig i teamet beskriver varför den som driver AI-frågorna behöver ett skrivet mandat.

Vem i bolaget kan i dag slå upp ett lagrum i originalet, och vet hen att det är just det som ska göras?