Jeg har haft den samme sætning stående som baggrundsbillede på min Mac siden maj. Den er skrevet på engelsk, den er sat med for stor skrift, og den er den mest nyttige sætning, jeg kender om, hvad AI skal bruges til:
Sprogmodeller er nyttige som grænseflade. De hjælper mennesker med at udtrykke mål, udforske idéer, skrive instruktioner og frembringe forslag. Men de er ikke altid den rigtige motor til at tjekke, om et komplekst system opfylder et sæt af betingelser.
Grunden til, at den har fået lov at blive stående, er, at næsten alle skuffelser over AI i en virksomhed kan spores tilbage til, at de to halvdele blev blandet sammen. Nogen fandt en fremragende grænseflade og satte den til at være motor.
To jobs, der ligner hinanden i en demo
En grænseflade oversætter mellem mennesket og systemet. Du skriver, hvad du vil have, i det sprog du nu engang taler, og der kommer noget brugbart tilbage: et udkast, tre forslag, en omskrivning, en forklaring på hvad der står i dokumentet. Det er svært, det har været umuligt indtil for nylig, og sprogmodeller er blevet forbløffende gode til det.
En motor afgør, om noget er rigtigt. Om vagtplanen overholder arbejdstidsreglerne. Om tilbuddet hænger sammen med prislisten. Om alle fakturaer i bunken er konteret efter reglerne. Om konfigurationen af produktet faktisk kan bygges. Det er en anden slags arbejde: her findes der et rigtigt svar, og et svar, der ser rigtigt ud, er ikke det samme som et, der er det.
I en demo ligner de to ting hinanden til forveksling. Man skriver et spørgsmål, og der kommer et svar. Forskellen viser sig først i den fjerde uge, når nogen opdager, at systemet i tre tilfælde ud af hundrede har sagt ja til noget, det skulle have sagt nej til — og at ingen kan sige hvorfor.
Hvorfor grænsefladen ikke kan blive motor
En sprogmodel frembringer det mest sandsynlige svar. Det er ikke en fejl ved den; det er, hvad den er bygget til, og det er præcis derfor, den er så god til den første halvdel. Men i det arbejde, jeg kalder motor, er sandsynlighed ikke valutaen. Der er valutaen udtømmende kontrol: er der nogen kombination, der bryder en regel?
Forskellen mærkes tydeligst på tre punkter:
Der er ingen sporbarhed. En regnemotor kan pege på den betingelse, der blev brudt. En sprogmodel kan skrive en velformuleret begrundelse, som ikke nødvendigvis har noget at gøre med, hvordan svaret opstod.
Der er ingen garanti for, at den kigger på det hele. Femten regler, der spiller sammen på kryds og tværs, er ikke et tekstproblem. Det er et regneproblem, og der findes fyrre år gamle værktøjer, der løser det med sikkerhed og på millisekunder.
Det samme spørgsmål kan give to svar. For et udkast til en tekst er det en styrke. For et spørgsmål om, hvorvidt en aftale overholder reglerne, er det uacceptabelt — og det er den slags uacceptabelt, der først opdages, når en kunde stiller spørgsmålet.
Det gode svar er ikke enten-eller
Her ligger den praktiske pointe, og den er heldigvis ikke, at man skal lade være. Den er, at de to halvdele skal bygges hver for sig og sættes sammen.
Lad sprogmodellen tage imod. Den er suveræn til at oversætte »kan Mette tage vagten om torsdagen, hvis hun har haft nattevagt onsdag« til det, systemet skal regne på. Lad den også forklare svaret bagefter i et sprog, der kan læses af et menneske uden teknisk baggrund. Det er reelt arbejde, og det er dyrt at få lavet på andre måder.
Men lad regnestykket blive udført af noget, der kan regne. En regelmotor, en optimeringsmodel, et stykke kode nogen har skrevet, eller for den sags skyld en opsætning i det system, I allerede har. Svaret skal komme derfra, og sprogmodellen skal formidle det — ikke gætte det.
Så er rollefordelingen den, alle kender fra en dygtig medarbejder ved en skranke: hun forstår, hvad du spørger om, hun slår det op det rigtige sted, og hun forklarer svaret, så du kan bruge det. Hun finder ikke på reglerne undervejs.
Spørgsmålet, der skiller det ad
Næste gang der ligger et forslag til en AI-løsning på bordet, er der ét spørgsmål, der afgør, hvilken af de to halvdele I er ved at købe:
Findes der et facit? Og hvad sker der, hvis svaret er forkert i tre procent af tilfældene?
Hvis der ikke findes noget facit — et udkast til en produktbeskrivelse, fem idéer til en kampagne, et resumé af mødet — så er tre procent uinteressant, fordi et menneske alligevel læser det igennem og vælger. Der er en sprogmodel det rigtige valg, og I skal ikke bygge noget kompliceret.
Findes der derimod et facit, og bærer nogen ansvaret for det — en løn, en pris, en dosis, en frist, en klassificering, der skal kunne forsvares over for en myndighed — så skal svaret komme fra noget, der kan tjekkes efter. Sprogmodellen må gerne stå forrest. Den må bare ikke stå bagerst.
Det er hele forskellen mellem et AI-projekt, der stille bliver en del af arbejdsdagen, og et, der bliver rullet tilbage efter et halvt år, uden at nogen rigtig vil skrive ned hvorfor.