En sprogmodel fik et tal for læsbarhed at ramme. Den ramte tallet, og teksten blev dårligere. Det er den mest lærerige fejl, vi har haft, siden vi begyndte at lade Claude skrive udkast til Folkets.
Instruktioner er ikke nok
Folkets har en lille redaktionel maskine. En historie går gennem fire trin: pitch, research, udkast og gennemlæsning. Hvert trin er en kørsel af Claude Code uden en redaktør ved tasterne, startet fra en lokal webside og styret af en eventstrøm.
I første version byggede alt på instruktioner. Claude fik husstilen, reglerne om kilder og en liste over bandlyste maner, og så måtte vi stole på, at modellen fulgte dem. Det gør den for det meste. Problemet er ordene "for det meste". En redaktion kan ikke leve med, at en regel holder, når modellen husker den.
Inspirationen til næste version kom fra comma, en samling nushell-kommandoer til tekstarbejde. Grundtanken der er, at deterministiske målinger giver en løkke sine stopbetingelser, og at sprogmodellen kun skal bruges, hvor der kræves skøn. Et tal er i båndet, eller også er det ikke.
Så nu måler maskinen selv, om et trin er færdigt. Et pitch skal validere mod skemaet og være linket fra sit dækningsområde. Research kræver mindst tre kilder, og hver URL skal svare, når den hentes. Et udkast skal ligge inden for en fjerdedel af den længde, pitchet lovede, have fodnoter med definitioner og holde sig fra tankestreger og antiteser. Fejler et krav, sendes Claude tilbage med målingen og besked om kun at rette det. Består teksten stadig ikke efter to rettelsesrunder, står kørslen som spærret, og næste trin kan ikke startes.
Grænserne er kalibreret på de 25 artikler, vi allerede har udgivet. Standarden er vores egen.
Lix gik i fælden
Et af kravene var lix, det skandinaviske tal for, hvor svær en tekst er at læse. En videnshistorie om Christian 4. og Hven kom igennem med lix 25,5. Den var hakket: "Brahe havde overvejet at forlade Danmark. Nu blev han."
Vi sendte den tilbage med et bånd fra 35 til 55. Den kom retur med 38,4 og bestod.
Så læste jeg den. "Byggede" var blevet til "opførte". "En liste" til "en fortegnelse". "Står ikke i kilderne" til "fremgår ikke af kilderne". "Herrerne kom og gik" til "herskaberne kom og gik". Almindeligt dansk var skiftet ud med kancellisprog, og målet havde godkendt det.
Et tal med to halvdele
Lix er to tal lagt sammen: det gennemsnitlige antal ord pr. sætning og andelen af ord på mere end seks bogstaver. Beder man om et højere lix, findes der to veje derhen, og modellen tog begge.
| Ord pr. sætning | Lange ord | Lix | |
|---|---|---|---|
| Hven før | 8,9 | 16,6 % | 25,5 |
| Hven efter | 16,6 | 21,8 % | 38,4 |
| Vores udgivne artikler | 9,3–14,7 | 24,6–39,3 % | 35–53 |
Det meste af stigningen kom fra sætningerne. De voksede til et gennemsnit, der er længere end i nogen artikel, vi har udgivet. Ordene stod for resten.
Den stive tone kunne lix slet ikke se. "Beskar" har seks bogstaver og tæller som et kort ord. Et ord kan være kort og formelt, og et andet kan være langt og helt almindeligt, som "arbejdsløshed". Det, der gjorde teksten dårligere, var stilleje, og lix måler længde.
Et samlet tal inviterer til den billigste vej derhen. Det gælder for mennesker med resultatmål, og det gælder for en sprogmodel med en gate.
Mål det, du vil styre
Vi har delt målet op i de ting, vi faktisk vil styre.
Sætningslængden har fået sit eget bånd på 9 til 15 ord i snit. Rytmen måles for sig: spredningen i sætningslængde må højst være 9, og højst 15 procent af sætningerne må have 25 ord eller flere. Et pænt gennemsnit kan skjule stumper ved siden af bandorme, og den omskrevne Hven-tekst havde begge dele.
Lix er blevet et loft på 55. Et for lavt lix skal rettes med sætningerne, og derfor har tallet ingen bund længere.
Sjældne ord i stedet for lange ord
Stillejet var sværere. Vi prøvede nogle af de klassiske mål. Navneordssyge, altså andelen af ord på -else, -ning og -hed, skilte ikke de to versioner. Det gjorde passiv heller ikke.
Det, der virkede, var en frekvensliste. Et ord tæller som sjældent, når det ligger uden for de 10.000 mest brugte danske ord. Egennavne og ord, der går igen i teksten, er regnet fra, fordi fagord som "lensmand" gentages, mens et stivt synonym typisk står der én gang.
Valget af liste betød meget. I en liste bygget på danske nyheder er "fremgår" nummer 613, fordi journalister skriver sådan. I en liste bygget på undertekster, altså talt hverdagsdansk, er det nummer 19.160. Vi bruger underteksterne, fordi det er dem, vores læsere taler.
Ordlisten fandt præcis de rigtige ord i Hven-teksten: overlod, tilfaldt, overdrog, beskåret, fordrev, fortegnelse, henlagt, anvendte, fremgår, herskaberne.
Et fast loft for sjældne ord fangede dem til gengæld ikke. Den oprindelige tekst var usædvanligt jævn, så selv efter omskrivningen lå den inden for vores udgivne artikler. Det, der afslørede den, var forandringen. Andelen af sjældne ord gik fra 5,0 til 9,2 procent i en kørsel, der kun skulle rette sætningslængden.
Derfor sammenligner maskinen nu en omskrivning med teksten, den erstatter. Stiger andelen af sjældne ord med mere end to procentpoint, fejler trinnet. Claude får listen over de nye sjældne ord med tilbage, så rettelsen kan være præcis.
Det tager vi med
Del målet op, så hvert tal svarer til én ting, du vil have mere eller mindre af. Sæt grænserne efter tekster, du selv har godkendt. Og hvor et fast loft ikke kan skelne, så mål retningen: en rettelse må gerne flytte teksten, men den skal flytte den den rigtige vej.
Grænsen på to procentpoint bygger på meget få målinger, og den bliver justeret, efterhånden som maskinen kører. Det er også en del af pointen. Et tal, der kan ses og ændres, kan diskuteres. En instruktion til en sprogmodel kan man kun håbe på.