I denne uge byggede jeg et værktøj der henter bestyrelsesmedlemmer for 64 danske virksomheder, strukturerer dem i en tabel med formand, direktør og øvrige medlemmer, og gemmer resultatet i et format jeg kan arbejde videre med.
Ingen del af det involverer en sprogmodel. Ingen del af det burde.
Det er et eksempel på en pointe der er vigtigere end den lyder: den største fejl virksomheder laver med AI er at bruge AI til opgaver der ikke kræver AI.
I onsdags havde jeg brug for noget banalt: en liste over bestyrelsesmedlemmer i en række danske selskaber. Ikke til en database. Ikke til et produkt. Bare til en eftermiddags lead-research — hvem sidder hvor, og hvilke formænd overlapper med folk jeg allerede taler med.
Den slags data er offentlig. Den ligger på datacvr.virk.dk. Hver eneste virksomhed i Danmark har en side. Det burde tage tyve minutter.
Jeg har siddet på begge sider af bordet. Som videnskabsjournalist i tyve år har min hovedopgave været at oversætte teknisk virkelighed til folk der skulle træffe beslutninger på baggrund af den. Som bestyrelsesmedlem i Dansk Presseforbund og Danske Videnskabsjournalister har jeg selv siddet i den anden ende — og fået lov til at tage stilling til ting jeg ikke selv kunne bygge.
Det er to forskellige roller. Men de hænger sammen, fordi god ledelse afhænger af at den ene part faktisk forstår hvad den anden siger.
Der er en forskel på at arbejde med AI og at arbejde praktisk med AI.
Det første er at bruge ChatGPT fra en browser. Det andet er at bygge noget hvor AI er ét trin blandt mange — hvor data skal hentes, valideres, sendes til en model, kontrolleres, transformeres og gemmes et andet sted. Næsten alt kommercielt AI-arbejde er af den sidste slags.
Og hvis du laver det sidste, bør Nushell bo i din terminal.
Jeg skrev for nylig om hvordan jeg automatiserer mine blogudgivelser i én kommando — tekst ind, artikel med billede ud. Det flow kører i et shell de fleste aldrig har hørt om: Nushell. Og det er ikke et tilfældigt valg.
Når jeg bygger det jeg kalder compound AI systems — altså systemer hvor eksempelvis sprogmodeller og billedmodeller er sat sammen med andre komponenter til at løse en rigtig opgave — så er langt det vigtigste spørgsmål ikke "hvilken model bruger vi?". Det er "hvad omgiver vi modellen med?".
Og det er dér Nushell kommer ind.
Jeg taler meget om at AI skal løse rigtige forretningsproblemer, ikke bare imponere i en demo. Så lad mig vise et eksempel fra min egen hverdag.
Hver gang jeg skriver en artikel til docujai.com, skal den igennem den samme kæde af småopgaver: post teksten til Drupal via JSON:API, generér et illustrativt billede, giv billedet det rigtige visuelle udtryk med mit logo i hjørnet, upload det til artiklen, sæt alt-tekst, patch relationen mellem node og file. Det tager ikke lang tid at gøre manuelt. Det tager lang tid at gøre det hver gang.
De er geniale, de er lynhurtige, og de er totalt ligeglade med virkeligheden. Store sprogmodeller (LLM’er) som GPT-4, Gemini og Claude har taget verden med storm, men de gemmer på en iboende defekt: Hallucinationer.
Jeg er uddannet biolog. Og en af de ting man lærer tidligt i naturvidenskaben er at der er forskel på en hypotese og et ønske.
Et ønske lyder sådan her: "Vi vil gerne have at AI forbedrer vores kundeservice."
En hypotese lyder sådan her: "Hvis vi bruger AI til at klassificere indkomne henvendelser, vil 80% af dem blive korrekt dirigeret uden menneskelig indblanding, og den gennemsnitlige svartid vil falde fra 4 timer til under 1 time inden for 60 dage."
Der er noget der sjældent bliver sagt højt om de sprogmodeller vi bygger virksomheder på:
De gætter.
Ikke tilfældigt. Ikke dumt. Men de gætter. Hver eneste gang de producerer et svar, vælger de den næste sætning baseret på sandsynlighed — hvad der statistisk set plejer at komme efter det foregående. Det er imponerende ingeniørkunst. Og det er en fundamental svaghed du bør kende, inden du bygger kritiske processer på det.
Der er en samtale jeg hører igen og igen hos virksomheder der vil have AI til at "forstå" deres viden.
Den starter typisk sådan her: "Vi har vores procedurer, vores dokumenter, vores e-mails — men AI'en finder ikke det rigtige. Vi har brug for bedre søgning."
Løsningen leverandørerne tilbyder er altid teknisk og altid dyr: embeddings, vektordatabaser, RAG-pipelines. Ord der lyder imponerende og koster derefter.
Problemet er bare at løsningen sjældent er det, der mangler.