Hvis det eneste tal din virksomhed kan fremvise om sin AI-brug er antallet af prompts pr. måned eller månedsregningen fra leverandøren, så er du på samme niveau som en flådeejer der måler succes på hvor meget benzin lastbilerne brænder af.
Det siger noget om forbruget. Det siger ingenting om retningen.
Der findes en voksende disciplin — nogle kalder det GenAI Observability — som forsøger at flytte målingen fra forbrug til virkning. Det meste af det er udviklet til store virksomheder med dedikerede AI-teams. Men kernen i det er relevant for enhver SMV der har givet sine medarbejdere adgang til ChatGPT, Copilot eller Claude.
Her er fire spor der er værd at kende. Plus et femte som ingen taler om, men som ofte er det vigtigste for en SMV.
1. Bliver svaret faktisk brugt?
Det mest konkrete signal på om AI virker, er ikke om medarbejderen bruger den. Det er om hun bruger svaret.
Måler man afstanden mellem det AI'en producerer og den version der reelt bliver afsendt, gemt eller indsat, får man et reality check. Hvis 80% af outputtet altid skrives om, er værktøjet ikke det rigtige til opgaven, prompten er for vag — eller medarbejderen er holdt op med at tro på den, og bruger den nu kun af pligt.
Man behøver ikke et observability-system for at måle det. Man kan begynde med at spørge fem medarbejdere: "Hvad bruger du AI til, og hvor meget af svaret kan du bruge direkte?"
2. Er det rigtige model til opgaven?
De fleste virksomheder kører den dyreste model på alle opgaver, fordi det er den der er sat op. Det svarer til at sende en lastbil ned efter mælk.
Skriver man en undskyldningsmail til en kunde, kan en lille model klare det for en brøkdel af prisen. Skal man læse en juridisk kontrakt og finde inkonsistenser, vil man have den dyreste model man kan få. Pointen er ikke at vælge billigt — det er at vælge bevidst.
For en SMV betyder det helt konkret: ved I overhovedet hvilken model jeres medarbejdere bruger, og hvad den koster pr. opgave?
3. Lækker noget der ikke skal lække?
Det her er ikke valgfrit længere. EU AI Act og dansk lovgivning omkring databehandling betyder at I skal kunne svare på hvilke data der forlader virksomheden, hvornår, og til hvem.
I praksis: indsætter medarbejderen kundedata i ChatGPT? Bruger udvikleren proprietær kode i Copilot? Sender HR-bot'en personoplysninger videre til en model der træner på dem?
For 99% af danske SMV'er er svaret på disse spørgsmål: "Det ved vi ikke." Det er det første der skal ændres.
4. Hvor god er kvaliteten egentlig?
Mange peger på at man kan bruge AI til at vurdere AI — såkaldt "LLM-as-a-Judge". Det virker. Delvist. Problemet er at dommeren ofte arver bias fra den bedømte model, og at det "gyldne datasæt" man måler imod sjældent er ret gyldent.
For en SMV er det enklere: lav stikprøver. Vælg ti AI-genererede outputs hver uge, og lad et menneske vurdere dem. Det er primitivt, men det er det eneste der virkelig fortæller om kvaliteten holder.
5. Det målerne ikke fanger
Her er den vigtigste indsigt — og den der mangler i de fleste artikler om emnet.
Alt det ovenstående måler hvordan AI bliver brugt. Men det vigtigste spørgsmål for en virksomhedsejer er ofte det modsatte:
Hvor burde vi bruge AI som vi ikke gør?
Man kan have et perfekt overvåget AI-system der løser de forkerte problemer. Man kan have et team der bruger AI flittigt til de opgaver hvor det er nemmest at komme i gang — og overser de opgaver hvor værdien er størst.
Det er et opportunity cost-spørgsmål, ikke et observability-spørgsmål. Og det fanger intet dashboard:
- Hvilke opgaver gøres stadig manuelt fordi "sådan har vi altid gjort det"?
- Hvilke beslutninger træffes på mavefornemmelse fordi ingen orkede at strukturere data?
- Hvor er der stille modstand — folk der lader være med at bruge værktøjet, og som ingen følger op på?
- Hvilke opgaver siger medarbejderne "det kan AI ikke" om, uden at have testet det de sidste seks måneder?
Den slags fund kommer fra samtaler, ikke fra logs. Men det er der den store værdi ligger.
Hvad SMV'en bør gøre
Glem den fulde observability-stak. Den er overkill og koster mere end gevinsten.
Start her:
- Find ud af hvilke værktøjer der reelt bruges. Ikke hvad I har købt licens til — hvad medarbejderne åbner om mandagen.
- Sæt en grænse for hvilke data der må deles med eksterne modeller. Skriv det ned. Send det rundt.
- Spørg fem medarbejdere hvor meget af AI'ens output de kan bruge direkte. Det er jeres baseline.
- Find tre opgaver hvor AI burde bruges, men ikke gør. Det er der det største afkast ligger.
Det fjerde punkt er det vigtigste. Og det er det punkt der ikke står i nogen leverandørs salgsmateriale, fordi det ikke handler om deres produkt.
Se også Spørgsmål bestyrelsen skal stille om AI — Governance og tilsyn — bestyrelsens ansvar