Gå til hovedindhold

Lad to AI-modeller skændes og en tredje afgøre vinderen — kreativ brug af lokal AI med dit shell som dirigent

Indsendt af Lennart den
Lad to AI-modeller skændes og en tredje afgøre vinderen — kreativ brug af lokal AI med dit shell som dirigent
Lad to AI-modeller skændes og en tredje afgøre vinderen — kreativ brug af lokal AI med dit shell som dirigent

Når folk taler om AI i virksomheder, taler de næsten altid om én model ad gangen. En chatbot. En kopilot. En assistent. Spørgsmål ind, svar ud.

Det er den mindst interessante måde at bruge AI på.

Det interessante sker, når flere modeller arbejder sammen — eller mod hinanden — under styring af noget der orkestrerer dem. Den styring behøver ikke at være en platform. Den kan være et helt almindeligt shell på din egen maskine, og modellerne kan ligge lokalt på samme maskine. Ingen API-nøgler. Ingen data der forlader bordet. Ingen abonnement.

Her er et lille eksempel der illustrerer pointen.

Tre modeller, en debat, en dommer

Forestil dig følgende: du vil vide om Rust er bedre end Go. I stedet for at spørge én model og få ét uimodsagt svar, kan du sætte to forskellige modeller op til at debattere det — den ene argumenterer FOR, den anden IMOD — og lade en tredje model dømme hvem der argumenterede stærkest.

I praksis er det halvtreds linjer Nushell. Du kalder en kommando, angiver emnet, og terminalen viser dig en debat udfolde sig i runder:

debate "Er Rust bedre end Go?" --rounds 3

Hver runde får hver debattør at se hvad modparten har sagt indtil nu, og bliver bedt om at imødegå det direkte. Når runderne er færdige, får dommermodellen hele transkriptionen og afsiger sin kendelse med en kort begrundelse og én linje på formen VINDER: A. Du får tilbage et struktureret resultat — emne, transkription, dom, vinder, hvilke modeller der spillede hvilke roller.

Hele rugbrødsmoduleret er omkring halvfjerds linjer kode. Det kalder tre lokale modeller via et standardværktøj (ollama), parser dommerens svar med en regex, og samler det hele i en tabel. Det er det.

Hvorfor det er interessant

Det er ikke debatformatet i sig selv der er pointen. Det er hvad eksemplet siger om hvad orkestrering af lokale modeller åbner for.

Flere modeller kan løse ét problem. En enkelt model er én stemme. Tre modeller med forskellige perspektiver er en proces. Du kan stille det op som debat, som ensemble (alle får samme spørgsmål, du sammenligner svarene), som rollespil (én er den kritiske kunde, én er sælgeren, én er observatøren), som specialisering (én oversætter, én faktatjekker, én polerer sproget).

Strukturerede output bliver muligt. Når du designer prompten, kan du bede modellen om at slutte med en bestemt formuleret linje. En regex fanger den. Du har nu maskinlæsbar struktur ud af noget der ellers ville være fri tekst. Det er forskellen mellem en samtale og et arbejdsflow.

Eksperimenter koster ingenting. Det er den underkendte konsekvens af lokale modeller. Du kan køre debatten hundrede gange med forskellige modelkombinationer for at se hvilke der argumenterer mest interessant. Du kan teste prompts uden at tænke på regning. Du kan lade noget køre natten over.

Dine data forlader ikke maskinen. For virksomheder med interne dokumenter er det forskellen mellem at kunne bruge AI til opgaven eller ikke.

Hvad det åbner for ud over leg

Debat-eksemplet er leg. Men det samme mønster — flere modeller, et shell der orkestrerer, struktureret output — er præcis hvad mange seriøse use cases ser ud som under motorhjelmen.

Et udkast skal skrives, kritiseres, omskrives, kritiseres igen, indtil to deterministiske mål er opfyldt. En kundehenvendelse skal klassificeres af én model, omformuleres af en anden, og endelig faktatjekket mod virksomhedens egne dokumenter. Et internt notat skal opsummeres på fem forskellige måder så modtageren kan vælge den der rammer hendes behov bedst. En kontrakt skal læses af én juridisk-tunet model og én forretnings-tunet model, og forskellene mellem deres læsninger skal vises side om side.

Alt det er det samme mønster: et shell der dirigerer, modeller der spiller roller, struktureret output der kan piper videre.

Hvad det betyder for hvordan en virksomhed tænker

To pointer er værd at tage med.

For det første: AI behøver ikke at være ét produkt jeres virksomhed køber. Det kan være en byggeklods I sætter sammen til konkrete arbejdsflows. En kompetent person med Nushell og lokale modeller kan bygge fokuserede værktøjer på dage frem for at vente på at en SaaS-leverandør tilbyder funktionen om seks måneder.

For det andet: kreativitet med AI er en kompetence i sig selv. Tre modeller der debatterer hinanden er ikke noget nogen leverandør sælger. Det er noget nogen kom i tanke om. Den slags ideer kræver at folk leger med teknologien — ikke at de tager et certifikat i et bestemt produkt.

Det interessante ved AI lige nu er ikke modellerne. Det er hvad nogen kommer i tanke om at bruge dem til.


Eksemplet i denne post er et lille Nushell-modul der orkestrerer tre lokale modeller via ollama. Det kører på en almindelig bærbar, koster intet, og kan ses som en demonstration af mønsteret snarere end et færdigt værktøj. Den interessante øvelse er ikke at kopiere koden, men at spørge: hvad ville være den mest oplagte debat at føre i mit eget arbejde?