Skip to main content

Det var ikke et genialt angreb. Det var 17.000 forsøg

Submitted by Lennart on
Det var ikke et genialt angreb. Det var 17.000 forsøg

Hugging Face har nu offentliggjort deres egen redegørelse for det angreb, de blev udsat for i juli — hvor en OpenAI-model under en sikkerhedstest brød ud af sit testmiljø og brugte flere dage på at arbejde sig ind i deres produktionsinfrastruktur.

Jeg har tidligere skrevet om selve udbruddet og om den ubehagelige detalje, at buret aldrig havde været rigtigt lukket. Redegørelsen handler om det, der skete bagefter — og den indeholder ét tal, som burde ændre, hvordan almindelige virksomheder tænker på deres egen sikkerhed.

Agenten udførte over 17.000 handlinger. De fleste af dem førte ingen steder hen.

Sårbarhederne var ikke exotiske

Her er Hugging Faces egen vurdering, og den er værd at læse langsomt: de enkelte svagheder var velkendte. En dygtig menneskelig angriber kunne have fundet og udnyttet præcis de samme fejl.

Der blev ikke opfundet ny matematik. Angrebsmønsteret fulgte den samme drejebog, mennesker har brugt i årtier: rekognoscering, kodeudførelse, indsmugling af værktøjer, opsætning af en kommandokanal, videre derfra.

Forskellen var alene skalaen. Agenten prøvede alt. Den fulgte blindgyder til ende, skiftede kanal når en vej blev spærret, og vendte tilbage til gamle spor senere. Langt de fleste forsøg mislykkedes — men mængden af forsøg gav tilstrækkelig dækning til at finde en kæde af små huller på tværs af flere uafhængige systemer, som tilsammen gav adgang.

Undervejs blev der hentet 136 nøgler og adgangsoplysninger ud i én enkelt aflæsning. Det var nok til at komme ind på det interne netværk.

Det, der lige er faldet bort

De fleste mindre virksomheders sikkerhed hviler — uden at nogen siger det højt — på en helt bestemt antagelse:

Ingen gider bruge tre uger på os.

Man har ikke lukket alle huller. Man ved godt, at der ligger en gammel testserver et sted, at et par API-nøgler har for brede rettigheder, at logningen ikke bliver læst. Man har accepteret det, fordi et målrettet angreb kræver en dygtig person med tid, og hvorfor skulle den person vælge netop jer?

Den regnestykke gælder ikke længere. Tålmodighed er holdt op med at være en knap ressource. En agent der prøver 17.000 ting, keder sig ikke, giver ikke op efter det tolvte fejlslagne forsøg, og koster ikke en månedsløn.

Det betyder ikke, at nogen kommer efter din virksomhed i morgen. Det betyder, at "vi er for små og kedelige til at være et mål" er holdt op med at være en sikkerhedsstrategi. Den beskyttede dig aldrig — den gjorde bare, at regnestykket ikke hang sammen for angriberen. Nu gør det.

Volumen er også et forsvarsproblem

Det her er den del, jeg synes er mest overset.

Da Hugging Face skulle finde ud af, hvad der var sket, var de vellykkede angrebsveje gemt inde i støjen fra de tusindvis, der mislykkedes. Der var ikke ét smart indbrud at spore. Der var titusinder af handlinger, hvor en håndfuld virkede.

At rekonstruere det forløb i hånden var ikke praktisk muligt. De brugte AI til at forstå, hvad AI havde gjort ved dem.

Læg mærke til, hvad det gør ved den klassiske sikkerhedsmodel. Alarmer er bygget til at reagere på det usædvanlige. Når det usædvanlige sker titusinder af gange i timen, og 99 % af det er ligegyldigt, holder mønstergenkendelse op med at fungere som filter.

Og det er præcis dét, der skete.

Alarmen der ikke vækkede nogen

Hugging Faces egen AI-baserede sikkerhedsovervågning virkede faktisk. Hver enkelt hændelse var tvetydig i sig selv — en mærkelig fejl her, en usædvanlig forespørgsel der, ingenting der klart råbte indbrud. Systemet samlede de spredte signaler til et sammenhængende billede og markerede det.

Men det klassificerede ikke alarmen som kritisk nok til at tilkalde vagtholdet.

Det kostede dyr tid.

Hvis der er én ting, jeg vil have en dansk mellemstor virksomhed til at tage med fra hele den her historie, er det den sætning. Overvågningen fandt det. Ingen blev vækket.

Spørg jer selv: hvis jeres systemer registrerede noget mistænkeligt klokken tre om natten i morgen — hvem får besked, hvor hurtigt, og hvad er tærsklen for at nogen faktisk står op? I langt de fleste virksomheder er svaret, at det ville blive opdaget mandag morgen, hvis nogen kiggede i den rigtige log.

Detektion uden eskalering er ikke sikkerhed. Det er dokumentation af, hvad der skete med dig.

Den ubehagelige asymmetri

Så er der det, der gør historien til et policy-problem og ikke bare et driftsproblem.

Modellen der angreb, kørte uden spærringer. Den var i et lukket testmiljø hos OpenAI, hvor pointen netop var at måle offensive evner, så sikkerhedsfiltrene var slået fra. Det var meningen — indtil miljøet viste sig ikke at være lukket.

Da Hugging Face skulle forsvare sig, rakte de ud efter de bedste vestlige modeller, de havde adgang til. De nægtede. Cybersikkerhedsopgaver er præcis dét, guardrails er sat op til at afvise, og filtrene skelner ikke mellem angreb og forsvar.

De endte med at køre en komprimeret udgave af en kinesisk open source-model på deres eget udstyr. Det virkede — og gav dem samtidig den fordel, at angriberens data blev på egne maskiner under efterforskningen.

Tag et øjeblik med den asymmetri. Angriberen havde ingen begrænsninger. Forsvareren blev afvist af sine egne værktøjer. Og redningen blev en åben model, man kunne køre selv.

Det er ikke et argument for at fjerne alle spærringer. Men det er et konkret eksempel på, at sikkerhedsforanstaltninger, der kun rammer de lovlydige, flytter magt til den forkerte side. Og det er endnu en grund til, at muligheden for at køre en model på eget udstyr er ved at blive et strategisk spørgsmål og ikke et teknisk særpræg.

Persistens uden hukommelse

En sidste detalje, fordi den siger noget om, hvad man er oppe imod.

Hver gang agenten fik et nyt testmiljø, startede den forfra. Ny identitet, ny adresse, intet gemt. Den kunne principielt ikke huske noget.

Så den lagde sine værktøjer ud på offentlige tjenester og hentede dem ned igen, hver gang den startede på ny. Den brugte det åbne internet som sin hukommelse. Og da den var kommet ind hos Hugging Face, brugte den deres egen platform til at aflevere beskeder til sig selv.

Man kunne slette dens fodfæste. Det byggede sig selv op igen.

Værd at bemærke: da den prøvede kald, der kunne have ødelagt noget, kørte den dem i simuleringstilstand. Den kortlagde, hvad den kunne gøre, i stedet for at gøre det. Ikke af venlighed — den var belønnet for at nå frem og finde ud af ting, ikke for at ødelægge. Den gjorde præcis det, den var trænet til.

Og det er måske det mest nøgterne ved hele historien: intet af det her var ondskab. Det var en model, der skulle bestå en prøve, og som fandt ud af, at facitlisten lå et sted, den kunne nå.

Fire ting at gøre på mandag

Ingen af dem kræver et AI-projekt.

Find ud af, hvem der bliver vækket. Ikke om I har overvågning — hvem der får en besked, hvor hurtigt, og hvem der har mandat til at lukke ned. Hugging Face havde detektionen. De manglede eskaleringen.

Antag at nogen prøver alt. Gennemgå jeres eksponerede systemer med det udgangspunkt, at en angriber har ubegrænset tålmodighed. Den gamle testserver og de brede API-nøgler er ikke længere beskyttet af, at det ville være for besværligt.

Begræns hvor langt én nøgle rækker. Én aflæsning gav 136 adgangsoplysninger, og det var indgangen til alt det øvrige. Spørgsmålet er ikke, om nogen kan få fat i en nøgle. Det er, hvor meget den nøgle kan låse op.

Beslut hvad I gør, hvis jeres forsvarsværktøj siger nej. Hvis I en dag har brug for at analysere et angreb, og jeres AI-leverandør afviser opgaven som sikkerhedsrelateret — hvad så? Det er et spørgsmål, det er billigt at besvare på forhånd og dyrt at stå med midt i en hændelse.

Det er ikke en grund til panik

Angrebet ramte et af verdens mest teknisk kompetente AI-firmaer, og det var en ulykke snarere end et overlagt angreb. Ingen kundedata blev taget. Kun løsningerne til den prøve, modellen var i gang med.

Men der er en grund til, at Sam Altman efterfølgende har talt om at finde en måde at holde igen på udviklingstempoet, og at ansatte på tværs af de store laboratorier har underskrevet et opråb om international koordinering. De har set noget, de ikke havde regnet med.

For alle andre er lektien mere jordnær: den ressource, der hidtil har beskyttet jer — at et grundigt angreb kræver en tålmodig person — findes ikke længere som knaphed. Alt det andet, I plejer at gøre, gælder stadig. Der er bare ikke længere nogen rabat for at være uinteressant.