Manden, der i årevis var cybersikkerhedsbranchens "professionelle skeptiker" over for AI, har vendt på en tallerken. Det er kernen i en historie, som Wall Street Journal netop har bragt om ugen, hvor den amerikanske regering lukkede for adgangen til Anthropics to mest avancerede modeller.
Nicholas Carlini, en 35-årig sikkerhedsforsker hos Anthropic, er betalt for at stressteste virksomhedens modeller – at finde ud af, om hackere kan bruge dem til spionage, tyveri eller sabotage. I februar fik han adgang til en ny model ved navn Mythos. Det, han fandt, fik ham til at sende en kort besked til sine kolleger: "Jeg mener ikke, vi bør frigive Mythos endnu," skriver WSJ.
Ifølge avisen viste Carlini i marts foran 700 sikkerhedsfolk i San Francisco, hvordan han havde brugt modellen til at finde og udnytte en kritisk fejl i web-værktøjet Ghost – og en i Linux, et af verdens mest gennemtestede styresystemer. Han havde aldrig før fundet en fejl i nogen af delene. "Det står klart for mig, at de nuværende modeller er bedre til at finde sårbarheder, end jeg er," sagde han ifølge WSJ.
Tallene er svimlende. Mythos fandt 479 fejl i Linux alene og har samlet fundet over 10.000 bugs, skriver avisen. Carlini kalder den "den første model, der kan finde og udnytte sårbarheder i stor skala". Blandt sikkerhedsfolk fik erkendelsen sit eget navn: Bugmageddon.
Sårbarheden rammer bredere end de store systemer. Store dele af økonomien kører på obskur software, som aldrig er blevet testet ordentligt, og som nu kan gennemlyses på minutter. Ghost-fejlen blev rettet 16. februar, men de, der ikke opdaterede, blev ramt: Over 700 hjemmesider blev hacket inden for en måned, skriver WSJ med henvisning til sikkerhedsfirmaet Xlab.
I sidste uge greb Det Hvide Hus ind og forbød udenlandsk adgang til de nyeste modeller, Fable 5 og Mythos 5. Anthropic lukkede ned for alle. Og i en ironisk drejning blev Carlini – skeptikeren, der havde slået alarm – sendt til Washington for at berolige den samme regering.
For mindre virksomheder er pointen ikke teknologisk, men praktisk: Den software, I bruger uden at tænke over den, kan nu testes for huller af både venner og fjender. Spørgsmålet er bare, hvem der finder dem først.
Kilde: Wall Street Journal.
Se også Klokken 17:21 forsvandt min AI. Arbejdet fortsatte alligevel.