OpenAI's seneste rapport, der blev offentliggjort den 7. oktober 2025, giver et indblik i virksomhedens metoder til at overvåge og forhindre misbrug af dens chatbots, især ChatGPT. Rapporten fremhæver, hvordan OpenAI har identificeret og afværget skadelig aktivitet, herunder svindel, cyberangreb og statslige indflydelseskampagner.
Et specifikt eksempel nævnt i rapporten er et organiseret kriminelt netværk baseret i Cambodia, som forsøgte at anvende AI til at optimere deres arbejdsprocesser.
Desuden blev en russisk politisk indflydelsesoperation identificeret for at have brugt ChatGPT til at generere videoprognoser til andre AI-modeller.
Konti tilknyttet den kinesiske regering blev ligeledes flagget for overtrædelser af politikker vedrørende national sikkerhed, herunder anmodninger om at generere forslag til storskala systemer til overvågning af sociale medier.
OpenAI bekræfter, at de anvender både automatiserede systemer og menneskelige anmeldere til at overvåge aktiviteter for at forhindre svindel, ulovlig aktivitet og misbrug. Virksomheden understreger, at deres tilgang fokuserer på mønstre i trusselsaktørers adfærd snarere end isolerede modelinteraktioner for at undgå at forstyrre almindelige brugeres arbejde.
Udover forebyggelse af cyberkriminalitet og indflydelseskampagner adresserer rapporten også, hvordan OpenAI håndterer skadelig brug af deres modeller fra brugere med psykisk eller følelsesmæssig nød.
Efter medieomtale af voldelige hændelser, der angiveligt er knyttet til interaktioner med ChatGPT, herunder en mordsag i Connecticut, har OpenAI udgivet en blogpost om deres procedurer. Når brugere udtrykker tanker om selvskade, er ChatGPT trænet til ikke at efterkomme dette, men i stedet at anerkende brugerens følelser og henvise til hjælp og ressourcer. Hvis AI'en detekterer, at en bruger planlægger at skade andre, bliver samtalen flagget til menneskelig gennemgang. Ved en vurdering af, at personen udgør en umiddelbar trussel, kan de blive anmeldt til politiet. OpenAI erkender også, at modellernes sikkerhedsydelse kan forringes under længere brugerinteraktioner og arbejder på at forbedre deres sikkerhedsforanstaltninger.
Original: https://gizmodo.com/openai-gives-us-a-glimpse-of-how-it-monitors-for-misuse-on-chatgpt-2000669012