arXiv, en central preprint-server for akademisk forskning, især inden for AI, har indført nye retningslinjer, der forbyder oversigtsartikler og positionspapirer i kategorien datalogi. Ændringen kommer som en reaktion på en markant stigning i AI-genererede indlæg af lav kvalitet, der har oversvømmet platformen.
Baggrund:
- arXiv fungerer som et vigtigt udstillingsvindue for ny og banebrydende forskning, især inden for hurtigt udviklende områder som AI, hvor resultater ofte publiceres, før de gennemgår formel peer review.
- Disse nye regler er en skærpelse af eksisterende praksis, der kræver dokumentation for peer review for oversigts- og positionspapirer for at opnå fuld synlighed. Artikler uden denne dokumentation risikerer afvisning.
- Oversigtsartikler (review articles) opsummerer eksisterende forskning, mens positionspapirer (position papers) ligner opinionsartikler. Begge typer anses nu for at være særligt modtagelige for generering via store sprogmodeller (LLM'er).
Problemet med AI-genereret indhold:
- Fremkomsten af generative AI-modeller har gjort det markant nemmere og hurtigere at producere artikler, især dem der ikke præsenterer nye forskningsresultater.
- Datalogi-kategorien (CS) har oplevet den største stigning i disse AI-genererede indlæg, hvilket belaster moderatorernes tid og ressourcer.
- Problemet med AI-genereret indhold er ikke begrænset til arXiv; akademiske tidsskrifter kæmper også med falske artikler, inklusive dem med AI-genererede billeder, og peer reviewers bruger ChatGPT til at fremskynde deres arbejde, hvilket potentielt kompromitterer kvaliteten.
Konsekvenser:
- Forbuddet mod oversigts- og positionspapirer i datalogik-kategorien skal frigøre moderatorernes tid til at fokusere på mere substantielle bidrag.
- arXiv indikerer, at andre kategorier kan følge trop, hvis de oplever en lignende stigning i LLM-skrevne oversigts- og positionspapirer.
Opdatering: Den oprindelige artikel fejlagtigt angav, at arXiv stoppede med at acceptere alle CS-artikler under peer review. Den korrekte information er et mere specifikt forbud mod oversigts- og positionspapirer.