Teksten præsenterer Dragon Hatchling (BDH), en ny arkitektur for kunstig intelligens, der sigter mod at bygge bro mellem transformer-baserede modeller og biologiske neurale netværk. Forskere har længe stået over for udfordringen med at skabe AI-systemer, der kan generalisere ræsonnement ud over træningsdata, en evne der er fundamental for menneskelig intelligens. Traditionelle transformere, som GPT, er begrænsede i denne henseende, da de primært anvender globale opmærksomhedsmekanismer og tætte matrixoperationer, hvilket adskiller dem fra hjernens distribuerede og lokalt interagerende natur.
BDH adresserer dette ved at fungere som et skalerbart, biologisk inspireret netværk af "partikler", der repræsenterer neuroner, og hvis interaktioner modelleres af synaptisk plasticitet baseret på Hebbiansk læring. Arkitekturen kombinerer stærk teoretisk fundering med observerbarhed og opnår ydermere transformer-lignende præstationer. Dens kerne er en fusion af logisk inferens, specifikt modus ponens, og biologisk læring. Systemet opererer med to typer regler: faste parametre, der læres under træning, og dynamiske regler, der tilpasser sig under inferens. Denne tilgang muliggør en grafbaseret formulering, hvor noder repræsenterer fakta og kanter repræsenterer potentielle relationer.
BDH introducerer tre centrale innovationer: for det første repræsenteres alle modelparametre som topologien og vægtene af kommunikationsgrafer, mens inferens tilstanden afspejles i kantvægtning. Dette skaber et programmerbart system af interagerende partikler. For det andet tilbyder BDH-GPU en GPU-optimeret implementering gennem middelværdiproksimering, der muliggør effektiv træning uden at miste matematisk ækvivalens til grafmodellen. For det tredje viser empirisk validering, at BDH kan matche præstationen af GPT-2 på sprog- og oversættelsesopgaver med identiske antal parametre og træningsdata, samtidig med at det tilbyder en uovertruffen grad af interpretabilitet.
BDH's inferens foregår gennem lokale, distribuerede grafdynamikker snarere end globale matrixoperationer. Opmærksomhedsmekanismerne i transformere afsløres her som logisk inferens på mikroniveau mellem individuelle neuroner, hvor synaptiske vægte repræsenterer induktive bias. Arkitekturen kan fortolkes som et fysisk dynamisk system af interagerende partikler, hvor synaptiske tilstande modelleres af elastiske forbindelser. Denne fysiske analogi understreger den dual-timescale dynamik, der findes i biologiske systemer, med langsomme ændringer i synaptiske forbindelser og hurtige neuronale aktiveringer.
BDH-GPU's implementering opretholder matematisk ækvivalens med den biologiske model ved at anvende middelværdiproksimering, hvilket muliggør broadcast-kommunikation mellem neuroner i stedet for direkte grafkommunikation. Dette fører til en skalerbarhed, der primært afhænger af neuronantallet, med et reduceret antal parametermatricer sammenlignet med traditionelle transformere. Arkitekturen har vist sig at konkurrere med GPT-2 på tværs af opgaver og modelstørrelser, med en tendens til hurtigere læring og forbedret loss-reduktion pr. datatoken.
Yderligere viser BDH, at en skalerbar, modulær struktur kan opstå naturligt gennem lokale grafdynamikker under træning, hvilket giver fordele i forhold til eksplicit modulopbygning. Denne naturlige modulopbygning, der ligner principperne bag World Wide Webs udvikling og studeres med metoder som Newman modularity, muliggør fleksibel informationsbehandling. Systemets drift ved "kritikalitet" giver en balance mellem stabilitet for informationshentning og tilpasningsevne til ny viden. ReLU-lowrank blokke i BDH-GPU bidrager til støjreduktion og en tro gengivelse af affinitetsfunktioner på positive vektorer, hvilket gør dem velegnede til lineære opmærksomhedskombinationer og community-baseret neuronaktivering.
Original: https://aimodels.substack.com/p/does-a-brain-inspired-network-finally