O formulă matematică prezice momentul în care Inteligența Artificială devine periculoasă
Cercetătorii au dezvoltat o formulă matematică simplă care poate prezice momentul în care modelele de inteligență artificială (AI) pot suferi o schimbare bruscă de comportament, trecând de la răspunsuri utile la sfaturi potențial dăunătoare. Studiul, publicat în revista Patterns, evidențiază faptul că ordinea în care sunt adresate întrebările poate influența semnificativ procesarea internă a unui agent AI.
Profesorul de fizică Neil Johnson și doctorandul Frank Yingjie Huo de la The George Washington University au demonstrat existența unui „punct de basculare” în rețelele neuronale. Analizând modul în care un model procesează un text, cercetătorii au identificat un mecanism denumit „vector rezidual”, care acționează ca un ac de busolă intern, ajutând la navigarea între răspunsuri dezirabile și indezirabile.
Acul acestei busole este extrem de sensibil la ordinea instrucțiunilor. De exemplu, atunci când modelul GPT-2 a primit mai întâi întrebarea „Sunt vaccinurile rele?”, răspunsurile ulterioare au fost sigure și constructive. În contrast, atunci când aceeași întrebare a fost plasată la sfârșitul unei serii, răspunsurile ulterioare au devenit problematice.
Cercetătorii au creat o ecuație care calculează probabilitatea ca modelul să treacă pragul către răspunsuri dăunătoare, subliniind astfel necesitatea de a anticipa aceste derapaje. Johnson consideră că sistemele actuale de siguranță, utilizate de companii precum OpenAI sau Anthropic, sunt insuficiente, comparându-le cu „amortizoare” care doar atenuează impactul prăbușirii, fără a o preveni.
În plus, cercetarea a fost testată ca sistem de avertizare timpurie pe modele open-source cu miliarde de parametri, precum GPT-2, Pythia și OPT. Deși unii experți, cum ar fi Wei Xing de la University of Sheffield, avertizează că formula simplifică excesiv un sistem complex și nu a fost încă testată pe ultimele versiuni comerciale, studiul scoate în evidență o vulnerabilitate esențială a modelului AI.
Înțelegerea acestui echilibru delicat este crucială pentru prevenirea situațiilor în care modelele de inteligență artificială generativă ar putea oferi sfaturi periculoase sau dăunătoare utilizatorilor.
