Studija: AI odustaje od tačnih odgovora kada se suoči sa stalnim greškama

Pojedini modeli veštačke inteligencije mogu da povuku svoje tačne odgovore pod uticajem ponavljanja i pritiska tokom razgovora, pa čak i da se kasnije vrate na potvrđivanje lažne tvrdnje, otkriva nova studija istraživača sa Univerziteta u Arizoni.

Studija, objavljena u časopisu Scientific Reports, testirala je sedam velikih jezičkih modela kroz razgovore u više rundi, u pokušaju da se identifikuju slabosti koje se možda ne bi pojavile prilikom testiranja modela pomoću samo jednog pitanja, prenela je Al Džazira.

Preporučujemo

Istraživači su testirali modele kompanije OpenAI, kao i Klod 3.5 Sonnet kompanije Antropik, zatim Guglov Džemini 1.5 Pro, kao i Llama-3-70B i DeepSeek-R1.

Umesto jednostavnog postavljanja pitanja i davanja odgovora, eksperimenti su se oslanjali na duge razgovore koji su uključivali ponavljanje lažnih tvrdnji, kao i provokativnije formulacije i vršenje pritiska na model, sa ciljem merenja tri ključna aspekta: sklonosti modela ka greškama, njegove ubedljivosti i sposobnosti da ispravi sopstvene greške.

Na Univerzitetu u Arizoni smatraju da je ovakav način testiranja bliži stvarnoj upotrebi četbotova, čiji odgovori u razgovoru zavise od prethodnog konteksta.

Studija Univerziteta u Arizoni ukazuje, međutim, na još jedan aspekt, a to je da se problem ne javlja samo u okviru informacija kojima model raspolaže, već može da nastane i tokom samog odvijanja dijaloga.

Jedan od najzanimljivijih nalaza bio je taj da neki modeli nisu zauzeli čvrst stav prema netačnoj tvrdnji, već su se kolebali između njenog prihvatanja i odbacivanja tokom istog razgovora.

U studiji je ovaj obrazac nazvan "reverberacija" (odjekivanje), čime se opisuje promena odgovora kako je dijalog odmicao.

Nasuprot tome, četiri modela, GPT-4O, GPT-4O-Mini, Gemini 1.5 Pro i DeepSec-R1, pokazala su stopostotnu ispravku greške kada im je pružena druga prilika da ponovo procene odgovor, pokazuju rezultati studije.

To znači da greška nije uvek bila konačna, kao i da ponovno postavljanje pitanja ili pružanje prilike modelu da preispita svoj stav ponekad može da dovede do boljeg ishoda.

Uočena je i jasna razlika među AI modelima, pri čemu je GPT-3.5 najčešće potvrđivao dezinformacije prilikom ponavljanja netačnih tvrdnji, dok je model Klod 3.5 Sonnet bio najmanje podložan takvom uticaju.

Studija je takođe pokazala da je sedam modela bilo sklonije usvajanju pogrešnih informacija kada su se tvrdnje odnosile na nejasne teme ili one o kojima postoji malo podataka, što sugeriše da obilje podataka o određenoj temi može da pomogne modelu da se bolje odupre dezinformacijama.

Studija je pokazala da najbolji način za postupanje sa odgovorima veštačke inteligencije nije da ih smatramo konačnim sudom, već da ih koristimo kao polaznu tačku za istraživanje, naročito kada je reč o kontroverznim tvrdnjama ili informacijama koje je teško proveriti.

Eksperiment Univerziteta u Arizoni na kraju ukazuje na to da testiranje veštačke inteligencije pomoću samo jednog pitanja možda neće otkriti sve njene slabosti, budući da model može da pruži tačan odgovor na početku dijaloga, a zatim promeni stav nakon niza ponovljenih tvrdnji.

(Ubrzanje.rs/Tanjug)