Veštačka inteligencija pružila tačnije dijagnoze u hitnoj pomoći od dva lekara: Rezultat 67:55:50

Nova studija ispituje kako se veliki jezički modeli snalaze u različitim medicinskim kontekstima, uključujući stvarne slučajeve iz hitne pomoći, gde se činilo da je barem jedan model bio tačniji od lekara.

Studija je objavljena ove nedelje u časopisu Sajens (Science), a sproveo ju je istraživački tim koji su predvodili lekari i informatičari sa Medicinskog fakulteta na Harvardu i Medicinskog centra Bet Izrael Diakones. Istraživači su izjavili da su sproveli niz eksperimenata kako bi izmerili učinak modela kompanije OpenAI u poređenju sa lekarima.

U jednom eksperimentu, istraživači su se fokusirali na 76 pacijenata koji su primljeni u hitnu pomoć centra Bet Izrael, upoređujući dijagnoze dvojice lekara specijalista interne medicine sa onima koje su generisali modeli o1 i 4o kompanije OpenAI. Ove dijagnoze su ocenjivala druga dva lekara specijalista, koji nisu znali koje dijagnoze potiču od ljudi, a koje od veštačke inteligencije (AI).

"U svakoj fazi postavljanja dijagnoze, o1 je pokazao nominalno bolje ili podjednako dobre rezultate kao dva lekara specijalista i model 4o", navodi se u studiji, uz napomenu da su razlike "bile naročito izražene u prvoj fazi (početna trijaža u hitnoj pomoći), kada je dostupno najmanje informacija o pacijentu i kada je najhitnije doneti ispravnu odluku."

U saopštenju za medije Medicinskog fakulteta u Harvardu povodom ove studije, istraživači su naglasili da podatke nisu "nimalo unapred obrađivali", modelima veštačke inteligencije predstavljene su iste informacije koje su bile dostupne u elektronskim medicinskim kartonima u trenutku postavljanja svake dijagnoze.

Sa tim informacijama, model o1 uspeo je da ponudi "tačnu ili veoma približnu dijagnozu" u 67% slučajeva trijaže, u poređenju sa jednim lekarom koji je imao tačnu ili približnu dijagnozu u 55% slučajeva, i drugim koji je pogodio u 50% slučajeva.

"Testirali smo model veštačke inteligencije prema praktično svakom standardu, i on je nadmašio i prethodne modele i naše polazne vrednosti dobijene od lekara", izjavio je Arđun Manrai, koji vodi laboratoriju za veštačku inteligenciju na Medicinskom fakultetu u Harvardu i jedan je od glavnih autora studije.

Da ne bude zabune, studija nije tvrdila da je veštačka inteligencija spremna da donosi stvarne odluke o životu ili smrti u hitnoj pomoći. Umesto toga, navedeno je da nalazi ukazuju na "hitnu potrebu za prospektivnim ispitivanjima kako bi se ove tehnologije procenile u stvarnim okruženjima nege pacijenata."

Istraživači su takođe primetili da su proučavali samo učinak modela kada su im pružene tekstualne informacije, kao i da "postojeće studije sugerišu da su trenutni osnovni modeli ograničeniji u zaključivanju na osnovu ulaza koji nisu u tekstualnom obliku."

Adam Rodman, lekar iz centra Bet Izrael koji je takođe jedan od glavnih autora studije, upozorio je za Gardijan (The Guardian) da trenutno "ne postoji formalni okvir za odgovornost" u vezi sa dijagnozama veštačke inteligencije, kao i da pacijenti i dalje "žele da ih ljudi vode kroz odluke o životu ili smrti (i) kroz izazovne odluke o lečenju."

U objavi o studiji, Kristen Pantagani, lekarka hitne pomoći, rekla je da je ovo "zanimljiva studija o veštačkoj inteligenciji koja je dovela do nekih preterano senzacionalističkih naslova", naročito zato što su se dijagnoze veštačke inteligencije upoređivale sa dijagnozama lekara interne medicine, a ne lekara hitne pomoći.

"Ako ćemo upoređivati alate veštačke inteligencije sa kliničkim sposobnostima lekara, trebalo bi da počnemo od poređenja sa lekarima koji se zapravo bave tom specijalnošću", rekla je Pantaganijeva. "Ne bi me iznenadilo da veliki jezički model pobedi dermatologa na ispitu iz neurohirurgije, ali to nije naročito korisno saznanje."

Ona je takođe istakla: "Kao lekarki hitne pomoći koja prvi put vidi pacijenta, moj primarni cilj nije da pogodim vašu konačnu dijagnozu. Moj primarni cilj je da utvrdim imate li stanje koje bi moglo da vas ubije."

Ova objava i naslov su ažurirani kako bi odrazili činjenicu da su dijagnoze u studiji dali lekari specijalisti interne medicine, kao i da bi se uključili komentari Kristen Pantagani.

(Ubrzanje.rs/TechCrunch)