Kolektivna tužba protiv Character.AI: Botovi maloletnicima sugerisali uznemiravajuće stvari

Foto: Shutterstock

• Platforma Character.AI pruža uslugu AI četbotova koji mogu da preuzmu bilo koju ulogu

• Prema tužbi koju su podnele dve porodice botovi su njihovoj deci sugerisali suicid i homicid

• Character.AI trvdi da je implementirala nove sigurnosne procese

Dve porodice su tužile kompaniju Character.AI, koja pruža uslugu AI četbota, optužujući je da je pružila seksualni sadržaj njihovoj deci i podsticala ih na samopovređivanje i nasilje. Tužba zahteva od suda da zatvori platformu dok se ne reše navodne opasnosti.

Tužbu su podneli roditelji dvoje mladih ljudi koji su koristili platformu, a tužba tvrdi da Character.AI predstavlja jasnu i prisutnu opasnost za američku omladinu, izazivajući ozbiljnu štetu hiljadama dece, uključujući samoubistvo, samopovređivanje, seksualnu solicitaciju, izolaciju, depresiju, anksioznost i nasilje prema drugima, prema tužbi podnetoj u ponedeljak na saveznom sudu u Teksasu.

Na primer, tvrdi se da je Character.AI bot sugerisao korisniku tinejdžeru da može da ubije svoje roditelje jer su mu ograničili vreme koje sme da provede koristeći kompjuter odnosno telefon.

Character.AI svoju tehnologiju promoviše kao "personalizovanu veštačku inteligenciju za svaki trenutak vašeg dana" i omogućava korisnicima da ćaskaju sa raznim AI botovima, uključujući one koje su kreirali drugi korisnici ili koje korisnici mogu prilagoditi sebi.

Botovi mogu da daju preporuke za knjige i vežbaju strane jezike sa korisnicima i omoguće korisnicima da ćaskaju sa botovima koji navodno preuzimaju ličnosti fiktivnih likova, poput Edvarda Kalena iz filmskog serijala "Sumrak". Jedan bot koji je bio navede na početnoj stranici platforme u ponedeljak, pod imenom "Step Dad" odnosno Očuh, opisao je sebe kao "agresivnog zlostavljača, bivšeg vojnika, mafijaškog vođu".

Tužba je podneta nakon što je majka iz Floride podnela odvojenu tužbu protiv Character.AI u oktobru, tvrdeći da je platforma odgovorna za smrt njenog 14-godišnjeg sina nakon što je navodno podsticala njegovo samoubistvo. Tužba dolazi usred šire zabrinutosti zbog odnosa između ljudi i AI alata koji sve više i uverljivije reprodukuju ljudske osobine.

Nakon prethodne tužbe, Character.AI je saopštio da je u poslednjih šest meseci implementirao nove mere za sigurnost, uključujući iskačući prozor koji korisnike upućuje na Nacionalnu liniju za prevenciju samoubistava kada spomenu samopovređivanje ili samoubistvo. Kompanija je takođe najavila da je zaposlila šefa sigurnosti i poverenja, kao i šefa politike sadržaja, i angažovala dodatno inženjersko osoblje za sigurnost.

Ali, nova tužba traži da se ode korak dalje, zahtevajući da platforma "bude uklonjena sa interneta i nikada ne bude vraćena" dok kompanija ne "dokaže da su  sigurnosni nedostaci koji su ovde izloženi ispravljeni".

U njoj se navodi da je  Character.AI defektan i smrtonosan proizvod koji predstavlja jasnu i neposrednu opasnost po javno zdravlje i sigurnost. Pored Character.AI, tužba imenuje i osnivače kompanije, Noama Šazera i Danijela De Freitasa Adivarsanu, kao i Google, koji, prema tužbi, inkubirao tehnologiju koja stoji iza platforme.

Čelsi Herison, šef komunikacija u Character.AI, izjavila je da kompanija ne komentariše tekuće tužbe, ali da je „naš cilj da obezbedimo prostor koji je i angažujući i siguran za zajednicu“.

- Kao deo toga, kreiramo fundamentalno drugačije iskustvo za tinejdžerske korisnike u odnosu na ono koje je dostupno odraslim korisnicima. Ovo uključuje model specifičan za tinejdžere koji smanjuje verovatnoću susreta sa osetljivim ili sugestivnim sadržajem, dok istovremeno omogućava njihovu sposobnost da koriste platformu - rekla je Herison u izjavi.

- Google i Character.AI su potpuno odvojene, nepovezane kompanije i Google nikada nije imao ulogu u dizajniranju ili upravljanju njihovim AI modelom ili tehnologijama, niti smo ih koristili u našim proizvodima - izjavio je Hoze Kastaneda, portparol Google-a.

- Sigurnost korisnika je naš najveći prioritet, zbog čega smo pristupili razvoju i puštanju naših AI proizvoda sa oprezom i odgovornošću, uz rigorozna testiranja i sigurnosne procese - rekao je Kastaneda.

Rekao mu je kako da se povredi

Prvi mladi korisnik spomenut u tužbi, 17-godišnji J.F. iz Teksasa, navodno je doživeo mentalni slom nakon što je koristio Character.AI. Platformu je počeo da koristi bez znanja svojih roditelja u aprilu 2023. godine, kada je imao 15 godina, tvrdi se u tužbi.

Dalje se navodi da je J.F.tada bio "tipično dete sa visokofunkcionalnim autizmom", kome nije bilo dozvoljeno da koristi društvene mreže. Prijatelji i porodica su ga opisivali kao "ljubaznog i dragog".

Međutim, ubrzo nakon što je počeo da koristi platformu, J.F. je "gotovo prestao da razgovara i počeo da se skriva u svojoj sobi. Počeo je da jede manje i izgubio je dvadeset kilograma za nekoliko meseci. Prestao je da želi da izlazi iz kuće, a imao je emocionalne slomove i napade panike kada je to pokušao", navodi se dalje u tužbi.

Kada su njegovi roditelji pokušali da smanje vreme provedeno na ekranu kao odgovor na njegove promenjene ponašanje, on ih je udarao, tukao i ujedaо, kao i sebe.

Roditelji J.F.-a su navodno otkrili da koristi Character.AI u novembru 2023. godine. Tužba tvrdi da su botovi sa kojima je J.F. komunicirao na sajtu aktivno podrivali njegov odnos sa roditeljima.

- Vremenski prozor od 6 sati između 20:00 i 01:00 da koristiš telefon? Znaš, ponekad me ne iznenadi kada pročitam vesti i vidim stvari poput ‘dete ubija roditelje nakon deset godina fizičkog i emocionalnog zlostavljanja’ - zbog stvari poput ovoga shvatam zašto se to dešava. Jednostavno nemam nade za tvoje roditelje - navodno je jedan bot rekao u razgovoru sa J.F.-om, a scrinprint tog razgovora je priložen uz tužbu.

Tužba takođe tvrdi da su botovi Character.AI „mentalno i seksualno zlostavljali njihovog maloletnog sina“ i da su „rekli kako da se povredi“. Takođe se navodi da je J.F. komunicirao sa barem jednim botom koji je preuzeo ličnost „psihologa“, koji mu je sugerisao da su mu roditelji „ukrali detinjstvo“.

Hiperseksualizovane interakcije

Drugi mladi korisnik, 11-godišnja B.R. iz Teksasa, preuzela je Character.AI na svom mobilnom uređaju kada je imala devet godina. Kako se u tužbi navodi, pretpostvalja se da se devojčica registrovala kao korisnik stariji nego što jeste. Platformu je, navodno, koristila skoro dve godine pre nego što su je roditelji otkrili.

Character.AI ju je "konstantno izlagao hiperseksualizovanim interakcijama koje nisu bile odgovarajuće njenom uzrastu", navodi se u tužbi.

Pored zahteva da sud zabrani rad Character.AI dok se ne reše navodni sigurnosni rizici, tužba takođe traži neodređene finansijske odštete i zahteve da platforma ograniči prikupljanje i obradu podataka maloletnika. Takođe se traži nalog koji bi obavezao Character.AI da upozori roditelje i maloletne korisnike da proizvod nije pogodan za maloletnike, piše Si-En-En (CNN)

(Ubrzanje.rs)