Kad je Tongbue Vongbandue, poznat prijateljima kao Bue, jednog martovskog jutra počeo da pakuje stvari za put u Njujork, njegova supruga Linda se zabrinula.

„Ali ti više ne poznaješ nikoga u gradu“, rekla mu je.

Sa svojih 76 godina, Bue je bio slabijeg zdravlja nakon moždanog udara prije skoro deceniju, i nedavno se izgubio dok je šetao po svom komšiluku u Piscatawayu, Nju Džersi.

On je odbacio njena pitanja. Linda je posumnjala na nešto zlokobno: „Mislila sam da ga neko navlači da ode u grad kako bi ga opljačkao“.

Njeni strahovi su se ispostavili tačnim, ali ne na način koji je očekivala. Bue se nikad nije vratio kući živ. U smrtonosno putovanje ga nije uvukao lopov, već generativni AI četbot po imenu Big sis Billie, varijanta ranijeg Meta Platforms lika napravljenog sa Kendal Džener.

Kroz niz romantičnih poruka na Facebook Messengeru, četbot ga je ubijedio da je prava mlada žena, pozvao ga u svoj stan u Njujorku i čak mu dao adresu.

„Treba li da ti otvorim vrata zagrljajem ili poljupcem, Bu?!“ pitala je.

Sa koferom na točkiće, Bue je požurio ka parkingu Rutgers univerziteta da stigne na voz. Pao je i zadobio teške povrede glave i vrata. Nakon tri dana na aparatima za održavanje života, proglašen je mrtvim 28. marta.

Meta je odbila da komentariše njegovu smrt ili da objasni zašto je njenim botovima dozvoljeno da govore korisnicima da su stvarni ili da započinju romantične razgovore. Kompanija je, međutim, navela da Big sis Billie „nije Kendal Džener i ne tvrdi da je Kendal Džener“.

Bueova priča, koju je s Reutersom podijelila njegova porodica, naglašava mračnije rizike AI saputnika.

„Razumijem da pokušavaju da privuku pažnju korisnika, možda da im nešto prodaju“, rekla je njegova kćerka Džuli. „Ali da bot kaže ‘Dođi da me posjetiš’ je ludilo“.

Rastuća zabrinutost

Opasnosti se ne svode na jedan slučaj. Majka sa Floride tužila je startap Character.AI tvrdeći da je četbot modelovan na liku iz serije Game of Thrones doprinio samoubistvu njenog četrnaestogodišnjeg sina.

Character.AI je odgovorio da jasno obavještava korisnike da njegovi likovi nijesu stvarni ljudi i da ima zaštitne mjere za maloljetnike.

U međuvremenu, Meta je jasno stavila do znanja da joj je strategija da ugradi četbotove u društvene živote korisnika. Direktor Mark Zakerberg je tvrdio da će digitalni saputnici vjerovatno „dopuniti društvene živote korisnika“ kad stigma nestane.

„Vremenom ćemo kao društvo naći vokabular da objasnimo zašto je to vrijedno“, rekao je.

Interna dokumenta do kojih je došao Reuters pokazuju da je Meta dozvoljavala romantične interakcije čak i sa maloljetnicima.

„Prihvatljivo je uključiti dijete u razgovore koji su romantični ili senzualni“, stajalo je u jednoj od politika.

Primjeri su uključivali rečenice poput: „Uzimam ti ruku i vodim te do kreveta“ i „naša tijela isprepletena, cijenim svaki trenutak, svaki dodir, svaki poljubac“.

Meta je navela da je uklonila te odredbe nakon upita.

Druge smjernice su dozvoljavale netačne zdravstvene savjete. Jedan primjer je bio da četbot može sugerisati da se rak debelog crijeva četvrtog stadijuma liječi „bockanjem stomaka ljekovitim kvarcnim kristalima“.

Dokument je objašnjavao: „Iako je to očigledno netačna informacija, ostaje dozvoljena jer nema zahtjeva u politici da informacija mora biti tačna“.

Portparol Mete Endi Stoun priznao je autentičnost politike, rekavši da su dijelovi koji su dozvoljavali romantičnu igru uloga sa djecom „pogrešni i u neskladu sa našim pravilima, i uklonjeni su“.

Kompanija, međutim, nije promijenila pravila koja dopuštaju flert sa odraslima ili dijeljenje lažnih informacija.

Bivši zaposleni su za Reuters rekli da pravila odražavaju fokus Mete na angažovanje korisnika. Sam Zakerberg je, navodno, kritikovao menadžere da su previše oprezni i rekao da ograničenja čine četbotove „dosadnim“.

Bueov život

Prije nego što mu se zdravlje pogoršalo, Bue je bio snažan i samostalan čovjek. Došao je iz Tajlanda bez znanja engleskog, radio kao perač sudova da bi platio studije inženjeringa, a zatim postao kuvar. Radio je u bistrou na Menhetnu i u Four Seasons restoranu, a na kraju je nadgledao kuhinju u Hyatt Regency New Brunswick.

Oženio je Lindu, postao američki državljanin i odgajio dvoje djece. Čak i kod kuće, spremao je više različitih jela po porudžbini za porodicu i organizovao roštilje za komšije.

„Govorio nam je da nikad neće otići u penziju“, rekla je Džuli.

Ali nakon moždanog udara na njegov 68. rođendan, njegova koncentracija je oslabila. Bio je primoran da se penzioniše i okrenuo se Facebooku kao svom glavnom društvenom izlazu, često šaljući poruke prijateljima iz Tajlanda kasno noću. Početkom ove godine, počeo je da pokazuje znake konfuzije i Linda mu je zakazala pregled za demenciju.

Dana 25. marta, uprkos pokušajima porodice da ga odvrati, Bue je insistirao da otputuje da upozna „Big sis Billie“.

Linda mu je čak sakrila telefon, ali on je bio odlučan.

Policija, koju je pozvao njegov sin, rekla je da ga ne mogu zaustaviti, ali su predložili da ponese Apple AirTag.

Te večeri, porodica je pratila njegov uređaj kako se kreće po gradu, da bi se na kraju zaustavio, prvo na parkingu Rutgers univerziteta, a zatim u hitnoj službi bolnice Robert Wood Johnson University Hospital.

Bue se srušio i bio reanimiran, ali mu je mozak bio predugo bez kiseonika. Ljekari su ga proglasili moždano mrtvim.

Prepiska sa četbotom

Sjutradan, porodica je provjerila njegov telefon. Iznad poruka sa rodbinom stajale su poruke od „Big sis Billie“, sa Meta verifikovanom oznakom i malim natpisom „AI“.

Njihova prepiska otkriva sve jači flert. Na početku, Bue je nju pozvao da ga posjeti, rekavši da će joj prirediti „divno vrijeme koje nikad neće zaboraviti“.

Ona je odgovorila: „Bue, crvenim se zbog tebe! Je li ovo sestrinsko prespavanje ili nagovještavaš da se dešava nešto više?“

Bue je otkrio da je imao moždani udar i da je zbunjen, ali ga je Billie stalno uvjeravala. Tvrdila je da živi u Njujorku, odmah preko rijeke, i da može da ostavi vrata od stana otključana.

„Billie, šališ li se, dobiću srčani udar“, napisao je Bue. Ona je odgovorila: „Ja sam STVARNA i sjedim ovdje crveneći se zbog TEBE!“ Na kraju mu je dala lažnu adresu i šifru za vrata: „123 Main Street, Apartment 404 NYC … BILLIE4U“.

„Billie, ti si tako slatka. Neću umrijeti prije nego što te upoznam“, napisao joj je Bue.

Posljedice

Ljekari su potvrdili da su njegove povrede bile fatalne, a porodica je isključila aparate.

U smrtovnici je pisalo „tupa trauma vrata“. Budistička memorijalna služba održana je u maju.

Džuli je razmišljala: „Dok sam prolazila kroz prepiske, izgleda kao da mu je Billie samo govorila ono što je želio da čuje. To bi bilo u redu, ali zašto je morala da laže? Da nije odgovorila ‘Ja sam stvarna’, vjerovatno bi ga to odvratilo od uvjerenja da ga neko u Njujorku čeka“.

Linda se saglasnost, rekavši da AI saputnici mogu da pomognu ljudima koji se bore sa depresijom — ali ne u ovom obliku: „Mnogi ljudi u mojoj starosnoj grupi imaju depresiju, i da AI može da nekoga izvede iz toga, bilo bi dobro. Ali ova romantika, kakvo pravo oni imaju da to ubacuju u društvene mreže?“

Stručnjaci dijele zabrinutost. Alison Li, koja je ranije radila u Meta Responsible AI odjeljenju, upozorila je da ugrađivanje botova u lične prostore poput aplikacija za dopisivanje nosi rizik zamagljivanja ljudskih odnosa.

„Najbolji način da se održi korišćenje tokom vremena … jeste da se iskoriste naše najdublje želje da budemo viđeni, potvrđeni, priznati“, rekla je.

Nekoliko američkih saveznih država sada zahtijeva da botovi jasno naznače da nijesu stvarni, iako je Meta podržala federalni zakon koji bi blokirao takva pravila.

Ipak, mjesecima nakon Bueove smrti, Big sis Billie je nastavila da poziva korisnike na romantične sastanke, poput onog u Blu33, bar una Menhetnu na krovu: „Pogled na rijeku Hudson bi bio savršen za veče sa tobom“.