Video
„Rezultati ukazuju na to da sadašnji AI sistemi mogu uspješno da oponašaju ljude tokom kratkih interakcija, ali i otvaraju pitanja o tome koliko je sam test efikasan kao mjera inteligencije“, napisali su autori studije sa Univerziteta u San Dijegu, Kameron Džouns i Bendžamin Bergen, piše Psychology Today.
Igra imitacije
Velike su šanse da je prosječna osoba već mnogo puta učestvovala u nekoj verziji Tjuringovog testa prilikom posjete internet sajtovima. Kada bezbjednosna provjera od korisnika traži da označi sve slike na kojima se nalazi bicikl ili da ukuca niz isprepletanih slova i simbola, takozvani CAPTCHA sistem (Completely Automated Public Turing Test to Tell Computers and Humans Apart) predstavlja jednu od praktičnih primjena Tjuringovog testa, prenosi Trender.
Sam test je relativno moderan koncept. Britanski matematičar Alan Tjuring objavio je oktobra 1950. godine rad „Computing Machinery and Intelligence“ u časopisu MIND i predstavio „Igru imitacije“ kao metod za procjenu sposobnosti mašina da razmišljaju ili oponašaju ljudsku inteligenciju kroz prirodan jezik, na način koji je nemoguće razlikovati od komunikacije sa stvarnim čovjekom. Ova metoda, danas poznata kao Tjuringov test, koristi se već više od 75 godina.
„Tjuringov test se često posmatra kao test mašinske inteligencije, ali istovremeno predstavlja i mjeru načina na koji ljudi razlikuju druge ljude od mašina“, naveli su istraživači.
Ko igra bolje: AI ili ljudi?
U studiji su testirana četiri jezička modela: OpenAI modeli GPT-4.5 i GPT-4o, model Meta Llama 3.1 405B, kao i ELIZA, prvi četbot koji je šezdesetih godina razvio profesor Džozef Veizenbaum sa Univerziteta MIT.
Za potrebe istraživanja, Džons i Bergen okupili su ukupno 284 učesnika. Njih 158 regrutovano je preko interneta, dok je preostalih 126 došlo iz baze ispitanika psihološkog odsjeka UCSD-a.
Svaka runda trajala je pet minuta. Ispitivač je istovremeno vodio tekstualni razgovor sa jednim ljudskim i jednim AI „svedokom“. Po isteku vremena morao je da odluči ko je čovjek, a ko vještačka inteligencija, uz obrazloženje svoje odluke. Svaki učesnik prošao je osam rundi razgovora, polovinu vremena kao ispitivač, a polovinu kao sagovornik.
Ako je ispitivač nekog sagovornika označio kao čovjeka, to se računalo kao pobjeda.
Ukupno je analizirano 1.023 partije. Najuspješniji model bio je GPT-4.5, koji je u čak 73 odsto slučajeva proglašen čovjekom. Na drugom mjestu našao se Llama sa stopom uspjeha od 56 procenata.
„Činjenica da modeli postižu ovako dobre rezultate otvara nova pitanja o tome šta Tjuringov test zapravo mjeri“, naveli su autori.
Očekivano, stariji i manje napredni modeli imali su znatno slabije rezultate. GPT-4o ostvario je stopu uspjeha od 21 odsto, dok je ELIZA zabilježila 23 odsto.
Tjuringov test i uspon „lažnih ljudi“
Istraživanje pokazuje da najsavremeniji jezički modeli, makar tokom kratkih razgovora, mogu ubjedljivo da se predstave kao ljudi, čime je praktično probijena granica koju je Tjuringov test predstavljao pune 76 godina.
„Bez obzira na to da li prolazak Tjuringovog testa znači da su LLM sistemi zaista nalik ljudima ili inteligentni, rezultati koje ovdje predstavljamo imaju neposredan društveni i ekonomski značaj“, upozoravaju Bergen i Džons.
Autori posebno ističu moguće negativne posljedice pojave AI sistema koji mogu da se predstavljaju kao ljudi – takozvanih „lažnih ljudi“ (counterfeit people). Takvi modeli mogli bi da doprinesu zamjeni ljudske radne snage, potiskivanju stvarnih društvenih interakcija, manipulaciji korisnicima od strane onih koji kontrolišu AI sisteme, kao i da „umanje vrijednost autentične ljudske komunikacije“.
Studija pokazuje da su mašine zvanično prešle prag koji bi mogao značajno da utiče na bezbjednost i povjerenje na internetu. Ipak, istraživači vjeruju da ljudi i dalje imaju priliku da pronađu nove načine razlikovanja od sistema koji su trenirani upravo da ih oponašaju.
„Iako je mašina sada po prvi put položila Tjuringov test, ovo neće biti posljednja prilika da ljudi u njemu ostvare bolji rezultat“, zaključili su autori istraživanja.
Preporučeno
