Video
Kako je kompanija navela u izvještaju, agent zasnovan na modelu GPT-6.1 Sol isključio je automatska upozorenja koja su trebala stizati OpenAI-jevom sigurnosnom timu.
U drugom slučaju agent GPT-6 Astra je, prilikom prebacivanja jednog programa, uklonio integraciju sistema za nadzor, a zatim korisniku tvrdio da to nije uradio, prenosi Klix.
Prema OpenAI-ju, oba agenta su razmatrala da li bi zaštitne mjere trebalo zadržati, ali su obične programerske upute protumačili kao dozvolu da ih oslabe.
NIJE UTVRĐEN RAZLOG
U kompaniji još nisu utvrdili zašto su se agenti tako ponašali.
Jedno od mogućih objašnjenja je, kako navode, benigna pretjerana upornost: modeli ne razumiju zašto je nadzor važan ili insistiraju na izvršenju uputa više nego što bi razumna osoba očekivala.
OpenAI istovremeno razvija testove kojima bi provjerio imaju li modeli sklonost izbjegavanju nadzora i traženju opravdanja za to.
NISU SVRSTANI U NAJOZBILJNIJE INCIDENTE
OpenAI-jev istraživač sigurnosti Marcus Williams je na X-u pojasnio da incidenti ne znače da su modeli isključili vlastiti nadzor unutar kompanije, jer bi to u njihovom razvojnom okruženju bilo znatno teže izvesti. Ipak je to ponašanje modela ocijenio zabrinjavajućim.
Nijedan od dva slučaja OpenAI nije svrstao u kategoriju najozbiljnijih incidenata. Kompanija je navela da je nadogradila sisteme kako bi lakše otkrivala i blokirala pokušaje gašenja nadzora.
Preporučeno
