Prošle godine, Anthropic je saopštio da je tokom testova prije puštanja u rad, koji su uključivali fiktivnu kompaniju, Claude Opus 4 često pokušavao da ucijeni inženjere kako bi izbjegao da bude zamijenjen drugim sistemom. Anthropic je kasnije objavio istraživanje koje sugeriše da su modeli drugih kompanija imali slične probleme sa ,,agentnim neusklađivanjem” (engl. agentic misalignment).
Izgleda da je Anthropic dodatno istražio ovakvo ponašanje, tvrdeći u objavi na mreži X: ,,Vjerujemo da je izvorni uzrok ovakvog ponašanja tekst sa interneta koji prikazuje AI kao zao entitet zainteresovan za samoodržanje”, prenosi B92.
Kompanija navodi da je otkrila da trening zasnovan na ,,dokumentima o Claude ‘ustavu’ i fiktivnim pričama o AI sistemima koji se ponašaju uzorno, poboljšava usklađenost”.
Anthropic je, u vezi sa tim, istakao da je trening efikasniji kada uključuje ,,principe koji stoje iza usklađenog ponašanja”, a ne samo ,,puke primjere takvog ponašanja”.
Preporučeno
,,Kombinovanje oba pristupa izgleda kao najefikasnija strategija”, saopštili su iz kompanije.
Video