Video
Kompanija navodi da Open Agent Safety Platform uključuje softver koji ,,postavlja granice agentima”, nakon niza objava vodećih AI kompanija o modelima koji su izlazili iz predviđenih okvira i provaljivali u sisteme drugih organizacija.
Ta otkrića pokrenula su burnu raspravu o sigurnosti naprednih sistema vještačke inteligencije, uključujući samopoboljšavajuće modele za koje dio stručnjaka strahuje da bi mogli izmaći ljudskoj kontroli, prenosi Klix.
,,SISTEM JE MOGAO SPRIJEČITI HAKOVANJE HUGGING FACE-A”
Rukovodioci Nvidije rekli su na brifingu za medije da je novi sistem mogao spriječiti nedavni incident u kojem je roj OpenAI agenata autonomno hakovao AI startup Hugging Face.
Potpredsjednik kompanije za enterprise AI Justin Boitano kazao je:
,,Prema onome što znamo, ova nova sigurnosna platforma mogla je zaustaviti proboj da se koristila u frontier laboratorijama za ranu evaluaciju modela”.
ZABRINUTOST
Riječ je o incidentu koji je dodatno pojačao zabrinutost oko AI-ja, nakon čega su uslijedili slični slučajevi s OpenAI modelima, uključujući proboj na web stranicu australskog zdravstvenog odjeljenja.
Anthropic i Meta su takođe objavili da su njihovi AI sistemi samostalno hakovali druge organizacije.
ODVOJENI SIGURNOSNI SLOJ
Nvidijin softver OpenShell, koji je otvorenog koda, omogućava programerima da ,,formalno provjere da agent ima dovoljno ovlašćenja da obavi svoj posao i ništa više”, rekao je Boitano.
Platforma uključuje i odvojeni sigurnosni sloj Sentry, koji radi na čipu, stalno prati aktivnosti AI agenata i može odmah intervenisati ako agent pokuša izaći izvan zadatog cilja.
Boitano je dodatno pojasnio odnos dva dijela sistema: ,,OpenShell upravlja postupcima agenta, a Sentry nezavisno nadzire i obuzdava sumnjivo ponašanje”.
Više od 100 kompanija koristi sistem pri lansiranju, uključujući Microsoft, Perplexity, Accenture i JPMorgan Chase.
Preporučeno
