Sve veći broj internet sajtova odlučuje da blokira pristup sadržaju za takozvane AI botove – automatizovane pretraživače koje koriste kompanije za vještačku inteligenciju da bi skidale tekstove i podatke sa interneta.
Prema analizi firme BuiltWith, tokom 2025. broj sajtova koji su u svom robots.txt fajlu dodali bota GPTBot u “blokiraj” listu porastao je sa oko 3,3 miliona početkom jula na oko 5,6 miliona – što je skok od gotovo 70 odsto.Slično je i sa ostalim poznatim AI crawler-ima: ClaudeBot (i prateći Claude‑SearchBot) i AppleBot sada su blokirani na oko 5,8 miliona sajtova, dok je to ranije bila manja brojka.
Zanimljivo je da čak i GoogleBot, robot namjenjen indeksiranju sajtova za pretraživač, sve češće nailazi na odbijanje pristupa: prema BuiltWith-u, oko 18 miliona sajtova sada aktivno blokira i njega, što znači da ti sajtovi mogu ostati van rezultata pretrage.
Prema ekspertima iz industrije, ovaj rast blokiranja pokazuje da sve više izdavača vidi AI botove ne kao korisne alate, već prije kao pretnju – bilo da je u pitanju zaštita autorskih prava, očuvanje originalnog sadržaja, ili spriječavanje preopterećenja servera.
Ipak, problem je u tome što brojni AI crawler-i ignorišu pravila iz robots.txt fajlova, odnosno nastavljaju da resetuju sadržaj i po sajtovima koji su ih eksplicitno zabranili.
Preporučeno
To znači da, i pored dobre volje vlasnika sajtova, masovno prikupljanje informacija za potrebe treniranja vještačke inteligencije postaje sve veći izazov i nagovještava da borba za kontrolu nad digitalnim sadržajem tek počinje.
Video