È sempre più difficile bloccare i crawler dell'intelligenza artificiale

@aitech

da https://www.wired.it/article/bloccare-crawler-ai-web/

I crawler dei chatbot stanno diventando un problema crescente per i servizi online, poiché il loro numero è aumentato esponenzialmente con la crescita dell'AI generativa. Questi bot, utilizzati per raccogliere dati dal web, mettono a rischio le infrastrutture e aumentano i costi operativi.

Nonostante esistano metodi come il file robots.txt per limitare l'accesso ai bot, questi non sono sempre rispettati. Tecniche più avanzate, come i captcha, sono state sviluppate, ma i bot continuano a trovare modi per aggirarli.

Recentemente, Cloudflare ha introdotto un sistema chiamato AI Labyrinth per intrappolare i bot in un ciclo senza fine. Inoltre, la programmatrice Xe Iaso ha creato Anubis, un software open source che distingue tra bot e browser umani attraverso operazioni matematiche crittografiche, dimostrandosi efficace e già adottato da diverse organizzazioni, inclusa l'UNESCO.