Post
Molts tuts denunciant l'scraping de #Meta però el bot que fa l'scraping més agressiu és el de Amazon:
grep 'meta-externalagent' /var/log/nginx/mastodont.cat.access.log | awk '{print $1}' | wc -l
857
grep 'Amazonbot' /var/log/nginx/mastodont.cat.access.log | awk '{print $1}' | wc -l
11823
En el que portem de dia, Meta ha fet 857 "scraps" però Amazon 11.823.
@spla@mastodont.cat Gràcies a deu no tinc la visita de cap bot, ni a Misskey ni al bloc. Al robots.txt tinc prohibit que cap bot, sigui el que sigui faci res. I aquest mati he posat les regles al Nginx per si de cas... Mai se sap... Sort amb aquesta lluita!
@xorsch aquest mati he activat una configuració de nginx que els hi planta cara, quan intenten l'scrap no obtenen res, només que la connexió s'ha tallat.
Sí, seria com un DDOS, potser alegal?
A space for Bonfire maintainers and contributors to communicate
