#Amazon és el bot més agressiu xafardejant mastodont.cat en un dia

cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" |wc -l
18473

18.473 "escrapejades" en total, principalment enllaços a mitjans externs però:

cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" | grep "/@" | wc -l
907
o sigui, 907 intents d'obtenir tuts de diversos usuaris.

cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" | grep "/tags" | wc -l
271 -> tuts d'etiquetes

#scraping