Aquest pic tan bèstia (unes 50.000 peticions per minut!) que es veu a l'esquerra el va provocar un #scraper: obtenia tuts públics d'altres servidors a través de mastodont.cat, i fins i tot fils sencers. L'he bloquejat i, a més, he tancat l'API als visitants sense compte.
Els enllaços a tuts de mastodont.cat ja no es poden llegir sense tenir compte. Si compartiu un tut fora del fedivers, qui no tingui compte no el podrà veure. Amb la sessió iniciada, tot funciona com sempre.
@associaciosilviag els scrapers saturen el servidor, a la balança guanya mantenir el servei fluid i estable abans que deixar que els scrapers robin informació sense permís (ho fan des de fora del fedivers). De totes maneres mastodont.cat segueix interaccionant al 100% amb el fedivers.
Es mantindrà així de manera indefinida perquè dubto molt que deixin de fer-ho.
@spla M'interessava que el meu perfil fos públic, com qui té un blog publicat com a pàgina web. Si ara mastodont.cat ha d'estar tancat, ho puc aconseguir migrant el compte a una altra instància? Potser totes les instàncies es trobaran el mateix problema tal com està internet a dia d'avui...
@felixllopart pots provar en altres servidors a veure si et va bé. És difícil saber què passarà en un futur.
@spla Can you tell what they were looking for
@pleaseclap mostly public posts from other servers, fetched through mastodont.cat’s cache (over 90% of what it asked for), plus whole threads via the API (/api/v1/statuses/:id/context). Most of those API calls returned 404, so it seemed to be working from an old or foreign list of post IDs. Headless Chrome, spoofed user agent, ~50,000 IPs, never touched robots.txt. Who’s behind it and why: no idea.
I double-checked to be sure, because I did run a scraper on my mastodont.cat account recently, to archive it. But looking at my logs I think it would have only been ~700 requests, not 50,000. The user agent was: NightWolfPublicArchive/1.0
The account is: https://mastodont.cat/@NightWolf_Badalona@mastodont.cat
@pleaseclap for archiving your own account there’s also a built-in option: Preferences → Import and export → Data export. It gives you everything in one file, no scraping needed. And a quick heads-up beforehand is always appreciated.
@spla Yeah, sorry about that! I lost access. Not just the password but the dummy e-mail address I used to create the account, too. So I just had to do some light burglary.
Thanks for letting NightWolf lurk for so long. I had a great time and this is what I did with the posts:
http://www.adamjameshuston.com/nightwolf/#116488062468119042
@spla Això de tancar les publicacions a persones no membres és una llàstima... Serà definitiu?... No acabo d'entendre el perquè, què hi té a veure aquest pic amb tancar les publicacions a persones no membres? Potser han aconseguit el que volien...