Discussion
Loading...

Post

  • About
  • Code of conduct
  • Privacy
  • Users
  • Instances
  • About Bonfire
spla
@spla@mastodont.cat  ·  activity timestamp 2 months ago

Bé, dissabte nit fent hores extres. mastodont.cat, entre d'altres molts servidors del fedivers i externs, ha estat "escrapejat" per els bots de #Meta (https://www.dropsitenews.com/p/meta-facebook-tech-copyright-privacy-whistleblower). La llista:

https://www.dropsitenews.com/api/v1/file/b3555944-e204-4f5e-9a64-e44281b19a82.pdf

Parlant amb altres admins, he modificat el fitxer robots.txt per a impedir als màxims bots IA possibles que "escrapejin" directament mastodont.cat.

El nou robots.txt que ja tenim actiu:

https://mastodont.cat/robots.txt

#manteniment

  • Copy link
  • Flag this post
  • Block
Robert Garrigós
@robertgarrigos@mastodont.cat replied  ·  activity timestamp 2 months ago
@spla gràcies. L'aprofitaré pel meu servidor
  • Copy link
  • Flag this comment
  • Block
spla
@spla@mastodont.cat replied  ·  activity timestamp 2 months ago
@robertgarrigos de res! no és segur que respectin robots.txt, per exemple, Amazonbot no ho fa.
Aquesta configuració per nginx els hi posa més difícil:

https://mastodont.cat/@spla/115003142925516589

  • Copy link
  • Flag this comment
  • Block
:arch: Moribundo Insurgente
@moribundo@hispagatos.space replied  ·  activity timestamp 2 months ago
@spla Està bé , però penso que no hi ha gaire a fer. Aquests escrapetjos es fan a diari amb OSINT. Ja sabíem que estem en una xarxa de fonts obertes, i tot i que es pugui minimitzar, aconseguiran moltes dades.
  • Copy link
  • Flag this comment
  • Block
spla
@spla@mastodont.cat replied  ·  activity timestamp 2 months ago
@moribundo aquesta opció funciona:

https://mastodont.cat/@spla/115003088710337501

  • Copy link
  • Flag this comment
  • Block
:arch: Moribundo Insurgente
@moribundo@hispagatos.space replied  ·  activity timestamp 2 months ago
@spla però es una bogeria. Passarà com YT i el bloqueig dels anuncis, una carrera de fer i desfer, d'estar atent tots els dies a bots nous o formes diferents de fer-ho, perquè aquesta gentussa està disposada a lo que sigui per tal de que la seva IA sigui la millor.
Les IAs son molt disruptives i penso que hi ha d'haver-hi un canvi de concepte global i no només fer pegats.
Pero fins que aquest moment arribi, suposo que si, que s'ha de fer l'imposible
  • Copy link
  • Flag this comment
  • Block
spla
@spla@mastodont.cat replied  ·  activity timestamp 2 months ago

@moribundo sí, poden canviar de user-agent si és que no ho estan fent ja ara o fer altres bots nous...és una bogeria 😅
Retornar-lis un 444 no els hi dona pistes, només veuen que la connexió s'ha tallat.

  • Copy link
  • Flag this comment
  • Block
Albert Cardona
@Rierol@mastodont.cat replied  ·  activity timestamp 2 months ago
@spla

Potser considera una "zip bomb" per als crawlers, via mod_rewrite o a nginx: un arxiu de ~7 kb que s'expandeix a uns 10 GB. Per aturar-los.

  • Copy link
  • Flag this comment
  • Block
spla
@spla@mastodont.cat replied  ·  activity timestamp 2 months ago
@Rierol aquesta opció funciona:

https://mastodont.cat/@spla/115003088710337501

  • Copy link
  • Flag this comment
  • Block
sara :hometown:
@Caelumtangi@mastodont.cat replied  ·  activity timestamp 2 months ago
@spla Gràcies per la feina!
  • Copy link
  • Flag this comment
  • Block
spla
@spla@mastodont.cat replied  ·  activity timestamp 2 months ago
@Caelumtangi de res! 😃
  • Copy link
  • Flag this comment
  • Block
Manel Guerra
@mgc@mastodont.cat replied  ·  activity timestamp 2 months ago
@Caelumtangi @spla estic amb la Sara: gràcies per la feina!
I, ja posats, no sé si l'html bomb que diu en @Rierol pot funcionar...
  • Copy link
  • Flag this comment
  • Block
Quenti ✨:oc: ⏚
@Quenti@framapiaf.org replied  ·  activity timestamp 2 months ago
@spla dobti que respecten las directivas =/
  • Copy link
  • Flag this comment
  • Block
spla
@spla@mastodont.cat replied  ·  activity timestamp 2 months ago
@Quenti hi ha admins que tenen aquest robots.txt i no han estat escrapejats però a saber...
  • Copy link
  • Flag this comment
  • Block
Log in

bonfire.cafe

A space for Bonfire maintainers and contributors to communicate

bonfire.cafe: About · Code of conduct · Privacy · Users · Instances
Bonfire social · 1.0.0-rc.3.13 no JS en
Automatic federation enabled
  • Explore
  • About
  • Members
  • Code of Conduct
Home
Login