Al bot de #Amazon no li preocupa gens que l'estigui bloquejant en cada intent que fa, ell segueix al mateix ritme.
Edito: necessitava temps per veure que era a la llista de robots.txt, ja fa un parell de dies que no xafardeja res.
Discussion
Loading...
@spla tens alguna documentació de com muntat el sistema? M'agrada entendre com parar al Mal (no parlo de tu 😉)
@mestretites no l'ha he fet, hauria de publicar-ho. En resum, es basa en afegir una configuració a nginx on es llisten els user_agent dels robots coneguts i retornar-lis el codi d'estat 444.
Un cop tens això actiu, amb l'ajut de Loki, Promtail i Grafana obtens del log els robots rebutjats amb 444 i generes el gràfic.
Un cop tens això actiu, amb l'ajut de Loki, Promtail i Grafana obtens del log els robots rebutjats amb 444 i generes el gràfic.
![server {
listen 443 ssl http2;
listen [::]1:443 ssl http2;
server_name mastodont.cat;
# Block requests from flagged AI bots
if ($block_ai_bot) {
return 444;
}](https://mastodont.cat/system/media_attachments/files/115/015/460/174/592/535/original/156a621cfe161644.png)
server {
listen 443 ssl http2;
listen [::]1:443 ssl http2;
server_name mastodont.cat;
# Block requests from flagged AI bots
if ($block_ai_bot) {
return 444;
}
# Define a map to check the User-Agent header for known AI bots.
map $http_user_agent $block_ai_bot {
default 0;
# List of AI bot patterns (case-insensitive match)
~kaiHitBot 1;
~kAnthropicAl 1;
~x0penAl 1;
~%xSogou 1;
~xAhrefsBot 1;
~xSemrushBot 1;
~kxia_archiver 1;
~xAI2Bot 1;
~%Ai2Bot-Dolma 1;
~xAmazonbot 1;
~kanthropic-ai 1;
~%Applebot 1;
~xApplebot-Extended 1;
~xAwarioBot 1;
~xAwarioRssBot 1;
~xAwarioSmartBot 1;
~ ~%Bytespider 1;
@spla
Em fas enveja. T'admiro per la paciència que tens administrant el servidor i escoltant les meves tonteries.
Però també em fas enveja de no tenir el meu servidor i saber gestionar-lo. I ja posats conèixer un grup hacker on ens divertissim aolicant tècniques per putejar els bots de meta, amazon, etc.
No sé si inclús es podria fer un "peiper" del que fan. Suposo que si parteixes d'una tesis, i la valides amb dades reals hauria de ser acceptada.
@xorsch intento llegir el necessari per a que el servidor funcioni bé per a tots vosaltres. També és cert que m'agrada força la informàtica, diria que des de sempre.
Parlant amb altres admins no tothom pensa igual, hi ha qui diu que és una guerra perduda, que Amazon té milers de IPs, que poden canviar els user_agent dels seus bots, etc. Jo no puc estar sense fer res, no m'agrada deixar que agafin el que vulguin.
Sí que estaria bé fer un paper però imagino que en deuen haver per internet...
@spla
La veritat és que causa molta impotència no poder explicar a la gent el cantó fosc d'aquest monstres.
La reacció general de la gent (normal) és indiferència, "negació" o conformisme, escudant-se en ignorància, o en que són regles que cal acceptar. I per tant no cal fer res.
Les filtracions Hallowen de microsoft, no valen. Les filtracións que meta usa estratègies il·legals per obtenir dades o entrenar no valen. Les filtracions i explicacions de com ens manipulen no valen.
@spla
Sols no podrem fer-hi front, però els que ens agrada la informàtica haurem de buscar tècniques per defensar-nos.
Jo ho dic en serio: entre el Intel Me, o PSP d'AMD, el control de las claus UEFI per part de microsoft, etc ... No vull saber que faràn ara que disposen de hardware dedicats a poder perfilar l'usuari amb les npu ..
Ja veurem quines salvatjades fan.
@xorsch tristament cert, a la immensa majoria de la gent no els interessa gens, si és que en tenen coneixement.
@spla@mastodont.cat potser la zipbomb que deien no fa gaire és l'única manera de parar aquest sense sentit...
@spla És una situació insostenible, on es malbaraten recursos a tort i a dret.
bonfire.cafe
A space for Bonfire maintainers and contributors to communicate
Automatic federation enabled