Bloquear un spider malvado con .htaccess 🥇 Foro SEO, CEO y Publicidad 🏅

Foro de SEO, CEO y Publicidad  Foro de SEO, CEO y Publicidad: Pageranks, Optimizacion de enlaces, Analytics, Adsense, Adwords
SubForos: Afiliación - Foros - Seo - Algoritmo - Redes - Google - Publicidad - Posicionamiento
Página 1 de 1 - Tema con 1 Mensajes y 11172 Lecturas
Último Mensaje Publicado:
Autor Mensaje
Aforo
Aforo
Junior
Junior
Registrado:
18-02-2008
Mensajes: 257
Visitar sitio web del autor
Votos: 0 👍
Enlaces Asunto: Bloquear un spider malvado con .htaccess   Responder citando
Tengo un Spider malvado que no atiende a bloqueos en robots.txt y me ataca desde multiples IP y por tanto no puedo bloquearlo por IP.

Lo he detectado porque me tira mi sitio web (tiene millones de paginas) detecta accesos bestiales de un agente de un spider conocido por su dificultad de bloqueo, pues no atiende a ningún tipo de peticiones (es un sitio 80legs.com que actúa así con premeditación y es mas que oscuro el motivo de sus búsquedas, por no decir vulgares spammers).

Me voy a log de mi servidor apache:
Quote::
cd /var/www/vhosts/midominio.com/statistics/logs
tail -200 access_log

Abro las ultimas lineas y me lo encuentro alli, pidiendo páginas como una metralleta.

Quote::


74.129.176.213 - - [12/Sep/2010:15:35:33 +0200] "GET /index.php?name=Your_Account&profile=54753 HTTP/1.1" 200 4539 "-" "Mozilla/5.0 (compatible; 008/0.83; www.80legs.com/spider.html) Gecko/2008032620"
24.23.117.201 - - [12/Sep/2010:15:35:34 +0200] "GET /foros.php?p=2022478 HTTP/1.1" 200 11844 "-" "Mozilla/5.0 (compatible; 008/0.83; www.80legs.com/spider.html) Gecko/2008032620"
74.129.176.213 - - [12/Sep/2010:15:35:35 +0200] "GET /foros.php?p=2024284 HTTP/1.1" 200 11899 "-" "Mozilla/5.0 (compatible; 008/0.83; www.80legs.com/spider.html) Gecko/2008032620"
74.129.176.213 - - [12/Sep/2010:15:35:36 +0200] "GET / HTTP/1.1" 200 10685 "-" "Mozilla/5.0 (compatible; 008/0.83; www.80legs.com/spider.html) Gecko/2008032620"



Pues tengo dos opciones: lo puedo bloquear en .htaccess

Como lo hago:

Edito el fichero .htaccess que esta en el raiz de mi sitio web.

Y le añado dos lineas:
Quote::
RewriteCond %{HTTP_USER_AGENT} (www.80legs.com/spider.html)
RewriteRule ^(.*)$ - [F]

Despues de esto reinicio el servidor:
Quote::
service httpd restart

Y el Spider o robot, que estaba martilleando mi sitio web no puede entrar... a tomar viento. Malvado o muy loco

Información adicional:
www.webmasterworld.com/ ...955343.htm (sobre este robot malicioso)
www.stopforumspam.com/ ...hp?id=1745
blamcast.net/ ...p-htaccess (como bloquear en .htaccess por IP, rangos, agentes, etc)

_________________
http://www.aforo.es (La web de los foros divertidos)
Ir arriba Tengo un Spider malvado que no atiende a bloqueos en robots.txt y me ataca desde multiples IP y por tanto no puedo bloquearlo por IP. Lo he detectado porque... Aforo Compartir:
Mostrar mensajes de anteriores:   
SubForos: Afiliación - Foros - Seo - Algoritmo - Redes - Google - Publicidad - Posicionamiento
 Responder al tema   Versión Imprimible
Todas las horas son GMT + 1 Hora
Página 1 de 1 - Tema con 1 Mensajes y 11172 Lecturas - Última modificación: 12/09/2010




RSS: Foro SEO, CEO y Publicidad RSS - Ultimos Mensajes
Cambiar a:  


Puede publicar nuevos temas en este foro
No puede responder a temas en este foro
No puede editar sus mensajes en este foro
No puede borrar sus mensajes en este foro
No puede votar en encuestas en este foro
No Puedes adjuntar archivos en este foro
Tu puedes descargar archivos en este foro