Webnaranja
 
Toggle Content
Toggle Content Main Menu

Bloquear Un Spider Malvado Con .htaccess -1328- Foro: SEO, CEO y Publicidad
Bloquear un spider malvado con .htaccess
SEO, CEO y Publicidad SEO, CEO y Publicidad: Pageranks, Optimizacion de enlaces, Analytics, Adsense, Adwords
Reply to topic   Printer Friendly Page    Forum Index - Proyectos Web - SEO, CEO y Publicidad
View previous topic :: View next topic  
Author Message
Aforo
Junior
Junior


Joined: Feb 18, 2008
Posts: 257

PostPosted: Sun Sep 12, 2010 2:58 pm    Post subject: Bloquear un spider malvado con .htaccess Reply with quote

Tengo un Spider malvado que no atiende a bloqueos en robots.txt y me ataca desde multiples IP y por tanto no puedo bloquearlo por IP.

Lo he detectado porque me tira mi sitio web (tiene millones de paginas) detecta accesos bestiales de un agente de un spider conocido por su dificultad de bloqueo, pues no atiende a ningún tipo de peticiones (es un sitio 80legs.com que actúa así con premeditación y es mas que oscuro el motivo de sus búsquedas, por no decir vulgares spammers).

Me voy a log de mi servidor apache:
Quote::
cd /var/www/vhosts/midominio.com/statistics/logs
tail -200 access_log

Abro las ultimas lineas y me lo encuentro alli, pidiendo páginas como una metralleta.

Quote::


74.129.176.213 - - [12/Sep/2010:15:35:33 +0200] "GET /index.php?name=Your_Account&profile=54753 HTTP/1.1" 200 4539 "-" "Mozilla/5.0 (compatible; 008/0.83; www.80legs.com/spider.html) Gecko/2008032620"
24.23.117.201 - - [12/Sep/2010:15:35:34 +0200] "GET /foros.php?p=2022478 HTTP/1.1" 200 11844 "-" "Mozilla/5.0 (compatible; 008/0.83; www.80legs.com/spider.html) Gecko/2008032620"
74.129.176.213 - - [12/Sep/2010:15:35:35 +0200] "GET /foros.php?p=2024284 HTTP/1.1" 200 11899 "-" "Mozilla/5.0 (compatible; 008/0.83; www.80legs.com/spider.html) Gecko/2008032620"
74.129.176.213 - - [12/Sep/2010:15:35:36 +0200] "GET / HTTP/1.1" 200 10685 "-" "Mozilla/5.0 (compatible; 008/0.83; www.80legs.com/spider.html) Gecko/2008032620"



Pues tengo dos opciones: lo puedo bloquear en .htaccess

Como lo hago:

Edito el fichero .htaccess que esta en el raiz de mi sitio web.

Y le añado dos lineas:
Quote::
RewriteCond %{HTTP_USER_AGENT} (www.80legs.com/spider.html)
RewriteRule ^(.*)$ - [F]

Despues de esto reinicio el servidor:
Quote::
service httpd restart

Y el Spider o robot, que estaba martilleando mi sitio web no puede entrar... a tomar viento. Evil or Very Mad

Información adicional:
www.webmasterworld.com...955343.htm (sobre este robot malicioso)
www.stopforumspam.com/...hp?id=1745
blamcast.net/articles/...p-htaccess (como bloquear en .htaccess por IP, rangos, agentes, etc)

_________________
http://www.aforo.es (La web de los foros divertidos)


Back to top
View user's profile Visit poster's website
Display posts from previous:   
 Reply to topic   Printer Friendly Page     Forum Index - Proyectos Web - SEO, CEO y Publicidad All times are GMT + 1 Hour
Page 1 of 1




RSS: SEO, CEO y Publicidad RSS
Jump to:  


You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum
You cannot attach files in this forum
You can download files in this forum

Diseño web, bases de datos, lenguajes de progamación, comunidades... todo lo necesario para construir tu sitio web.
The logos and trademarks used on this site are the property of their respective owners
We are not responsible for comments posted by our users, as they are the property of the poster
Construyendo la web 2.0
Interactive software released under GNU GPL, Code Credits, Privacy Policy

Orange Theme by WebNaranja.com more Info.