Autor Zpráva
undisputed
Profil
Mám problém s robotom WGet tools za 3 dni 4000 klikov :( a zbytočne mi prenáša dáta čo s tým?
undisputed
Profil
Mal by súbor robots.txt v mojom prípade vyzerať takto?

User-agent: WGet tools
Disallow: /
margin
Profil *
Jde o to, že to není klasický robot, ale konfigurovatelný nástroj na stahování stránek a je možné, že direktivu, napsanou v robots.txt, nebude respektovat a pak bude nutné přikročit k radikálnějším opatřením.

Pokus si někdo jen stahuje tvůj web, je téměř jisté, po stažení webu budeš mít od robota pokoj.
johnl
Profil
můeš jej zablokovat nějakým takovýmto způsobem (kód musí být na začátku kódu)..

if($_SERVER["HTTP_USER_AGENT"] == 'WGet tools'){
/* můžeš např. odeslat i hlavičku 403 */
echo "disabled"; 
exit();
}

případně si zjistiit jakou používá IP (pokud má stále stejnou) a zablokovat ji v .htaccess
undisputed
Profil
johnl:
A to vložiť kam? Na úvodnú stranku?
jenikkozak
Profil
undisputed:
A to vložiť kam?
Pokud ten robot skutečně odesílá tuhle hlavičku, tak uvedený skript dej na ty stránky, kam ho nechceš pustit.
Str4wberry
Profil
Je otázka, zda něco takového má smysl, když změna user agenta je otázka pár sekund a můžu vesele pokračovat.
johnl
Profil
Str4wberry:
Otázkou však je, kdo za tím robotem stojí, pokud někdo kdo s ním prochází tisíce stránek, tak kvůli jednomu webu user agenta měnit nebude..
undisputed
Profil
Nechápem čo teda spraviť? Prvé 2 dni len mal veľa klikov ale neprenasal žiadne dáta a zrazu toľko
Str4wberry
Profil
Ano, záleží na tom, kdo za tím stojí. Od někoho, kdo prochází tisíce stránek za účelem škodit, bych tedy spíš čekal, že se bude snažit maskovat jako nějaký populární prohlížeč. Kdo ví.
undisputed
Profil
Tak súbor robots.txt evidentne nezaberá :( za včera 3000klikov a ďalších 20mb :(
Str4wberry
Profil
A 20mb, i kdyby to bylo třeba 20 MB, je nějaký výrazný problém? Na této diskusi se třeba 20 MB přenese za méně než hodinu provozu.

Pokud ti to opravdu tak vadí, tak použij například ten skript z příspěvku [#4].
undisputed
Profil
No zatiaľ 20 mb nevadí,lenže hosting som dal na endoru.cz,a aj ked si to platím traffic 30gb len

Vaše odpověď


Prosím používejte diakritiku a interpunkci.

Ochrana proti spamu. Napište prosím číslo dvě-sta čtyřicet-sedm:

0