Autor | Zpráva | ||
---|---|---|---|
undisputed Profil |
#1 · Zasláno: 27. 8. 2011, 07:33:13
Mám problém s robotom WGet tools za 3 dni 4000 klikov :( a zbytočne mi prenáša dáta čo s tým?
|
||
undisputed Profil |
#2 · Zasláno: 27. 8. 2011, 07:48:25
Mal by súbor robots.txt v mojom prípade vyzerať takto?
User-agent: WGet tools Disallow: / |
||
margin Profil * |
#3 · Zasláno: 27. 8. 2011, 13:12:32
Jde o to, že to není klasický robot, ale konfigurovatelný nástroj na stahování stránek a je možné, že direktivu, napsanou v robots.txt, nebude respektovat a pak bude nutné přikročit k radikálnějším opatřením.
Pokus si někdo jen stahuje tvůj web, je téměř jisté, po stažení webu budeš mít od robota pokoj. |
||
johnl Profil |
#4 · Zasláno: 27. 8. 2011, 13:47:20 · Upravil/a: johnl
můeš jej zablokovat nějakým takovýmto způsobem (kód musí být na začátku kódu)..
if($_SERVER["HTTP_USER_AGENT"] == 'WGet tools'){ /* můžeš např. odeslat i hlavičku 403 */ echo "disabled"; exit(); } případně si zjistiit jakou používá IP (pokud má stále stejnou) a zablokovat ji v .htaccess |
||
undisputed Profil |
#5 · Zasláno: 27. 8. 2011, 15:33:08
johnl:
A to vložiť kam? Na úvodnú stranku? |
||
jenikkozak Profil |
#6 · Zasláno: 27. 8. 2011, 16:14:32
undisputed:
„A to vložiť kam?“ Pokud ten robot skutečně odesílá tuhle hlavičku, tak uvedený skript dej na ty stránky, kam ho nechceš pustit. |
||
Str4wberry Profil |
#7 · Zasláno: 27. 8. 2011, 17:04:03
Je otázka, zda něco takového má smysl, když změna user agenta je otázka pár sekund a můžu vesele pokračovat.
|
||
johnl Profil |
#8 · Zasláno: 27. 8. 2011, 18:55:53
Str4wberry:
Otázkou však je, kdo za tím robotem stojí, pokud někdo kdo s ním prochází tisíce stránek, tak kvůli jednomu webu user agenta měnit nebude.. |
||
undisputed Profil |
#9 · Zasláno: 27. 8. 2011, 22:01:02
Nechápem čo teda spraviť? Prvé 2 dni len mal veľa klikov ale neprenasal žiadne dáta a zrazu toľko
|
||
Str4wberry Profil |
#10 · Zasláno: 27. 8. 2011, 23:25:16
Ano, záleží na tom, kdo za tím stojí. Od někoho, kdo prochází tisíce stránek za účelem škodit, bych tedy spíš čekal, že se bude snažit maskovat jako nějaký populární prohlížeč. Kdo ví.
|
||
undisputed Profil |
#11 · Zasláno: 28. 8. 2011, 07:02:56
Tak súbor robots.txt evidentne nezaberá :( za včera 3000klikov a ďalších 20mb :(
|
||
Str4wberry Profil |
#12 · Zasláno: 28. 8. 2011, 08:30:20
A 20mb, i kdyby to bylo třeba 20 MB, je nějaký výrazný problém? Na této diskusi se třeba 20 MB přenese za méně než hodinu provozu.
Pokud ti to opravdu tak vadí, tak použij například ten skript z příspěvku [#4]. |
||
undisputed Profil |
#13 · Zasláno: 28. 8. 2011, 11:05:38
No zatiaľ 20 mb nevadí,lenže hosting som dal na endoru.cz,a aj ked si to platím traffic 30gb len
|
||
Časová prodleva: 13 let
|
0