| Autor | Zpráva | ||
|---|---|---|---|
| TomášK Profil |
#1 · Zasláno: 16. 2. 2011, 17:57:01 · Upravil/a: TomášK
Mám po přesunu problémy s rychlostí načítání stránek a než je vyřeším, chtěl bych dočasně zakázat nebo omezit přístup robotům na stránky, neb vytváří nezanedbatelnou část provozu. Je bezpečné zakázat v robots.txt indexování celého webu? Nehrozí, že si zapamatují, že je tam nechci a už se nevrátí, když jim přístup opět povolím, případně vrátí až po dlouhé době (kdesi na webu jsem četl o 180 dnech, ale zdá se mi takové chování podivné)?
Edit: vyřešeno k mé spokojenosti ne zákazem, ale omezením jejich aktivity: User-Agent: * Crawl-Delay: 120 |
||
|
Časová prodleva: 13 let
|
|||
Toto téma je uzamčeno. Odpověď nelze zaslat.
0