Autor Zpráva
TomášK
Profil
Mám po přesunu problémy s rychlostí načítání stránek a než je vyřeším, chtěl bych dočasně zakázat nebo omezit přístup robotům na stránky, neb vytváří nezanedbatelnou část provozu. Je bezpečné zakázat v robots.txt indexování celého webu? Nehrozí, že si zapamatují, že je tam nechci a už se nevrátí, když jim přístup opět povolím, případně vrátí až po dlouhé době (kdesi na webu jsem četl o 180 dnech, ale zdá se mi takové chování podivné)?

Edit: vyřešeno k mé spokojenosti ne zákazem, ale omezením jejich aktivity:
User-Agent: *
Crawl-Delay: 120
Toto téma je uzamčeno. Odpověď nelze zaslat.