Autor Zpráva
ProbablyYes
Profil
Zdravím,

jako řešení svého problému jsem začal automaticky v htaccess blokovat IP adresy, které načetly za určené časové údobí pro člověka nesmyslný počet stránek. Pro blokování robotů se tento postup ukázal být efektivní - nerad bych však zablokoval např. roboty Googlu.

Mají obecně vyhledávače výhrady vůči vysokým hodnotám v robots.txt na řádku Crawl-delay, nebo to podobné „hodné“ roboty nijak neobtěžuje?

Díky
Edit: mmm Omlouvám se, až nyní jsem si uvědomil, že jsem téma zařadil do špatné sekce.
Moderátor juriad: Přesunuto
Davex
Profil
ProbablyYes:
Mají obecně vyhledávače výhrady vůči vysokým hodnotám v robots.txt na řádku Crawl-delay, nebo to podobné ‚hodné‘ roboty nijak neobtěžuje?
Roboty, které by tě asi nejvíc zajímaly (Googlebot a Seznambot), jakékoliv hodnoty nijak neobtěžují, protože Crawl-delay ignorují. Bingbot nedoporučuje hodnotu vyšší než 10 a u dalších už je to v naších končinách úplně jedno.
ProbablyYes
Profil
Davex:
Jak to vypadá, skutečně to tak je. Je to škoda, z mého pohledu se jedná o rozumnou záležitost. Každopádně minimálně Google naštěstí povoluje prodlevu nastavit přímo v webmaster tools - ovšem není to nutné, jejich robot skutečně umí inteligentně nastavit vhodnou prodlevu sám.

Vaše odpověď


Prosím používejte diakritiku a interpunkci.

Ochrana proti spamu. Napište prosím číslo dvě-sta čtyřicet-sedm: