| Autor | Zpráva | ||
|---|---|---|---|
| ProbablyYes Profil |
#1 · Zasláno: 13. 10. 2015, 16:06:39 · Upravil/a: Moderátor (editace znemožněna) 13. 10. 2015, 17:22:57
Zdravím,
jako řešení svého problému jsem začal automaticky v htaccess blokovat IP adresy, které načetly za určené časové údobí pro člověka nesmyslný počet stránek. Pro blokování robotů se tento postup ukázal být efektivní - nerad bych však zablokoval např. roboty Googlu. Mají obecně vyhledávače výhrady vůči vysokým hodnotám v robots.txt na řádku Crawl-delay, nebo to podobné „hodné“ roboty nijak neobtěžuje? Díky Edit: mmm Omlouvám se, až nyní jsem si uvědomil, že jsem téma zařadil do špatné sekce. Moderátor juriad: Přesunuto
|
||
|
Časová prodleva: 4 dny
|
|||
| Davex Profil |
#2 · Zasláno: 18. 10. 2015, 00:32:27
ProbablyYes:
„Mají obecně vyhledávače výhrady vůči vysokým hodnotám v robots.txt na řádku Crawl-delay, nebo to podobné ‚hodné‘ roboty nijak neobtěžuje?“ Roboty, které by tě asi nejvíc zajímaly (Googlebot a Seznambot), jakékoliv hodnoty nijak neobtěžují, protože Crawl-delay ignorují. Bingbot nedoporučuje hodnotu vyšší než 10 a u dalších už je to v naších končinách úplně jedno.
|
||
| ProbablyYes Profil |
#3 · Zasláno: 18. 10. 2015, 03:31:32
Davex:
Jak to vypadá, skutečně to tak je. Je to škoda, z mého pohledu se jedná o rozumnou záležitost. Každopádně minimálně Google naštěstí povoluje prodlevu nastavit přímo v webmaster tools - ovšem není to nutné, jejich robot skutečně umí inteligentně nastavit vhodnou prodlevu sám. |
||
|
Časová prodleva: 9 let
|
|||
0