Autor Zpráva
Yuhů
Profil
bylo by fajn zablokovat robotům stránku
/rss2.php?topic=*
často prázdnou a vždy duplicitní s textem topicu.

Dotaz nyní zní, jestli to mám udělat, nebo jestli se někdo o robots.txt staráte.
Kajman_
Profil *
Já před rokem navrhoval ještě přísnější zákaz (včetně uživatelů a kategorií). Ale neprošlo to :-)

Ale k otázce. Stará se o něj Chamurappi.
Chamurappi
Profil
Prošel jsem log za dnešek a vyčetl z něj:
• dohromady 11712 hitů na rss2.php?topic=číslo (cca 9 % ze všech hitů),
• 6246 jich udělal msnbot (volá „GET //////rss2.php?topic=číslo“, což moc nechápu),
• 3899 jich udělal Googlebot,
• 462 jich udělal SeznamBot beta,
• 395 jich udělal Yahoo Slurp,
• 33 jich udělal YandexBot,
• zbylých 677 udělaly skutečné RSS čtečky (tedy jen cca 6 % ze všech odběrů RSS).


Reaguji na Kajmana:
Asi jsem tě měl tenkrát poslechnout.


Reaguji na Yuhůa:
Přidal jsem:
Disallow: /rss2.php?topic=*
Disallow: /rss2.php?user=*
Disallow: /rss2.php?forum=*
Disallow: //////rss2.php?topic=*
Disallow: //////rss2.php?user=*
Disallow: //////rss2.php?forum=*
Kajman_
Profil *
Chamurappi:
Nejde prosím z logu jednoduše dostat pro představu i poměr přístupů jednotlivých robotů vůči uživatelům pro běžné stránky?
Chamurappi
Profil
Reaguji na Kajmana:
Vezmu-li v úvahu všechny přístupy GET /?action=cokoliv, tak cca 75 % z nich mají na svědomí návštěvníci mající v User-Agentu „bot“.
Chamurappi
Profil
Po týdnu konstatuji, že roboti nový robots.txt respektují a skutečně už sosají jen ten hlavní rss2.php.
Yuhů
Profil
bezva, děkuju

Vaše odpověď


Prosím používejte diakritiku a interpunkci.

Ochrana proti spamu. Napište prosím číslo dvě-sta čtyřicet-sedm: