| Autor | Zpráva | ||
|---|---|---|---|
| Yuhů Profil |
#1 · Zasláno: 3. 3. 2011, 10:48:20
bylo by fajn zablokovat robotům stránku
/rss2.php?topic=* často prázdnou a vždy duplicitní s textem topicu. Dotaz nyní zní, jestli to mám udělat, nebo jestli se někdo o robots.txt staráte. |
||
| Kajman_ Profil * |
#2 · Zasláno: 3. 3. 2011, 11:22:31
Já před rokem navrhoval ještě přísnější zákaz (včetně uživatelů a kategorií). Ale neprošlo to :-)
Ale k otázce. Stará se o něj Chamurappi. |
||
| Chamurappi Profil |
#3 · Zasláno: 3. 3. 2011, 15:31:46
Prošel jsem log za dnešek a vyčetl z něj:
• dohromady 11712 hitů na rss2.php?topic=číslo (cca 9 % ze všech hitů),
• 6246 jich udělal msnbot (volá „ GET //////rss2.php?topic=číslo“, což moc nechápu),
• 3899 jich udělal Googlebot, • 462 jich udělal SeznamBot beta, • 395 jich udělal Yahoo Slurp, • 33 jich udělal YandexBot, • zbylých 677 udělaly skutečné RSS čtečky (tedy jen cca 6 % ze všech odběrů RSS). Reaguji na Kajmana: Asi jsem tě měl tenkrát poslechnout. Reaguji na Yuhůa: Přidal jsem: Disallow: /rss2.php?topic=* Disallow: /rss2.php?user=* Disallow: /rss2.php?forum=* Disallow: //////rss2.php?topic=* Disallow: //////rss2.php?user=* Disallow: //////rss2.php?forum=* |
||
| Kajman_ Profil * |
#4 · Zasláno: 3. 3. 2011, 16:22:05
Chamurappi:
Nejde prosím z logu jednoduše dostat pro představu i poměr přístupů jednotlivých robotů vůči uživatelům pro běžné stránky? |
||
| Chamurappi Profil |
#5 · Zasláno: 3. 3. 2011, 21:30:55
Reaguji na Kajmana:
Vezmu-li v úvahu všechny přístupy GET /?action=cokoliv, tak cca 75 % z nich mají na svědomí návštěvníci mající v User-Agentu „bot“.
|
||
|
Časová prodleva: 7 dní
|
|||
| Chamurappi Profil |
#6 · Zasláno: 10. 3. 2011, 18:35:34
Po týdnu konstatuji, že roboti nový
robots.txt respektují a skutečně už sosají jen ten hlavní rss2.php.
|
||
|
Časová prodleva: 4 dny
|
|||
| Yuhů Profil |
#7 · Zasláno: 14. 3. 2011, 13:44:09
bezva, děkuju
|
||
|
Časová prodleva: 13 let
|
|||
0