Autor | Zpráva | ||
---|---|---|---|
hermiona Profil * |
#1 · Zasláno: 25. 8. 2007, 23:24:29
Zdravim,
narazil jsem na zajimavou vec.. Pred casem jsem na novem webu www.rehex.cz pridal robots.txt s default nastavenimi User-agent: * Disallow: cili vsichni vsechno indexovat.. I presto, ze SeznamBot predtim web prolezal minimalne jednou denne, najednou jej prestal navstevovat. Kdyz jsem asi po tydnu nebo dvou soubor zase smazal, SeznamBot se na web vratil.. Nevite cim by to mohlo byt? Nekde jsem navic cetl, ze Seznam robots.txt tak trochu ignoruje... Dikass herm |
||
izsak Profil |
#2 · Zasláno: 26. 8. 2007, 09:48:27
Robots.txt neslúži na povolenie indexácie, ale iba na jej zakázanie. SesznamBot to spracoval tak, že nemá indexovať celý web. Tak to ani nerobí.
|
||
Vladosik Profil |
#3 · Zasláno: 27. 8. 2007, 00:15:09
SesznamBot to spracoval tak, že nemá indexovať celý web. Tak to ani nerobí.
Proc myslite ze to tak zpracoval? Uvedeny zapis odpovida tomu, ze neni nic zakazano indexovat. Mam stejny robot.txt na X strankach a nikdy jsem toto nezaznamenal. Nevim, proc by v tomto pripade mel SeznamBot reagovat jak pisete. |
||
hermiona Profil * |
#4 · Zasláno: 28. 8. 2007, 15:37:15
Taky mi to prijde jako dost podivne chovani.. Vzhledem k tomu, ze nic nezakazuju, tak by to mel spis ignorovat :-)
|
||
Railbot Profil |
#5 · Zasláno: 28. 8. 2007, 15:49:23
izsak
To by tam muselo být Disallow: * Ale kdo ví, jak to robot interpretuje takto prázdný zápis. robots.txt jsou v takovém případě na nic, proč to tam vůbec mít a dělat si případné potíže? |
||
Časová prodleva: 11 měsíců
|
|||
rarach Profil * |
#6 · Zasláno: 17. 7. 2008, 13:24:05
ahoj. jenom se chci ujistit. mam problem s duplicitnima url a chtel bych je zakazat v robots. cte a podporuje seznam.cz robots.txt?
|
||
vertigo4 Profil |
#7 · Zasláno: 17. 7. 2008, 13:28:12
rarach
ano, seznam robot bere na vědomí robots.txt, ale proč si nezaložíš vlastní vlákno? |
||
habendorf Profil |
#8 · Zasláno: 17. 7. 2008, 13:40:30
vertigo4
ale proč si nezaložíš vlastní vlákno? Protože rarach zcela správně prvně hledal. A kdyby si založil nové vlákno, tak by ho někdo odkázal sem se slovy "už se to tu řešilo". Co se ti nezdá? |
||
Časová prodleva: 16 let
|
0