Autor Zpráva
hermiona
Profil *
Zdravim,
narazil jsem na zajimavou vec.. Pred casem jsem na novem webu www.rehex.cz
pridal robots.txt s default nastavenimi

User-agent: *
Disallow:

cili vsichni vsechno indexovat..

I presto, ze SeznamBot predtim web prolezal minimalne jednou denne, najednou jej prestal navstevovat.
Kdyz jsem asi po tydnu nebo dvou soubor zase smazal, SeznamBot se na web vratil..

Nevite cim by to mohlo byt? Nekde jsem navic cetl, ze Seznam robots.txt tak trochu ignoruje...

Dikass
herm
izsak
Profil
Robots.txt neslúži na povolenie indexácie, ale iba na jej zakázanie. SesznamBot to spracoval tak, že nemá indexovať celý web. Tak to ani nerobí.
Vladosik
Profil
SesznamBot to spracoval tak, že nemá indexovať celý web. Tak to ani nerobí.
Proc myslite ze to tak zpracoval? Uvedeny zapis odpovida tomu, ze neni nic zakazano indexovat. Mam stejny robot.txt na X strankach a nikdy jsem toto nezaznamenal. Nevim, proc by v tomto pripade mel SeznamBot reagovat jak pisete.
hermiona
Profil *
Taky mi to prijde jako dost podivne chovani.. Vzhledem k tomu, ze nic nezakazuju, tak by to mel spis ignorovat :-)
Railbot
Profil
izsak
To by tam muselo být Disallow: *

Ale kdo ví, jak to robot interpretuje takto prázdný zápis. robots.txt jsou v takovém případě na nic, proč to tam vůbec mít a dělat si případné potíže?
rarach
Profil *
ahoj. jenom se chci ujistit. mam problem s duplicitnima url a chtel bych je zakazat v robots. cte a podporuje seznam.cz robots.txt?
vertigo4
Profil
rarach
ano, seznam robot bere na vědomí robots.txt, ale proč si nezaložíš vlastní vlákno?
habendorf
Profil
vertigo4
ale proč si nezaložíš vlastní vlákno?


Protože rarach zcela správně prvně hledal. A kdyby si založil nové vlákno, tak by ho někdo odkázal sem se slovy "už se to tu řešilo". Co se ti nezdá?

Vaše odpověď

Mohlo by se hodit

Zajímavé čtení:
Poptávání výměny odkazů je na této diskusi nežádoucí.

Prosím používejte diakritiku a interpunkci.

Ochrana proti spamu. Napište prosím číslo dvě-sta čtyřicet-sedm: