Autor Zpráva
SwimX
Profil
Dobrý den,

Nedávno jsem někde četl, že na webu nemusím mít soubor robots.txt, k čemu také, když všem vyhledávačům povoluji jít na všechny stránky (možná by bylo dobré mít v něm sitemap, ale to je jiné téma)

Přesto se všichni boti pokusí načíst práve example.com/robots.txt -> htacces doplní na konec lomítko, protože je to neexistující soubor tedy bot je přesměrován na example.com/robots.txt/ což je vyhodnoceno, jako neexistující stránka webu tedy 404 Page not found.

Je to špatně nebo botům dojde - robots.txt není, můžu všude. Vyhledávače mi stránky normálně indexují, jde mi spíše o hlubší informace.

+ otázka na okraj, na statistiky přístupů používám Google Analytics a k tomu mám na stránce crawlTrack, doporučíte něco jiného, nebo je to dobrá kombinace? Chtěl jsem si logovat i boty a kam chodí a jak často. A co zatížení serveru - crawlTrack zapisuje přímo do mé DB narozdíl od GA, kterým se jen pošle cosi pomocí javascriptu?
ludekbrno
Profil *
SwimX:
Absence robots.txt ničemu nevadí pokud nechceš nic zakazovat a vrácený kód 404 je správný :) Nic hlubšího k tomu není třeba psát.
SwimX
Profil
ludekbrno:
děkuji.

a co se týče crawlTracku?

Vaše odpověď

Mohlo by se hodit

Zajímavé čtení:
Poptávání výměny odkazů je na této diskusi nežádoucí.

Prosím používejte diakritiku a interpunkci.

Ochrana proti spamu. Napište prosím číslo dvě-sta čtyřicet-sedm: