Nemám robots.txt a adresa example.com/robots.txt/ vrací 404

Dobrý den,

Nedávno jsem někde četl, že na webu nemusím mít soubor robots.txt, k čemu také, když všem vyhledávačům povoluji jít na všechny stránky (možná by bylo dobré mít v něm sitemap, ale to je jiné téma)

Přesto se všichni boti pokusí načíst práve example.com/robots.txt -> htacces doplní na konec lomítko, protože je to neexistující soubor tedy bot je přesměrován na example.com/robots.txt/ což je vyhodnoceno, jako neexistující stránka webu tedy 404 Page not found.

Je to špatně nebo botům dojde - robots.txt není, můžu všude. Vyhledávače mi stránky normálně indexují, jde mi spíše o hlubší informace.

+ otázka na okraj, na statistiky přístupů používám Google Analytics a k tomu mám na stránce crawlTrack, doporučíte něco jiného, nebo je to dobrá kombinace? Chtěl jsem si logovat i boty a kam chodí a jak často. A co zatížení serveru - crawlTrack zapisuje přímo do mé DB narozdíl od GA, kterým se jen pošle cosi pomocí javascriptu?

ludekbrno:
děkuji.

a co se týče crawlTracku?