Přispěje robots.txt k lepším umístěním?*

Některé SEO validátory ti proto můžou strhnout body když ho tam nedáš. Jinak to slouží spíše k tomu kdyby si chtěl aby na tvoje stránky nechodil robot jiných vyhledávačů a aby je nesledoval...

Rokka:

Robots.txt je extra soubor, který primárně slouží k tomu, aby robotům zakázal strkat rypák tam, kam by neměli mít přístup. Čistě technicky vzato je tedy zbytečné ho mít, pokud hodláte vyhledávačům zpřístupnit celý svůj web.

Je tu ale jedno ale, a tímto cituji sám sebe ze svého Posterous:

Seznam.cz doporučuje soubor robots.txt založit, byť by měl zůstat prázdný. Důvodem může být to, že vyhledávač může při sáhnutí si pro neexistující robots.txt (což dělá vždy, aby věděl, kam smí nebo nesmí) obdržet chybovou hlášku 404, což se teoreticky problémem stát může. Každopádně platí, že jeho přítomnost vám určitě nijak nepomůže v lepších pozicích, pomůže vám pouze eliminovat možná rizika.

Takže, pokud chcete mít klidné spaní, založte ho takto:



P.S. Sám za sebe doporučení Seznamu trochu nechápu, protože alespoň mírně inteligentní crawler by měl umět situaci, kdy robots.txt není k dispozici, rozumně ošetřit. Google s chybějícím robots.txt žádný problém nemá. Nebo jsem ho dodnes nezaznamenal.

Reaguji na Plaváčka:
„vyhledávač může při sáhnutí si pro neexistující robots.txt obdržet chybovou hlášku 404, což se teoreticky problémem stát může“
Nemůže. Pokud je chybová stránka udělaná správně, problémy nehrozí. Pokud je udělaná špatně, člověk by ji měl spíš opravit než záplatovat jeden z možných důsledků. To, že robots.txt neexistuje, je zcela přirozený stav.
(Matně si vzpomínám, že článek jsi doplňoval kvůli připomínce od Davida Grudla v komentáři, která ale mluvila spíš o chybě 500, ne? Pokud server vrací pětistovky, je to také špatně udělaná 404 :-))


Reaguji na Rokku:
Pokud nechceš robotům nic zakázat, bude ten soubor k ničemu.

Chamurappi:

„To, že robots.txt neexistuje, je zcela přirozený stav.“

Jo, ale Seznam.cz tvrdí něco jiného (a chybějící nebo špatně udělaná 404 je vcelku běžný jev). Ale i tak - je to problém čistě teoretický a tipnul bych, že tazatel se obrátil na SEO Servis :)

Rokka:
Rozhodně bych nedával do robots.txt adresu administrace (ani jiných "skrytých" stránek) pokud do ní nevede odkaz ze stránek. Jednak je to k ničemu a jednak robots.txt si může stáhnout kdokoliv, nejen robot. Pokud nemáš administraci chráněnou heslem (určitě doporučuji) tak to má útočník naservírované na stříbrném podnose.
Já třeba robots.txt používám hlavně na sitemap.xml a pak abych neměl v logu zbytečné 404 chyby :)

Pravdu má Plaváček i Chamurappi :-) Chybějící robots.txt nevadí, ale v kombinaci se špatně nastavenou chybou 404 může chybějící robotst.txt napáchat příliš velké škody, takže ho raději doporučuji mít vždy.

K původnímu dotazu: Robots.txt nemůže přímo ovlivnit pozice, může ale zlepšit zaindexování většího webu s více podobnými stránkami a tím ovlivní pozice nepřímo.

robots.txt a favicon.ico se může vyplatit vytvořit i pro ušetření od zápisu neexistence těchto často dotazovaných souborů error logu na serveru. Což ale na umístění nemá vliv (pokud tedy error log nezahltí místo na disku a web nepřestane fungovat).

1.) Robots.txt a sankce ze strany vyhledávačů?

stránky netvoříme pro vyhledávače. Na stránce můžeš mít nebo nemusíš prakticky cokoliv. Co se robots.txt týče, za její absenci tě sankciovat nemohou

2.) Robots a administrace

není třeba zakazovat přístup robotům do administrace, pokud nemáš veřejně vystavený odkaz na stránce. Zbytečně se jen upozorňuje na adresu k administraci.

3.) Když nechceš říct robotům, které stránky nemají navštívit, není třeba robots.txt
opět chyba.. mnozí to tak mají, případně si něco zakážou, ale drtivá většina ti řekne, že mají problém s indexací. Problém spočívá v tom, že bych všem webům doporučil mít v robots.txt uvedenou URL k sitemapě. Určitě zaindexování zbylých stránek proběhne rychleji, než standardním procházením.

seu zdar.

„Určitě zaindexování zbylých stránek proběhne rychleji, než standardním procházením.“

Jonnyq, máte toto tvrzení podložené nějakým hodnověrným a průběžně aktualizovaným experimentem? Pokud ne, používejte místo slova "určitě" raději slova "možná", "myslím si", "snad" apod. Pokud ano, jistě bychom výsledky a metodiku toho experimentu rádi viděli.

Mně osobně se vliv xml sitemapy na rychlost zaindexování celého webu nikdy prokázat nepodařilo. Intuitivně bych očekával, že bude malý (ve výjimečných případech) až žádný (ve většině případů).