Autor Zpráva
filius
Profil
Zdravím,
jak bude podle vás interpretován robots.txt, který začíná:

User-agent: *
Disallow: /*?

(ten otazník tam fakt je). Hvězdička a otazník nemohou být na začátku složky, ale na druhou stranu se jedná o zástupné znaky. Roboti to tedy budou brát jako zákaz procházení celého webu?
janbarasek
Profil
filius:
Hvězdička znamená jakýkoli řetězec, otazník znamená jeden znak, nebo také část URL odeslanou metodou GET.
Tento soubor znamená něco jako:
Všichni roboti nesmí otevřít stránku, která se jakkoli jmenuje a má v URL nějaké parametry (například že nesmí indexovat výsledky vyhledávání).
Kajman
Profil
Původní specifikace robots.txt neumožňuje v Disallow znak * ve smyslu zástupného znaku za cokoliv. Některé roboty ho však používají.

Interpretace tedy bude dvojí, podle toho, zda takovou funkčnost robot má implementovanou nebo ne. Buď bude ignorovat url s query stringem, jak píše janbarasek v [#2], nebo jen soubory začínající cestou /*?, čemuž na většině webů nebude vyhovovat ani jedna adresa a na ostatní může, ať je v čestě otazník nebo ne.

Vaše odpověď

Mohlo by se hodit

Zajímavé čtení:
Poptávání výměny odkazů je na této diskusi nežádoucí.

Prosím používejte diakritiku a interpunkci.

Ochrana proti spamu. Napište prosím číslo dvě-sta čtyřicet-sedm:

0