Autor | Zpráva | ||
---|---|---|---|
filius Profil |
#1 · Zasláno: 4. 4. 2014, 10:42:23
Zdravím,
jak bude podle vás interpretován robots.txt, který začíná: User-agent: * Disallow: /*? (ten otazník tam fakt je). Hvězdička a otazník nemohou být na začátku složky, ale na druhou stranu se jedná o zástupné znaky. Roboti to tedy budou brát jako zákaz procházení celého webu? |
||
janbarasek Profil |
#2 · Zasláno: 4. 4. 2014, 15:28:40
filius:
Hvězdička znamená jakýkoli řetězec, otazník znamená jeden znak, nebo také část URL odeslanou metodou GET. Tento soubor znamená něco jako: Všichni roboti nesmí otevřít stránku, která se jakkoli jmenuje a má v URL nějaké parametry (například že nesmí indexovat výsledky vyhledávání). |
||
Kajman Profil |
#3 · Zasláno: 4. 4. 2014, 15:37:59
Původní specifikace robots.txt neumožňuje v Disallow znak * ve smyslu zástupného znaku za cokoliv. Některé roboty ho však používají.
Interpretace tedy bude dvojí, podle toho, zda takovou funkčnost robot má implementovanou nebo ne. Buď bude ignorovat url s query stringem, jak píše janbarasek v [#2], nebo jen soubory začínající cestou /*?, čemuž na většině webů nebude vyhovovat ani jedna adresa a na ostatní může, ať je v čestě otazník nebo ne. |
||
Časová prodleva: 11 let
|
0