Autor Zpráva
sxstem
Profil
Zdravím,

asi jsem něco přehlédl, ale můj zápis, který vypadá takto:

User-agent: *
# Disallow: /set-product-filter/
# Disallow: /reset-all-product-filter/
Disallow: /static/
Disallow: /login
Disallow: /cart

Google nebere a označil řádky jako chybné (Nebyl zadán žádný program typu user-agent) ve webmaster tools.

Zde případně odkaz přímo na robots.txt

Pokud by někoho něco napadlo nebo objevil moji chybu, budu rád za upozornění.

Díky Dan


Tak problém z hlavní části vyřešen.

Google opravdu u těchto blokovaných stránek ve výsledcích zobrazuje, že jsou zakázané.

Trochu mi zmátlo, že o tom takto hezky nepíše ve webmaster tools, kde hlásí chyby.
margin
Profil *
Soubor robots.txt není posílaný s mime typem text/plain, ale jako text/html. Nevím, zda to vadí a byl bych rád, kdyby se k tomu vyjádřil někdo, kdo k tomu bude mít relevantní informaci, ale já osobně bych pro jistotu soubor posílal jako text/plain.
sxstem
Profil
Díky za reakci,

to může být příčina, proč jsou k tomu výhrady ve webmaster tools.

Každopádně, jak říkám, ve výsledku to funguje správně minimálně pro Google, který zakázané stránky správně neindexuje. Seznam mi přijde, že je na tom stejně.

Vaše odpověď

Mohlo by se hodit

Zajímavé čtení:
Poptávání výměny odkazů je na této diskusi nežádoucí.

Prosím používejte diakritiku a interpunkci.

Ochrana proti spamu. Napište prosím číslo dvě-sta čtyřicet-sedm: