robots.txt

http://www.jakpsatweb.cz/robots-txt.html

http://www.jakpsatweb.cz/robots-txt.html

Příklady zápisu robots.txt

User-agent: *
Disallow: /php/

Význam: všichni roboti (to je ta hvězdička) nesmějí do adresáře /php/, protože řetězcem "/php/" vlastně začíná cesta souborů v tomto adresáři). Nebo:

User-agent: Googlebot
Disallow:

User-agent: Gulliver
Disallow: /

Takový zápis říká, že Googlebot smí všude (to je to prázdné místo za disallow) a Gulliver nikam (to je to lomítko). Všimněte si povinného prázdného řádku mezi položkami. Nebo jiný příklad:

User-agent: *
Disallow: /cgi-bin/
Disallow: /in

Tento zápis zakázal všem robotům (hvězdička) vstupovat do adresáře /cgi-bin a načítat stránky, které začínají řetězcem "in". Takže třeba info.html, index.html, interni/ a podobně. To je mimochodem i přesná definice položky Disallow: zakazuje sledovat cesty, které začínají vypsaným řetězcem.

Všimněte si, že za jedním řádkem User-agent se může vyskytovat více řádků zákazů. Také dejte pozor na lomítko na začátku zakazované adresy -- musí tam být, protože lomítkem začínají všechny cesty k souborům. Proto zápis

User-agent: *
Disallow: /

znamená, že žádný robot nesmí nikam, protože každá cesta začíná lomítkem, a je tedy zakázaná.