Autor Zpráva
Marek L.
Profil *
Dobrý den,
potřeboval bych poradit, jak zamezit přístup všem vyhledávačům na můj web krom googlu ?
Situace je taková, že mám fotogalerii s cca 18 000 fotkama a vyhledávače dělají trafic přes 1,5GB za měsíc (Google cca 30MB), ale ostatní třeba holmes 500MB.

Co jsem pochopil podle robots.txt, tak by tam mělo být :

User-agent: googlebot
Disallow:

User-agent: *
Disallow: /

To jsem tam uložil včera a bohužel dnes žádná změna a pořád to prochází stránky.

Včera:
název/hity/bajtů
Holmes 66583 625.09 MB
dnes:
Holmes 69400 658.47 MB

Díky za radu...
Dnes
iUnlimited
Profil *
robots.txt můžou klidně roboti ignorovat, jedná se spíš o informativní soubor a je na tom jak se rozhodne programátor jestli to ignorovat a nebo být slušný a zkontrolovat si jestli může jít na stránku. Tobě bych doporučoval si zjistit IP adresu toho bota a pokud se nemění tak zamezit přístup na IP.
Keeehi
Profil
Marek L.:
Můžeš kontrolovat useragenta. Pokud je v něm řetězec "bot" a neobsahuje "googlebot".
Mohl by ti pomoct i tento odkaz: http://www.google.com/support/webmasters/bin/answer.py?answer=80553
Marek Prokop
Profil
Některé roboty mohou robots.txt ignorovat, ale ty slušné to nedělají. Pravděpodobnější je, že mají nakešovaný starší robots.txt a chvíli jim potrvá, než si ho načtou znovu. Já bych ovšem spíš zakázal jmenovitě přístup těm robotům, které si nepřejete.

Vaše odpověď

Mohlo by se hodit

Zajímavé čtení:
Poptávání výměny odkazů je na této diskusi nežádoucí.

Prosím používejte diakritiku a interpunkci.

Ochrana proti spamu. Napište prosím číslo dvě-sta čtyřicet-sedm: