Autor Zpráva
Anonymní
Profil *
Ahoj, mám problém s googlebotem a v poslední době i s jyxobotem. Dlouhodobě (řádově měsíce až roky) ignorují informace v hlavičce o omezení četnosti indexace. Jde o to, že např. googlebot indexuje web (o několika tisících podstranách - diskuse apod.) NEPŘETRŽITĚ, v logu zkrátka stále naskakují další a další přístupy robota a už to docela přetěžuje server. V poslední době mám stejný problém s jyxobotem.

Zakázat indexování nechci, přišel bych o návštěvníky z vyhledávačů. Zkoušel jsem v meta hlavičce nastavit revisit-after na 30 days, nebo tuto hlavičku úplně odstranit, ale nic nefunguje. Poradí někdo, jak robotům důrazně říci, aby se vraceli po delších intervalech? Takto to vypadá, že se vracejí denně a vzhledem k rozsahu webu jim trvá zaindexování prakticky celý den. Díky za každou radu.
Railbot
Profil
Pokud se nemýlím, tak robotům krom zákazu přístupu nic jiného přikázat nemůžeš. Meta tagy ignorují úplně (ohledně indexace, archivování atd., ale aspoň Googlebot určitě).
mata
Profil
a není na stránkách nějaká anketa, kde roboti vytvale hlasují?
nepoužíváš v url session id nebo jiné věci, které generují duplicitní obsah?
Anonymní
Profil *
děkuji za odpovědi. Přístupy robotů jsou na různé stránky celého webu, z čehož usuzuji, že indexují všechno, nejen např. ty ankety.
Netušil jsem, že roboti ignorují meta tagy, v tom případě je to ale docela závažný problém a vcelku se divím, že z pohledu majitele webu takto neřešitelný.
mata
Profil
jinak rychlost googlebota se dá omezit v http://www.google.com/webmasters/ - Webmasters tools - položka Crawl Rate -> Slower

Vaše odpověď

Mohlo by se hodit

Příspěvky nesouvisející s webem budou odstraněny.

Prosím používejte diakritiku a interpunkci.

Ochrana proti spamu. Napište prosím číslo dvě-sta čtyřicet-sedm:

0