21. září bude sraz! Od 18.00 v restauraci Tradice v Praze u Anděla
Autor Zpráva
lukas7
Profil
Potřebuji poradit jak správně nastavení zakázání určitých robotů v robots.

Můj cíl je:

povolit všechny roboty, zakázat Ahrefs a Majestic, kteří na web hodí velmi velmi moc.

Je nastavení robots takto správně?

User-agent: *
Allow: /*.css
Allow: /*.js

Disallow:


User-agent: MJ12bot
Disallow: /

User-Agent: AhrefsBot
Disallow: /


Děkuji za rady.
Kubo2
Profil
Áno (Ahrefs Bot a Majestic-12 bot).
No viac-menej účinnejšie by bolo pravdepodobne zakázať ich IP adresy, aj keď osobne by som to skôr nerobil.
lukas7
Profil
Proč by jsi to nedělal?
Kubo2
Profil
Pretože roboti sa budú neskôr radšej vracať na stránky, ktoré mali zakázané v robots.txt, ako na tie, kde majú nepovolený prístup či ktoré neexistujú. Niektoré roboty dokonca budú paradoxne periodicky navštevovať zakázané a neexistujúce adresy, aby zistili, či sa niečo náhodou nezmenilo, a to je asi opak toho, čo chceš dosiahnuť.

Vaše odpověď

Mohlo by se hodit

Zajímavé čtení:
Poptávání výměny odkazů je na této diskusi nežádoucí.

Prosím používejte diakritiku a interpunkci.

Ochrana proti spamu. Napište prosím číslo dvě-sta čtyřicet-sedm:

0