| Autor | Zpráva | ||
|---|---|---|---|
| lukas7 Profil |
#1 · Zasláno: 9. 12. 2015, 09:34:52
Potřebuji poradit jak správně nastavení zakázání určitých robotů v robots.
Můj cíl je: povolit všechny roboty, zakázat Ahrefs a Majestic, kteří na web hodí velmi velmi moc. Je nastavení robots takto správně? User-agent: * Allow: /*.css Allow: /*.js Disallow: User-agent: MJ12bot Disallow: / User-Agent: AhrefsBot Disallow: / Děkuji za rady. |
||
| Kubo2 Profil |
#2 · Zasláno: 9. 12. 2015, 10:37:48
Áno (Ahrefs Bot a Majestic-12 bot).
No viac-menej účinnejšie by bolo pravdepodobne zakázať ich IP adresy, aj keď osobne by som to skôr nerobil. |
||
| lukas7 Profil |
#3 · Zasláno: 9. 12. 2015, 11:04:10
Proč by jsi to nedělal?
|
||
| Kubo2 Profil |
#4 · Zasláno: 9. 12. 2015, 16:25:21
Pretože roboti sa budú neskôr radšej vracať na stránky, ktoré mali zakázané v robots.txt, ako na tie, kde majú nepovolený prístup či ktoré neexistujú. Niektoré roboty dokonca budú paradoxne periodicky navštevovať zakázané a neexistujúce adresy, aby zistili, či sa niečo náhodou nezmenilo, a to je asi opak toho, čo chceš dosiahnuť.
|
||
|
Časová prodleva: 9 let
|
|||
0