| Autor | Zpráva | ||
|---|---|---|---|
| seth123 Profil * |
#1 · Zasláno: 25. 11. 2011, 11:36:48
Chtěl bych se zeptat jestli roboti ignoruji Disallow. Zjistil jsem totiž, že googlebot mi začal indexovat stranky s print, což se mi moc nelibí a ještě indexuje
např. /zbozi/mobil a pak taky /kontaktujte-nas/zbozi/mobil bude stačit když do robot.txt napiší User-Agent: * Disallow: /*kontaktujte-nas Disallow: /*print za jak dlouho přibližně zmiznou stranky z vyhledavače? |
||
| ludekbrno Profil * |
#2 · Zasláno: 25. 11. 2011, 14:23:53
slušné vyhledávače, mezi které se jistě google a seznam počítají, robots.txt respektují. Tedy alespoň navenek se tváří, že zakázané stránky neindexuje :-)
Jinak podrobnou nápovědu k syntaxi v robots.txt najdeš v nápovědě google. |
||
| jenikkozak Profil |
#3 · Zasláno: 25. 11. 2011, 14:33:01
ludekbrno:
„Tedy alespoň navenek se tváří, že zakázané stránky neindexuje :-)“ Podle logů přístupů se dá zjistit, že na zakázané stránky skutečně přestane chodit. Otázkou tedy spíše je, jestli ty stránky, které mu byly zakázány až časem, z indexu smaže, nebo si je strýček Google schovává pro strýčka Příhodu. :-) seth123: > např. > /zbozi/mobil > a pak taky > /kontaktujte-nas/zbozi/mobil Není na webu chybně odkaz, který způsobuje nekonečnou duplicitu? Po čase by vám mohlo vzniknout kontaktujte-nas/kontaktujte-nas/zbozi/mobil. Tuhle chybu je určitě nutno opravit, existuje spousta robotů, kteří robots respektovat nechtějí. |
||
| DoubleThink Profil * |
#4 · Zasláno: 25. 11. 2011, 16:05:29
seth123:
„bude stačit když do robot.txt napiší“ Takto se ten soubor nejmenuje, jestli nebude problém v tomto... |
||
|
Časová prodleva: 10 dní
|
|||
| seth123 Profil * |
#5 · Zasláno: 5. 12. 2011, 14:27:52
Chtěl jsem se optat jestli mám robots.txt správně.
User-agent: * Disallow: /*kontaktujte-nas Disallow: /*print Disallow: /*kontaktujte-nas-21 Disallow: /*kontaktni-formular Disallow: /*nakup Disallow: /*podminky-a-ujednani Disallow: /*dodaci-podminky Disallow: /*reklamacni-rad Disallow: /*storno-objednavky Disallow: /*faq Disallow: /*zpusoby-doruceni Disallow: /*technicke-informace Disallow: /*partneri-webu Sitemap: /sitemap.xml ještě bych se chtěl optat bot[\s_ :,\.\;\/\\-] a [\s_ :,\.\;\/\\-]bot co je to prosím vás za roboty mám od nich 180000 dotazů |
||
| Davex Profil |
#6 · Zasláno: 5. 12. 2011, 18:47:44
Adresa k sitemapě by měla být absolutní. Googlebot zvládne i relativní cestu, ale ostatní by s tím mohli mít potíže.
bot[\s_ :,\.\;\/\\-]a [\s_ :,\.\;\/\\-]bot vypadají jako regulární výrazy pomocí kterých se roboty rozpoznávají z HTTP hlavičky User-agent. Nedá se jednoznačně určit co jsou zač.
|
||
|
Časová prodleva: 12 let
|
|||
0