Autor Zpráva
Krakatoa
Profil
Je vhodné zakázat vyhledavačům přístup do složky download?

Vyhledavačům jsem zakázal přístup přes robots.txt do složky download se dvěma soubory, jeden je exe a jeden rar, oba dva mají 20 MB, důvod byl ten, že jsem si říkal, že je zbytečné aby je vyhledavače stahovali. Jenže google si z té složky ten exe vesele stahuje dál. Mně to nevadí, jen by mě zajímalo, jak je to u složek se soubory na stažení jako exe, rar a podobně, blokovat je v robots.txt nebo ne? Jde mi jen o to vyhledavačům naznačit, že ty "velké" soubory zbytečně stahovat nemusí. Nebo je to jedno a vyhledavače soubory jako exe, rar a podoboně stahují podle uvážení bez toho, aby jim byl zablokován přístup přes robots.txt?
8vm8
Profil
Pokud ti to nijak nevadí, tak to neřeš. Jestli se na ty soubory vytváří odkazy na googlu, tak akorát pro tebe lépe ne?
Marek Prokop
Profil
Pokud vím, Google robots.txt respektuje. Jestli vám stahuje zakázané soubory, pak asi máte v robots.txt chybu, případně se nějak kešuje a Google se ještě o zákazu nedověděl. Ověřit by to šlo ve Google Webmaster Tools.
Chamurappi
Profil
Reaguji na Krakatou:
Pokud všem robotům zakážeš přístup k velkým souborům souborům, nestáhne si je ani archivační robot. Ten pro ně využití má — nabídne je v archivu. Už jsem takto několikrát stahoval věci ze zaniklých webů a byl jsem za tuto možnost rád.
Krakatoa
Profil
Marek Prokop:
robots.txt jsem myslím vytvořil 16.2
obsahuje:
User-agent: *
Disallow: /download/
je vytvořený v poznámkovém bloku ve windows, tedy v ANSI nebo windows 1250 nebo jak se tomu říká, nemůže být problém v tom?
Poslední stažení exe (exe stahuje asi jednou týdně, robots.txt asi jednou denně).
levtrigo.soft.vserver.cz:80 66.249.78.10 - - [08/Jun/2013:08:36:31 +0200] "GET /robots.txt HTTP/1.1" 200 394 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
levtrigo.soft.vserver.cz:80 66.249.81.10 - - [08/Jun/2013:08:36:31 +0200] "HEAD /download/levtrigo-setup.exe HTTP/1.1" 200 320 "http://levtrigo.soft.vserver.cz/" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"
levtrigo.soft.vserver.cz:80 66.249.81.10 - - [08/Jun/2013:08:36:31 +0200] "GET /download/levtrigo-setup.exe HTTP/1.1" 200 21701197 "http://levtrigo.soft.vserver.cz/" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"
Teď jsem si udělal ten Google Webmaster Tool, jestli chápu dobře to ověření, tak by to mělo být zdraví / blokované adresy url, jenže tam mám u robots.txt staženo nikdy.
8vm8
Profil
Webmaster tools musí nejdřív vše o tvé stránce zjistit a to není hned. Do konce týdne bys o ni měl vědět vše podstatný.
Yuhů
Profil
fakt záhada

Vaše odpověď

Mohlo by se hodit

Zajímavé čtení:
Poptávání výměny odkazů je na této diskusi nežádoucí.

Prosím používejte diakritiku a interpunkci.

Ochrana proti spamu. Napište prosím číslo dvě-sta čtyřicet-sedm: