Není zdejší robots.txt zbytečně přísný?

Kajman:
„Chybí .sandbox, tam je taky zbytečné, aby chodily..“
Od tamtud je přesměruje .htaccess

I tak je to zbytečný požadavek ;-)

Jaký je užitek z toho, že např. google bot se chce kouknout do sandoboxu, server mu řekne, že musí poslat heslo, bot mu řekne, že žádné nepošle a server mu pak dát přesměrovací stránku? Myslím, že pro diskuzi to žádný znatelný přínos nemá.

Aha a z toho je jaký znatelný užitek? :-)

Ušetříme zase trošku výkonu. (Google a seznam si nové sandboxové url beztak zjišťují z jejich lištiček). Mně je to v celku jedno, jen mi přišlo, že tam chybí. A když by snad někdy takový odkaz vznikl, tak se dá robots.txt zase upravit... případně překousnout to, že bude ve vyhledávači odkaz bez obsahu.

To bude asi (jak už jsem psal) tím rozbitým stránkováním, kdy na některá vlákna prostě nevede žádný odkaz.

Mělo by smysl jednorázově vygenerovat sitemap?

Teď koukám na to vlákno a ono je ještě na 39. stránce, takže je to dost podivné.

Zkusil jsem ji tedy vygenerovat a vznikl z toho 9MB drobeček s 97 tisíci adres, dá se to použít? :–)

Str4wberry:
„dá se to použít?“
Nejsem expert, ale vypadá to, že maximum url adres na jednu sitemapu je 50 000. Pokud jich je více, tak je potřeba to rozdělit do více sitemap. Maximální počet sitemap je také 50 000, takže celkový maximální počet url adres mi vychází na 2 500 000 000.


„A Sitemap index can contain no more than 50,000 Sitemaps. Split your Sitemap index into multiple Sitemap index files and ensure that each contains no more than 50,000 Sitemaps. Then, resubmit your Sitemap index files individually.“

„A Sitemap can contain no more than 50,000 URLs. Split your Sitemap into multiple Sitemaps and ensure that each contains no more than 50,000 URLs. You can also use a Sitemap index to manage your Sitemaps. Then, submit your Sitemap index or your Sitemap files individually.“

Takže to chce jen vhodně rozdělit.

Doplněno: Další čtení od Googlu

Chamurappi:21.10.2009
Nový robots.txt je nasazený.
Nemůže s tím souviset zvýšený počet výpadků od začátku listopadu?

Jen je otázka, jestli tu zátěž generují roboti, nebo návštěvníci přicházející ze spousty nových vyhledávačů :-)

Mrkněte na sitemap.xml v sandboxu. Jednotlivé roky tam jsou v samostatných souborech, tak se to zatím vždy vešlo do limitu 50k linků i 10MB xml. Pokud je vlákno na více podstránkách, tak mají všechny nastaven čas modifikace na čas posledního příspěvku - výpočet času 30., 60 atd. by asi dost zdržoval a zas tak to asi nevadí.

Myslím, že hlavní přínos robotům bude právě to datum úpravy vlánka, aby věděly, že mají poslední verzi a nemusí na to chodit znovu.

Jednotlivé roky jsou nastavené na generaci po týdnu, poslední dva měsíce každý den a úplně ty nejnovější jsou přímo z db za posledních 24 hodin. Může se tedy za určitých okolností stát, že jeden odkaz může být třeba i ve třech sitemapách, pokaždé s jiným modifikačním časem - ale to snad taky nebude problém. Ty generované sitemapy mají také čas modifikace, tak snad robot vezme to nejaktuálnější.

U ledu má prioritu sníženou, vlákna, označená jako důležitá, zvýšenou.

Má cenu dávat do mapy i něco jiného než vlákna? Hlavní stránku, nápovědu, uživatele? Ještě někoho napadá, co by mohlo být jinak?

A když by se to použilo, tak by se možná hodilo uvést tu adresu v robots.txt jako sitemap:.

Možná bych do robots.txt přidal i rozbalení uživatele...

Mapa uživatelů v nově nasazené verzi je už také, ale nedělal jsem tam to "vse", proto mi přišlo, že by se to mohlo zakázat.

Výpis uživatele je jedna z nejpomalejších stránek (mimo hledání). Ale zatrhnutí "vse" tolik rychlost neovlivní. Myslím, že nejvíc tam zdržovalo neuvádění takových posledních příspěvků, co jsou i v posledních tématech.

Tak to vypadá, že dotazy nepomohly. Co se navrátit k robots.txt, který povoloval jen vybrané vyhledávače s tím, že by se tam mohl přidat bing a yahoo? Nebo jestli půjde z logů vyčíst, který robot zlobí těch pět minut (nepřidala se tam i pětiminutovka po šesté?) třeba bude stačit zakázat jen jeho.

[#5] Chamurappi
Neřekne, každý, kdo má v User-Agentovi slovo „bot“, je přesměrován hned.
Ale až po tom, co dostane 401 - nutné přihlášení. Googlebot tedy uvádí požadavky do sandboxu v http chybách.

Kajman:
„Ale až po tom, co dostane 401 - nutné přihlášení. Googlebot tedy uvádí požadavky do sandboxu v http chybách.“
Neměl by, bot by měl dostat rovnou 3xx hlavičku.

Jo, je to divné, když si nastavím user agenta na googlebota, dostanu 301 hned. Když ho nemám, tak 401. V google webmaster tools tvrdí, že dostává 401, tak snad jedině, by tam tam zkoušel semtam jít i s jiným user agentem.

Vypadá to, že dnes nebylo pětiminutové přetížení od 0:15, 6:15 ani 12:15. Čím by to mohlo být? robots.txt vypadá stejně.

Jen taková myšlenka: Co když autor toho bota rozumí česky a čte zdejší diskuzi? Třeba něco ve svém výrobku upravil, aby ty problémy nebyly (nebo ho jen posílá v jiné časy). Nebo jeho bot dělal problémy i jinde, autor si všiml, že je všude zakazován a něco změnil. A ani česky neumí.

To už jsou pravděpodobnější varianty...
- hosting ho už vypátral a odstřihnul
- věří uvedenému lastmod v nové sitemapě

Chamurappi:
„Těch hodných botů sem asi moc nechodí.“

Nemusí být hodný, může se snažit předejít odstřižení. Ale netvrdím, že je mé vysvětlení pravděpodobné.