Indexace Seznamem

LeGuardian:

Viz vysvětlení přímo od zdroje: http://fulltext.sblog.cz/2011/08/17/60

Plaváček:
přesně tak, dobrý zdroj ;)

LeG*:
máte pravdu. Ceske-hospudky jsou dobře zaindexované v G. a S. je malinko opomijí - viz link Plaváčka. Nejste ale sám, kdo toto řeší, ale vesměs se to řešit přiliš asi nedá (teda pokud tomu člověk alepoň trochu rozumí a ví o čem web je a nedělá "beďarovité" weby).

Doporučím klasické věci:
- snažit se o unikátnost

- robots.txt - já mám nastaven pro SeznamBot3 pro web, kde chci pokud možno idexovat vše

-- uvézd sitemapu (možnost označit, co se aktualizuje častěji)
--- abosultní adresa
--- dle specifikace max 10 MB (v dekomprimovaném stavu), nebo 50 000 URL (před chvílí jsem to vyhledal)

- zkontrolovat přesměrování (redirect, 301) u neindexovaných stránek - SeznamBot3 vylučuje stránku z indexace, pokud stránka 3x po sobě má problémy technické rázu (výpadek serveru, přesměrování apod)

- na stránce mít v meta robots index, follow, all

- kanonické odkazy (zdůležitění odkazu) - kdysy jsem o tom četl od SEO mága Cutse i ve videokonferencích G., ale na webech jsem je ani jednou nepoužil = nemohu potvrdit/vyloučit poznatky


- pokud už opravdu nevíš nezbývá než
-- http://search.seznam.cz/pridej-stranku a zkusit opětovně přidat web, případně jednotlivé neindexované stránky (práce nic moc, záruka žádná, pomoci občas může)
-- u neindexovaných stránek změň popisek (práce nic moc, záruka žádná, občas pomůže)

PS: škoda, že zde není možnost vkládat seznam <li> .)
PS2: Budu rád, když se k tomu vyjádří víc lidí, pač víc lidí víc ví a nemohu říct, že jsem vědátor, věštec ale ani blbec ;) Krom toho, určitě tyhle vlákna čte mnoho lidí, které nenapíší nic a tím to je zvu :P

helpik.JPW:
„- na stránce mít v meta robots index, follow, all“
Tyto volby se předpokládají jako výchozí a není třeba je uvádět.

„PS: škoda, že zde není možnost vkládat seznam <li> .)“
Od toho je tu klávesová mapa (Control-šipka dolů » Funkce » Seznamy).

Davex:
„Tyto volby se předpokládají jako výchozí a není třeba je uvádět.“
Máš pravdu, ale také to neuškodí. Navic je to jednoduchý jeden řádek a většinou se generuje na celá web ... 5 min ;)

„klávesová mapa“
O téhle možnosti jsem nevěděl. Chvíli potrvá jestli si na to zvyknu ;)

helpik.JPW:
„Máš pravdu, ale také to neuškodí. Navic je to jednoduchý jeden řádek a většinou se generuje na celá web ... 5 min ;)“
Ale jeho účinnost bude asi stejná jako u následujícího řádku:

Kdyby Seznam ignoroval stránky bez těch výše uvedených metatagů, měl by opomíjet i hlavní stránku Seznamu.

Totéž platí i pro soubor robots.txt. Pokud jím člověk nechce přístup robotům omezit, nemá jeho (toho souboru) existence jiný význam kromě toho, že přestane vracet chybu 404.

jenikkozak:
"učinist meta robots"
Nemám vyzkoušeno, zda je lepší meta robots neuvádět. U většiny webů ho k vidění najdu.

„Totéž platí i pro soubor robots.txt. Pokud jím člověk nechce přístup robotům omezit, nemá jeho (toho souboru) existence jiný význam kromě toho, že přestane vracet chybu 404.“
robots.txt doporučuji už z toho důvodu, že web má většinou adresáře (např. administrace) ve kterých indexování příliš nedoporučuji

robots.txt se doporučuje vytvářet i v případě, že v něm bude jen
User-agent: *
Disallow:

Viz http://www.youtube.com/watch?v=P7GY1fE5JQQ

Mautinek:
„robots.txt se doporučuje vytvářet i v případě, že v něm bude jen“
Nesmysl - i v tom videu je to řečeno. Pokud server vrací 404, je vše v pořádku.

DoubleThink:
já ve videu slyším, že Matt doporučuje vytvořit buď prázdný, nebo lépe "vyplněný" robots.txt. Nemít vůbec tento soubor je "little bit risky".

Reaguji na Mautinka:
Mít nekontrolovanou čtyřistačtyřku může být riskantní. Mít čtyřistačtyřku syntakticky kompatibilní s robots.txt, která je ve skutečnosti dvoustovkou, je nebezpečné, ale i výrazně nepravděpodobné. Chtěl bych vidět nějaký reálný příklad situace, kdy chybějící robots.txt na jinak správně fungujícím serveru způsobil problém.

helpik.JPW:
„robots.txt doporučuji už z toho důvodu, že web má většinou adresáře (např. administrace) ve kterých indexování příliš nedoporučuji“
Zda je robots.txt pro SEO dobrý či špatný, nevím, ale zakazovat indexaci administrace v robots.txt je jako pozvánka pro potenciální útočníky, aby se pokusili do administrace dostat - zmínkou v robots.txt každému říkáš "zde je adresa". Pokud nevede do administrace odnikud odkaz, nemá se robot jak dozvědět adresu a to je jedině dobře. Neodkazuj na administraci a nebude indexována. Chci-li administraci robotům formálně zakázat, potom bych to napsal do hlavičky stránky administrace, ale ne do robots.txt.

Mautinek:
Upřímně, nedovedu si představit, že by existoval tak špatně napsaný robot, který by ze syntakticky nevalidních robots.txt dat vyvodil nějaké restriktivní závěry.
Všechny tyto žvásty jsou jen urban-legends a je smutné, že je šíří i odborníci. A na argument "i kdyby to zachránilo jediný život" už jsem dost alergický - celý vesmír funguje na intervalu pravděpodobnosti (0;1) bez těchto krajních hodnot.

helpik.JPW:
„robots.txt doporučuji už z toho důvodu, že web má většinou adresáře (např. administrace) ve kterých indexování příliš nedoporučuji“

Jeden z oblíbených a nesmyslných postupů, vyjmenovat v robots.txt s parametrem disallow všechny neveřejné složky.

1) jak bylo řečeno, potencionálním útočníkům na stříbrném podnose naservíruješ strukturu složek a ukážeš mu přesně, kam se má pokoušet prolomit

2) pokud na ty neveřejné složky nevede z veřejné části webu žádný odkaz (jakože je rozumné, aby nevedl), tak se o nich robot vyhledávače nemá jak dozvědět a tedy ani ho nenapadne je indexovat. Není tedy důvod jejich indexaci zakazovat.

DoubleThink:
však já netvrdím, že špatná syntaxe v robots.txt budou vyhledávače "chápat" nebo ne. Jen říkám, že je lepší, tento soubor pro každý web vytvořit.

Mautinek:
„Jen říkám, že je lepší, tento soubor pro každý web vytvořit.“
Což je nesmysl - protože je to v praxi totéž, jako když tam žádný není.

Reaguji na Mautinka:
Odkázaný Matt tvrdí, že vyhledávač může být tak hloupý, že špatně napsanou chybovou HTML stránku vyhodnotí jako platný robots.txt. Což je tak moc nepravděpodobné, že to jako podpěra pro tvrzení „je lepší tento soubor pro každý web vytvořit“ neobstojí. Proč je to tedy lepší?


Reaguji na ludkabrno:
„Není tedy důvod jejich indexaci zakazovat.“
Ono na nich zpravidla ani nebývá nic zajímavého k indexování. I když je zaindexuje, tak na ně patrně nikoho nepošle.

Chamurappi:
naopak, pro mě to je signál, proč robots.txt vytvářet. Proč si přidělávat případné další starosti, když vytvoření souboru zabere tak minutu i s nahráním na server.

Reaguji na Mautinka:
Protože zbytečná práce je zbytečná. Jaké případné starosti si přiděláš jeho nevytvořením?

Chamurappi:
např. tu, když si uživatel upraví 404 stránku tak, jak jsi psal výše. Pokud mi tato "práce" zabere do 1min, tak i kdyby byla zbytečná, tak bych to příliš neřešil (pokud to není opakované). Vezmi si, kolik souborů robots.txt jsme mohli vytvořit za dobu naší diskuze. :-)