Dojde k duplicitě?

Miam:

Pokud jste provedli důsledně přesměrování (301), nemůže k duplicitě dojít. Smiřte se ale s tím, že reakční doba vyhledávačů je poměrně dlouhá. Jedna z nejlepších rad tedy zní - když opravdu nemusíte, nepřesměrovávejte. A indexování "starých" souborů v robotst.txt nezakazujte. Robot pak (nejspíš) nepozná, že se stará URL změnila na novou.

P.S. Něco ke čtení: http://blog.komart.cz/redesign-webu-a-seo/

Přesměrováním k duplicitě nedojde. Ale nedělejte to v sezóně. :-)

Miam:
„Automatické přesměrování současných (doposud používaných) adres na nové jsme si nastavili v souboru ".htaccess" a indexování původních tvarů jsme zakázali i v souboru robots.txt.“
Máte někdo zkušenost s přerušením přesměrování? Kdyby se teď Miam zalekli a řekli si, že to v sezóně nebudou riskovat, ačkoli vyhledávače už na některých stránkách přesměrováním prošli. Vrátí se robot na stránku, ze které byl původně vyhozen?

Miam:
„Automatické přesměrování současných (doposud používaných) adres na nové jsme si nastavili v souboru ".htaccess" a indexování původních tvarů jsme zakázali i v souboru robots.txt.“

To je samozřejmě špatně. Jestliže je adresa zakázaná v robots.txt, nezjistí vyhledavač, že je přesměrovaná jinam.

Miam:
„lepší nechat v souboru robots.txt povoleny všechny url (staré i nové)?“

Ne lepší, ale jediné správné. V robots.txt zakazujete adresy, které robot nemá navštívit. Vy ale potřebujete, aby robot staré adresy navštívil a dozvěděl se z nich o přesměrování na nové. Kdybyste staré adresy zakázal, ihned byste přišel o všechny zpětné odkazy, které na ně vedly. Prakticky by to bylo ve vztahu k vyhledavačům skoro totéž, jak kdybyste je bez náhrady zrušil.

„A nebude nově indexované stránky (s velmi podobným nebo stejným obsahem s tím novým) považovat za duplicitní s dříve zaindexovaným obsahem?“

Nebudou, protože na nich už ten obsah přeci nebude. Bude na nich přesměrování na nové adresy.

jenikkozak:
„Vrátí se robot na stránku, ze které byl původně vyhozen?“
Na kořenovou adresu se Googlebot a Seznambot vracejí pravidelně. Na nekořenové adresy s klesající četností. IMHO podle toho, zda se na staré adresy ještě někde odkazuje. Na neodkazované adresy časem zapomenou úplně a již je nenavštěvují.

Miam:
„Při indexování stránky s novou url si opět načte url a obsah nové stránky a porovná její jedinečnost.“
Rozpoznání duplicit se IMHO provádí až při generování výsledků hledání a ne při crawlování.

„Myslel jsem, že na původní stránku již nejde a nezjistí tedy její přesměrování.“
Crawler indexuje všechny stránky na známých adresách, které nejsou pro procházení zakázané. Ty staré adresy si tedy stále pamatuje a snaží se je indexovat.

„Ale díky nastavenému přesměrování asi vyhledávač ví, že původní adresa je již na nové adrese“
Se zakázaným indexováním staré adresy si přesměrování nepřečte, takže se o něm vůbec nedozví a ve vyhledávání by pak mohly vzniknout anomálie.

Možná se to mělo víc promyslet předem, aby nedošlo k velkým škodám.

Jako další postup navrhuji:

1) Nastavit hromadné přesměrování ze starých adres na nové.
2) Nezakazovat indexaci starých adres v robots.txt.
3) Čekat několik týdnů (u Google) až měsíců (u Seznamu) na přeindexování všech adres. V tomto období lze očekávat krátkodobé snížení návštěvnosti z vyhledávačů.

Nemusí to být přímo kvůli duplicitě. Děje se to vždy při nějaké větší změně, ať už podoby adres nebo navigační struktury. Ve Vašem případě možná díky špatnému provedení a načasování.

Miam:
„Dá se nějak zjistit zda je stránka penalizovaná právě za duplicitu nebo něco jiného?“
Za duplicity se snad ani žádné penalizace nedávají. Identický obsah způsobuje ten problém, že vyhledávač rozhodne, kterou stránku zobrazí a kterou ne. (Nemělo by smysl návštěvníkovi ukazovat deset totožných textů.) Je lepší, když si tohle určí autor webu sám.

Viz Yuhúovo povídání o duplicitách.

„Dá se nějak zjistit zda k poklesu návštěvnosti došlo kvůli duplicitě?“
Těžko. Ale pokud tu zmíníte, o jaký web jde, třeba se podaří někomu něco vykoumat.

„Další úprava o které uvažujeme je zcela změnit url adresu.“
Proč jste si to nerozmysleli hned a nepřesměrovali přímo na ty nové adresy? Nevím, o jaký web jde, ale myslím si, že tato změna přinese asi více škody než užitku.

Miam:
„Informaci, že Google nemá moc rád adresářovou strukturu jsme zjistili teprve nedávno.“

A kde jste se to dozvěděl?

[#18] Miam Nic takového z toho textu neplyne. Studujete sice ze správných zdrojů, ale asi byste je měl číst pečlivěji.

Miam:
„URLs like (1) can be confusing and unfriendly“

Ale to přeci není kvůli lomítkům, ale kvůli tomu, že obsahuje nic neříkající číselné kódy. V textu je to dostatečně vysvětleno. URL, které Vy jste uvedl jako příklad (/norma/csn/734201/1.10.2010), sice také obsahuje číselné kódy, ale ty jsou asi cílové skupině webu srozumitelné.

A ještě pro jistotu jedna poznámka. Změna URL již jednou publikované stránky je jedním z nejhorších "zločinů", které můžete na webu udělat. Občas to je sice nutné, ale měl byste pro to mít mimořádně dobrý důvod. To, že se URL nemusí líbit Googlu (ale indexuje ho), dostatečně dobrý důvod nikdy není, protože změna URL se mu nebude líbit ještě víc.

[#23] Miam Je tam pár zjednodušení a drobných chyb, ale podstata je v pořádku. Myslím, že už ale všechny informace máte.

Miam:
„V případě, že bychom změnili url adresu (bez adresářů) a provedeme přesměrování v ".htaccess" tak si opravdu zaděláme na další problémy?“
Na to se nedá snadno odpovědět. Lidé se v názoru na přesměrovávání dělí do dvou skupin:
- V jedné jsou ti, kteří říkají, že adresa má mít pokud možno stejnou životnost jako soubory, které jsou na ní umístěné. Tito lidé přistupují k přesměrování skepticky, chápou ho jako jako krajní možnost. Do této skupinky se po nepříjemné zkušenosti zařazuji i já.
- Druhá skupina obsahuje ty, kteří URL berou jako cestu, která se může přizpůsobovat okolnostem. Ti většinou říkají, že se správným přesměrováváním problémy nejsou.
Pravda je asi někde mezi těmito dvěma tábory. Vyhledávače nemají v současné době k dispozici takové kapacity, aby dokázaly na všechny změny malých webů reagovat v reálném čase. A to se právě projevuje různými poklesy návštěvnosti. K nějakému výpadku dojde určitě, záleží ovšem na tom, jak hodně se projeví a jak dobře dokážete identifikovat jeho příčinu.
Asi tak polovina lidí vám řekne, že se přesměrování bát nemusíte, druhá polovina vás od toho bude odrazovat. Já si myslím, že zisk, který očekáváte, je dost nejistý, založený na dohadech.

Miam:
„Už se Vám návštěvnost vrátila i ze Seznamu zpět?“
Vrátilo se to postupně k normálu po víc než roce. Vypadalo to, jako kdyby Seznam zahodil úplně všechno, co věděl o té původní doméně (které předtím indexoval tisíce stránek a pravidelně je procházel), neprošel přesměrováním a začal tu novou doménu hodnotit úplně od nuly. Tomu by právě správně mělo přesměrování zabránit.