Zaslání URL vyhledávačům s noindex, follow

Zdravím,
když Seznamu ať už přes API Webmaster nebo rovnou do IndexNow zašlu URL adresy e-shopu (stránkování kategorií produktů, první až x-tá stránka kategorie) s meta robots: "noindex, follow", čili neindexovat, ale projít, tak vstoupí si na ně crawler a projde tyto stránky a veme z nich jen URL jednotlivých produktů (případně i URL na další stránky apod.) a nebo se na to rovnou vypodne, když v hlavičce uvidí neindexovat?

Jde mi čistě o fungování tohoto hromadného zasílání URL Seznamu, potažmo Bingu. Z logiky věci by jí měl projít a posbírat v ní odkazy (na jednotlivé produkty, kde str. s produktem už má povoleno indexování), ale FUNGUJE TO TAKTO V PRAXI? Máte s tím někdo osobní zkušenost?

Chápu, že Vás napadá, proč mu neposlat rovnou všechny konkrétní stránky jednotlivých produktů, no narovinu je jich několik mega, proto když je zasílání omezené počtem URL adres a množstvím zaslání denně (navíc jej nechci úplně naráz zahltit), je početně jednodušší zaslat strany kategorií s produkty a nechat na vyhledávači (skrz můj lidský čas), ať už si jednotlivé produkty z tohoto stránkování kategorií postupně projde sám (to se domnívám). Ještě doplním, že každá první stránka kategorie má indexování povolené.

Případně děkuji za diskuzi.

Kajman:
Díky za odpověď. Index sitemap je, ale je to samozřejmě obludně velké vše (několik stovek sitemap) a kdyby sitemapy chtěli roboti procházet, minimálně databáze navštívených URL by vypadala již jako obrovská jak na Googlu, tak na Seznamu, ale není tomu tak. Takže na velké sitemapy hází bobek jak Seznam, tak i Google. Pokud by se jednalo o malinkou sitemapy webíku, tak tam to funguje, ale u velkých e-shopů po mé zkušenosti moc ne.
Ale asi si zkusím udělat nějaký zkušební web a provedu na něm test, protože nejsem tvůrcem onoho e-shopu a dostávat se k jeho datům je strašná kancelářovina :-). Již jsem tady nedávné téma sitemap založil, ale jak píši, právě ten bobek tak hledám jiná řešení.
Ještě zase doplním, že u Seznamu by mělo být právě zaručeno, že co mu na API pošlu na to robot minimálně vstoupí (NE IndexNow), ale na sitemapy je to jen na jeho libovůli kdy se tam zase ukáže a co vlastně se svým přiděleným časem všechno projde a nebo už projít nestihne. Aneb sitemapa = "někde tam něco je, jak se ti bude chtít tak dělej", NEBO konkrétní zaslání k projití URL = "tady máš dávku na zlatým podnose každý den jinou".

blaaablaaa:
Dobrý den, Google a VELKÉ, opravdu VELKÉ sitemapy e-shopů je téma samo o sobě... Psal jsem tu nedávno příspěvek ohledně právě fungování Googlu a Search Console a tam jsme se s diskutujícím shodli, že to není ideál. Toho celosvětového molocha co se týče procházení webů strčil do kapsy i Seznam jak to vidím. Jak chcete řešit obsahovou kvalitu stránek na polo automaticky generovaném e-shopu (protože jinak to nejde, nestarám se o e-shopík s pár bylinkama a mastičkama), když obsah produktu závisí na třetích stranách jaká data zašlou, protože zase, nejde si tam vymýšlet dlouhosáhlé krásné obsahové text jak je produkt úžasný, to by ani nikoho u prodeje technologických věcí nezajímalo a spíš by prodejce vypadal jako .... naiva?. Jsou to technická data, tlačítko KUP... a bohužel se samozřejmě jak jinak musejí tyto technická data opakovat u jednotlivých produktů. Je e-shop a e-shop, ale jeden druhého se liší jako vejce slepici.

Jinak to zrovna PROČ je Google neindexuje je hodně zavádějící, připadne mi to něco jako mezi zázrakem a magií, oznámení pouze o selhání, pak zase ne, oznámení takové, že není popsán přesný technický důvod, ale něco mezi: "Hups oujejda, stalo se!" (nadneseně napsáno) apod. No Google Search Console s e-shopem s milióny URL je prostě sranda :-).

Ale děkuji za reakci.

blaaablaaa:
Sitemapy samozřejmě všechny zveřejněné jsou a taktéž jsou datově v pořádku i s informacemi o aktualizaci dané url. Statistiky procházení jsou právě v pořádku a to mě zaráží, že Objeveno - momentálně neindexováno skončí informací, že ověření selhalo. Tak kde je pak problém proč selhalo (kdyby byla tato informace u Googlu k dohledání), když problém procházení uveden po celou dobu není, to je ta magie o které píši.

A pokud pánové svými algoritmy v Googlu rozhodli, že web je nezajímavý (a mají na to plné právo) při těchto procházení, tak by ke své velikosti a vznešenosti mohli podávat reálné informace a ne to kamuflovat za to, že to selhalo bez vysvětlení. Dokonce když si klepnu danou selhanou URL (a to se má projít několik tisíc URL ale při dvou selháních se dál nepokračuje), tak je na serveru funkční, je i funkční a indexovatelná při její samotné kontrole v živém testu, produkt tam je, má u sebe plno informací...

Každopádně je fakt, že by to chtělo více zpětných odkazů, ale to bude muset jít ruku v ruce s placenými službami, protože v dnešní době kuřata zadarmo nehrabají :-). Jestli ale pomohou ty zpětňáky bůh suď.

Divnostránka se seznamem produktů je pouze stránkovaná kategorie produktů, nic víc nic míň. A je taky v dnešní době škoda (ale chápu proč to asi Google dělá) umožnit správcům odeslat pouze 11 přednostních url k indexaci denně, to je za mě jedno velký špatný HUPS. Seznam jich příjme 1000 denně. Bing podle velikosti webu a pro debatovaný e-shop až 10 000 denně (za 15 hod nebo nějak tak), protože samozřejmě chcete indexovat přednostně cenově zajímavější produkty, než nějaké technické a jen obsahové (kontaktní apod.) stránky.

Díky za info a zkusím jít taktéž čarovat, třebas toho molocha nějak uhranu :-D.

anonym:
Blokace na straně serveru není. Průchody dle historie jsou ok (drobné přírustky v indexaci a aktualizace již odeslaných stávajících url), ale objevené url adresy v sitemapách "Objeveno - momentálně neindexováno" při pokusu o průchod kalobují (pokud jsou jich tisíce), protože ověření selže. Pokud je url adres málo (většinou Procházeno - momentálně neindexováno) do pár kousků, pak to projde.

Podezřelá "podstrčená" může být pro člověka co ji nevidí a nechápe její smysl, protože e-shop který spravuji funguje trošku na jiném principu nákupu konkrétního zboží, než že se uživatel přehrabuje běžně dostupnými domácími cetky a koupí si na co má zrovna náladu :-). Není to pro běžného zákazníka, je to spešl obchod pro zákazníky s díly do složitých strojů kde se většinou vyhledává podle konkrétního čísla zboží. A nevidím na zasílání url adres nic kritického (sami vyhledávače to podporují), protože u opravdu velkých e-shopů než vůbec crawler objeví, že na danou stránku vede někde odkaz a nebo je v sitemapě není lusknutím prstu a proto nejdříve možná zaindexuje odeslanou a po x týdnech zjistí kde na ni vede odkaz a běžně s tím Google nemá problém. Kdyby měl, ani si neškrtnu.

E-shop není tisícím, ale je fakt že konkurence je již krapet před námi.

Děkuji všem za diskuzi.