Ignorácia robots.txt

SeparateSK:
„Dostane sa tak k údajom ,ktoré by nemali byť verejnosti prístupné.“
Dostane se k údajům, které jsou veřejně přístupné.

„Je to legálne, veď autor má svoje práva ,aby som sa mu v tom nehrabal?“
Ty máš právo na informace, máš tedy právo se v čemkoliv hrabat.

„Môžu mi za toto zrušiť moju doménu ?“
Nemůžou. Platí to všem za předpokladu, že takto získaná data nezneužiješ k nějaké nelegální činnosti, třeba spamování.

Bubák:
„Ty máš právo na informace, máš tedy právo se v čemkoliv hrabat.“
Pokud tam ovšem nejsou osobní údaje. Ty totiž nesmějí být shromažďována ani pro osobní potřebu.

SeparateSK:
„Môžu mi za toto zrušiť moju doménu ?“
Jen za to, že někomu prolézáš web, ti doménu nezruší. To jsou záležitosti, které spolu nesouvisí. Přirovnal bych to k tomu, že pojedeš v obci devadesátkou a zedník ti za to zboří plot.
Pokud budeš prolézat weby bez ohledu na robots.txt, určitě v několika případech dosáhneš zablokování IP adresy. Pokud budeš obsahy webů publikovat na svém webu, můžeš očekávat rozčilené správce požadující smazání kopie.

„Dostane sa tak k údajom ,ktoré by nemali byť verejnosti prístupné.“
Jinak: Dostane se k údajům, u kterých autor uvedl, že si nepřeje, aby byly prolézány roboty.
Následuje spekulace: Možná autor má právo si určit, že jeho dílo nemůže být zpracováváno tímto způsobem. Vyhledávač možná není oprávněn používat citace. Na to se v nejbližší době zeptám právníka.
Každopádně si myslím, že ignorováním tohoto souboru klesneš v očích správců webů. To nepovažuji za dobrý tah v době, kdy tu je spousta hodně tvrdé konkurence. Spíš bys měl uvažovat nad tím, jak správcům něco nabídnout, aby tvůj vyhledávač tolerovali.

robots.txt je pouze doporučení pro roboty, které url procházet a neprocházet. Není závazný.

Na druhou stranu pokud robot vyhledávače záměrně ignoruje robots.txt, je pak snáze napadnutelný za porušení autorských práv či vytěžování cizí databáze. Tam samozřejmě záleží jaké údaje robot prochází, ukládá a následně zpřístupňuje.