| Autor | Zpráva | ||
|---|---|---|---|
| raddimm.xx Profil |
#1 · Zasláno: 11. 7. 2018, 11:27:08
Chětl jsem si porovnávat ceny produktu u 3 konkurečních eshopů. Udělal jsem lehký crawler v PHP ktery stáhnul obsah z kodu vytahnul pomoci regularni vyrazů cenu a ulozi jsem si ke mě.
Má otázka zní, mohu toto dělat? Je to "legální"? Druhá jeden ze serverů po dvou třech minutách, řekněmě pár desítkách dotazů blokne (nejspíše IP). Ale klasický crawler/bot přece má přístupů tisíce když indexuje. Jak se tvářit jako bot? |
||
| Keeehi Profil |
#2 · Zasláno: 11. 7. 2018, 21:45:55
raddimm.xx:
„Má otázka zní, mohu toto dělat? Je to "legální"?“ Obecně se jedná o vytěžování databáze a to legální není. Ovšem pokud to máš jen pro svou potřebu, tak to dělat můžeš. „Jak se tvářit jako bot?“ Pokud dělají nějaké rozpoznávání tak nejspíše podle useragenta. Ovšem taky je možné, že jen kontrolují frekvenci a vyhledávačům to projde, jelikož to nedělají tak rychle jako ty. Úplně nejlepší by bylo, kdyby jsi našel nějaký product feed, například pokud posílají produkty na Heuréku. Tam bys měl všechny produkty a jejich ceny v jednom XML souboru. Některá eshopová řešení mohou mít tyto feedy na určité adrese, takže by mohlo být možné ho najít. |
||
|
Časová prodleva: 6 let
|
|||
0