Autor Zpráva
xenie
Profil *
ahoj,

je nějak možné zamezit přístupu na server přes CURL? Jde mi o to, abych nějak zabránila scrapování mého obsahu zloději ;-).
BetaCam
Profil
xenie

No myslím, že samotnej přístup přes cURL zakázat nejde. Muselo by se to řešit například přes .htaccess zakázáním konkrétních botů.
maarlin
Profil
ahoj,
je nějak možné zamezit přístupu na server přes CURL? Jde mi o to, abych nějak zabránila scrapování mého obsahu zloději ;-).
Ne, už z principu ne. Totiž cURL se v podstatě dokáže chovat stejně jako každý jiný obyčejný uživatelský prohlížeč, nebo bot. Tedy v cURL se můžu klidně vydávat (nastavením správného user-agenta) za GoogleBota, nebo za uživatele s Firefoxem...
Stejně tak nemá význam zakazovat IP adresy, cURL umí používat proxy servery...
Teoreticky by se tomu dalo zabránit častou změnou struktury výsledného vygenerovaného kódu, jelikož většinou naprogramovaní roboti cURLem stáhnou celou stránku od serveru a pak ji prohledávají podle nějakých záchytných bodů (přes regexp), aby z toho dostali jen to, co opravdu chtěli. Tedy pokud jim budete přesouvat, mazat, nebo měnit ty záchytné body, přestane je možná bavit přeprogramovávat své roboty.
Co máte za tak cenný a zajímavý obsah, že stojí jeho zveřejnění na internetu, ale nechcete, aby jej tahali jiní? :)

Vaše odpověď

Mohlo by se hodit


Prosím používejte diakritiku a interpunkci.

Ochrana proti spamu. Napište prosím číslo dvě-sta čtyřicet-sedm: