| Autor | Zpráva | ||
|---|---|---|---|
| ge0rgecz Profil |
prosim o radu. Pouzivam interne takovou aplikaci ktera mi doporucuje filmy ke shlednuti podle udaju z csfd, no a k tomu si tato php aplikace stahovala z csfd informace, predevsim hodnoceni, ke kazdemu filmu ktery se mi objevil na disku ....
... tolik omacka ... a ted k veci: php zavola napriklad file_get_contents('www.csfd.cz/film/9499-matrix/'); a pak parsuje, co rozparuje si ulozi do tatabaze s casovou znackou a pak treba rok uz s dotazem na stejnou stranku csfd neotravuje. Potiz je v tom ze po stazeni jakekoliv cca pate stranky timto zpusobem najednou CSFD zacne misto HTML vracet jen nesouvisly, a zjevne nahodne generovany BALAST. co s tim? Evidentne to neni blokovani ip adresy protoze kdyz pak na csfd ze stejne ip pristoupim z firefoxu stranka se normalne zobrazi, ... nenapada vas prosim nekoho na jakem principu je tento "drm" klacek pod nohama zalozen a jak ho pripadne vyresit :-) Dekuji. Moderátor juriad: Odmazán odkaz na smazaný přispěvek v cizím vláknu.
|
||
| lionel messi Profil |
|||
| juriad Profil |
#3 · Zasláno: 26. 10. 2015, 16:07:51
lionel messi:
Pokud by se jednalo o direktívy allow_url_fopen, nebylo by možné provést ani jeden dotaz. ge0rgecz: Nevím, jak to funguje, ochrana může používat více kritérií (IP + user-agent + ...). To omezení tam dali nejspíš z důvodu, aby lidé nedělali přesně to, co děláš. Chtít to obejít tedy není vhodné řešení, raději předělej aplikaci, aby se nemusel dotazovat csfd každou chvíli - ukládej si maximum výsledků k sobě do databáze. Ten balast - nemůže se jen jednat jen o gzipovaný výstup? Myslím, že u nějakého serveru se občas děje to, že posílá komprimpovanou stránku, i když o to klient nestojí. |
||
| mimochodec Profil |
#4 · Zasláno: 26. 10. 2015, 16:33:15
csfd se brání stahování dat dost intenzivně. Stahuju od nich něco už dlouho, ale velmi zřídka. Za pět let to bylo možná 1000 případů, většina z toho rovnoměrně rozložená v čase. I to stačilo k tomu, aby mi jednu adresu zablokovali - nejspíš se dá rozpoznat, že to není normální návštěvník, když má IP nějakého hostingu. Kromě toho minimálně dvakrát změnili kód, aby stahovací skripty přestaly fungovat. Tím myslím mimo ty změny, které se promítly do vzhledu stránek a měly tudíž primárně jiný účel.
|
||
| Tomáš2 Profil * |
#5 · Zasláno: 27. 10. 2015, 15:27:35
Nevím, jestli je etické to radit, ale omezení csfd lze obejít přes google cache, má většinu stránek v posledních verzích, na velkou část využití stačí. Každopádně z autorského a etického hlediska to není hezké takhle krást data...
|
||
| _es Profil |
#6 · Zasláno: 27. 10. 2015, 21:44:05
Tomáš2 [#5]:
Aj Google sa bráni nadmernému vyťažovaniu svojich služieb z jedného miesta, od jedného návšteníka a pod. |
||
|
Časová prodleva: 9 let
|
|||
0