| Autor | Zpráva | ||
|---|---|---|---|
| cistax Profil |
#1 · Zasláno: 2. 7. 2009, 13:25:19
Dobrý den, chtel bych si napsat vlastního indexovacího bota. Kamarad mi rekl (nechtel prozradit svuj kod) ze to funguje zhruba takto:
ziskas si zdroj vychozi stranky vytahnes z ni odkazy s http otestujes, zda uz v "zasobniku"/databazi uz takovy odkaz nemas pokud ne, ulozis po ulozeni prejdes na dalsi odkaz v databazi/zasobniku a provedes to same -- toto vsechno by melo probíhat automaticky a v php a ja nevim, jak ziskat zdrojovy kod vychozi stranky pomoci php, a ne rucne. Potom jeste me nenapada, jak vytahnout ty odkazy, ale pocitam, ze to bude asi nejakej regularni vyraz. |
||
| fuckin Profil |
#2 · Zasláno: 2. 7. 2009, 14:04:09
file_get_contents() nebo pres cURL.
Ano http najdes pres regulerni vyraz. |
||
| cistax Profil |
#3 · Zasláno: 2. 7. 2009, 14:15:08
Díky, jak funguje to cURL?
|
||
| fandaa Profil |
#4 · Zasláno: 2. 7. 2009, 14:18:55
cistax
Můžeš použít a upravit si k obrazu svému třeba toto: PHP Classes: Crawler |
||
| cistax Profil |
#5 · Zasláno: 2. 7. 2009, 14:35:54
díky
|
||
| Pan X Profil |
#6 · Zasláno: 2. 7. 2009, 16:29:27 · Upravil/a: Pan X
cistax
„Kamarad mi rekl (nechtel prozradit svuj kod) ze to funguje zhruba takto: “ Prej kamarád :-D, psali jsme si spolu jen jednou. ty se divíš proč jsem nechtěl? Věnoval jsem tomu půl roku a ještě není hotovo. Kdybch tučil že mě s Benjamínem chcete takhle obalamutit nechat si napsat kódy, pak ti je jako "kamarádovi" ukázat ty si je zkopíruješ a já své prachy nikdy neuvidím. To tak Více tu psát nebudu, ale ICQ si ještě užijete OBA !! Pan X (ICQ: Budry) |
||
| cistax Profil |
#7 · Zasláno: 4. 7. 2009, 15:17:51 · Upravil/a: cistax
Nevím o čem mluvíš, s tebou jsem si nikdy nepsal, jestli te zajima, jak ten bot vypada, kdyz jsem si ho napsal sam, tak ho tu napisu, musi to byt nejake nedorozumeni.
<?php
function getURL($adresa){
$source = file_get_contents($adresa);
preg_match_all('#<a[^>]+href="(http:\/\/([^"]+))"[^>]*>#is',$source,$array);
foreach($array[1] as $adresa){
$sel = "select * from adresy where adresa ='{$adresa}'";
$qsel = mysql_query($sel);$fetch=mysql_fetch_array($qsel);
if(!empty($fetch)){continue;}
$adresa = htmlspecialchars($adresa, ENT_QUOTES);
$ins = "insert into adresy(adresa) values('$adresa')";
$q = mysql_query($ins);
}
}
function browse(){
for($id=1;$id<=2;$id++){
$select = "select * from adresy ";
$query = mysql_query($select);
while($row=mysql_fetch_array($query)){
getURL($row["adresa"]);
}
}
}
browse();
?>EDIT: s panem-x jsem mluvil, slo o nedorozumeni |
||
|
Časová prodleva: 15 let
|
|||
0