Untuk bikin AGC atau grabing cara manakah yg jadi favoritmu?

AGC atau grabber bisa dibangun menggunakan curl, snoopy class dan file get contents.
dari ke 3 metode tersebut mana yang jadi favoritmu?
metode mana yang lebih cepat?
di sini aku cuma mau ngasih gambaran kecepatan masing2 metode tersebut. kalian bisa membuktikan sendiri dengan script ini

PHP:

<?php
# increase the amount of time available for the functions to run.
set_time_limit(1234);
 
include 'Snoopy.class.php';
 
# initialise variables
$contents = '';
$times = array();
 
$url = 'http://php.net/';
 

# generate microtime value
function getmicrotime($t){
  list($usec, $sec) = explode(" ",$t);
  return ((float)$usec + (float)$sec);
}

for($i=0;$i<=50;++$i){
 
### curl
 $start = microtime();
 
 $ch = curl_init();
 $user_agent = "Mozilla/5.0";
 curl_setopt ($ch, CURLOPT_URL, $url);
 curl_setopt ($ch, CURLOPT_USERAGENT, $user_agent);
 curl_setopt ($ch, CURLOPT_HEADER, 1);
 curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
 curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1);
 curl_setopt ($ch, CURLOPT_TIMEOUT, 120);
 $contents = curl_exec($ch);
 curl_close($ch);
 
 $end = microtime();
 $times['curl'][] = (getmicrotime($end) - getmicrotime($start));
 
### snoopy
 $start = microtime();
 
 $snoopy = new Snoopy();
 $snoopy->agent = "Mozilla/5.0";
 $snoopy->fetch($url);
 $contents = $snoopy->results;
 
 $end = microtime();
 $times['snoopy'][] = (getmicrotime($end) - getmicrotime($start));

### file_get_contents
 $start = microtime();
 
 $contents = file_get_contents($url);
 
 $end = microtime();
 $times['file_get_contents'][] = (getmicrotime($end) - getmicrotime($start));
 
}

# sort the times
sort($times['curl']);
sort($times['snoopy']);
sort($times['file_get_contents']);

 
#calculate stats for times 
foreach($times as $method=>$time){
    echo '<b>'.$method.'</b><br/>average = '.(array_sum($time)/count($time)).'<br/>min = '.$time[0].'<br>max = '.$time[count($time)-1].'<br/>';
}
?>


hasilnya kira2 semacam ini, tapi gak selalu sama seperti ini, tergantung server dan koneksi internetnya juga
curl
average = 1.6519486109416
min = 1.4760458469391
max = 2.1774718761444
snoopy
average = 1.5967303571247
min = 1.3639419078827
max = 1.9960110187531
file_get_contents
average = 1.7033786319551
min = 1.3668169975281
max = 2.8225719928741

 

saya seringnya pake curl doank soalnya gampang ga usah include file lagi
dulu sering pake snoopy tapi trus ketemu problem (lupa masalahnya apa waktu itu) yg bikin scraping nya ngaco jadinya pindah ke curl. mungkin problemnya bisa dibenerin kalo otak atik setting snoopy tapi waktu itu pake curl standar langsung kelar problemya. jadi ya pindah ke curl sampe skarang

 

Tetep setia kepada file_get_content saja. Hehehe

 

masih senang pakai curl, bedanya juga tidak significant.

 

idem masgan. curl jg

 

buat ane:

curl + simple_html_dom

udah bisa memenuhi hampir semua kebutuhan scraping

 

ga mudeng aku mas... ;(

 

apapaun metodenya.. tetep pake simple_html_dom

 

Setia ama curl...soale ga mudeng ama yang lain..!!

 

kalau saya file_get_content saja

 

wah bahasanya ga ngerti yaa... apa pada programmer semua yaa....


Sent from my GT-I9100 using Tapatalk 2

 

masing2 ada kelebihan n kekurangannya
kl web page yg discrap size nya kecil lebih cepet pake curl.
untuk manipulasi http header lebih gampang pake snoopy.
kalau pake hosting gratisan curl gak bisa follow location, tp bisa dibikin fungsi untuk pengganti followlocation.
file get content paling susah kalau mau manipulasi header, susah jg buat mainan cookies.
untuk scrap multi page dlm 1x scrap lbh gampang pake curl

 

Ane pake Curl+phpQuery gan

 

bikin polling nih gan? ikutan pollingnya: gw suka pake curl

 

favorite ane gak ada masgan... gak pernah maen AGC, gak ngerti... mau ngajarin gak ??

 

Setia pke curl kang.. mudah digunakan menurut ane..

Sent from my GT-P3100 using Tapatalk 2

 

belajar aja dari script yg udah dishare di forum ini boss. aku dulu waktu msh buta php bikin pake explode berkali2, mana bikinnya pake hp lagi hehe
sekarang kalau gak kepepet banget ogah ngedit pake hp bikin pusing hehe

 

kalo ane pake drupal_http_request, soalnya pakenya drupal dan dia pake koneksi socket buat ambil datanya..

 

aduhhh ga kuat nangkep aku masbro, bahasa tingkat dewa ini.
liatin kode angka ama huruf nya mastah mastah disini jadi pusing saya hihihi

 

ane sendiri biasa pake curl, jarang pake file get content, ga pernah pake snoopy. mungkin kapan2 mau nyobain

dalam scrapping sendiri biasanya ane mulai cari size dari yg paling kecil, kalo masih terpenuhi api biasanya pake api, kalo ga ane cari versi mobilenya.. kalo ga ada juga baru full web