Cara gampang scrap gugel

mudah2an aja gak repost.
kalau repost dihapus aja ya mod.
langsung aja kodenya kayak gini:

PHP:

$html = file_get_contents('http://www.google.com/custom?hl=en&q=usher+mp3');
$dom = new DOMDocument;
$dom->loadHTML($html);
foreach($dom->getElementsByTagName('h2') as $node) {
    $array[] = $dom->saveHTML($node);
}

kalau mau lihat hasilnya tinggal tambahin print_r($array);

tinggal ngolah deh arraynya mau diapain

 

hmm.. keluarannya masih dalam bentuk text ya mas gan ?, gak di kasih filetype:mp3 aja sekalian klo memang domainnya mp3

 

Tu kode taro dmna?


Sent from my GT-S7270 using Tapatalk

 

masih bingung

 

Mantap nih. Hasilnya menampilkan judul dan url berdasarkan keyword yang dicari.
hemmmm...kayaknya bisa dijadiin Auto-autoan hehehee

 

idem,
naronya di mana kodenya?

 

taroh dimana aja kayaknya gan...

btw thanks bgt triknya, langsung dipraktekkan

 

Coba mantau dulu, msh bingung

 

keluarannya itu udah array boss.
itu kan cuma contoh url gugel beserta query searchnya, silakan kembangkan sendiri sesuai target yg diinginkan.

iya keywordnya juga udah dibold.

bener banget, taroh di mana aja.
itu kan script standalone, bisa masuk kmana aja, mau dibikin jadi plugins wp jg bisa

 

ane lumayan sering manual search query pake browser kena notifikasi "unusual traffict from your network" trus sama simbah disuguhi captcha ...
Ini yang pake script kalo dijalanin terus apa emang bisa awet om ?



Sent using Tapatalk 2

 

jelas ngga.. hehehe.. ide tambahannya scrap ke SE yg lain.. ato mo yg ribet lg.. dirandom scrap ke SE yg mana.. klo arraynya kosong dirandom lagi pilih SE lg.. jadi ip address kita lebih kecil kemungkinannya di blok alias kluar capcay-nya

cmiiw

 

setahu saya kalau tes di browser gpp. tapi kalau di curl langsung kena capcay. om gugel mencocokkan cookie dari client side (javascript) dan dari server side(browser) . ada yang bisa mengatasi?

 

kalau aku sih untuk urusan scrap bisa dibilang gak pernah pake file_get_contents, pake curl jg jarang.
aku lebih suka pake snoopy.
itu aku ngasih contoh pake file_get_contents biar simpel aja

alhamdulillah sih pake snoopy punyaku awet blm pernah kena kecap

 

kalo pake snoopy biar ga kena kecapnya si mbah harus pura2 jd browser ga (pake user agent)?

 

iya, lengkap ama cuki dll

 

wuih mantep nih gan tipsnya,

btw google kalau di DOM bakal di ban gak yah ip host kita.

ane pernah DOM blognya orang, ip ane malah block...

 

gak tau kalo trafiknya rame banget boss, kalo pageview sekitar 1k per hari sih masih aman.
tapi kalo diban ip jg msh bisa diakalin pake proxy

 

nggk semua server ngijinin pake file_get_contents, alternatif pake curl
klo di cakephp pake http socket.

thanks info nya

 

jadi pengen oprek scrap2an gini setelah dikasitau cluenya .. hehehe.. biasanya cuman parsing2an xml ala jevuska, jadi bnyk ide baru lewat scrap :v :v

trims mas

 

kalau hosting berbayar sih biasanya file get content, curl & socket diijinin smua.
kalau hosting gratisan byet gak bisa pake file get content tapi bisa pake curl & socket.
snoopy pakenya fsockopen, di wp juga udah include snoopy nya tinggal makai.

metode scrap ada banyak boss, ada lagi yg dom ditambah xpath.
kalau yg pake xpath aku blm begitu mudeng

ada jg php class html2array dll