Cara
Kerja Web Crawler (Analisis Web)
Web
crawler atau yang dikenal juga dengan istilah web spider bertugas untuk
mengumpulkan semua informasi yang ada di dalam halaman web. Web crawler bekerja
secara otomatis dengan cara memberikan sejumlah alamat website untuk dikunjungi
serta menyimpan semua informasi yang terkandung didalamnya. Setiap kali web
crawler mengunjungi sebuah website, maka web crawler tersebut akan mendata
semua link yang ada dihalaman yang dikunjunginya itu untuk kemudian di kunjungi
lagi satu persatu.
Proses
web crawler dalam mengunjungi setiap dokumen web disebut dengan web crawling
atau spidering. Beberapa websites, khususnya yang berhubungan dengan pencarian
menggunakan proses spidering untuk memperbaharui data data mereka. Web crawler
biasa digunakan untuk membuat salinan secara sebagian atau keseluruhan halaman
web yang telah dikunjunginya agar dapat di proses lebih lanjut oleh system
pengindexan. Crawler dapat juga digunakan untuk proses pemeliharaan sebuah
website, seperti memvalidasi kode html sebuah web, dan crawler juga digunakan
untuk memperoleh data yang khusus seperti mengumpulkan alamat e-mail.
Web
crawler termasuk kedalam bagian software agent atau yang lebih dikenal dengan
istilah program bot. Secara umum crawler memulai prosesnya dengan memberikan
daftar sejumlah alamat website untuk dikunjungi, disebut sebagai seeds. Setiap
kali sebuah halaman web dikunjungi, crawler akan mencari alamat yang lain yang
terdapat didalamnya dan menambahkan kedalam daftar seeds sebelumnya
Sumber :
Tidak ada komentar:
Posting Komentar