APA ITU WEB CRAWLING ?


APA ITU WEB CRAWLING ? - Halo gan, balik lagi sama saya. Kali ini saya akan bahas tentang Web Crawler, untuk tutorial cara melakukannya saya tidak akan bahas kali ini. Sebelumnya, minta maaf kalau saya dan rekan-rekan dari penulis blog saya ini jarang post artikel, karena sibuk masing-masing. Langsung saja disimak ya bos :)

APA ITU WEB CRAWLER ? Web crawler adalah suatu program/script otomatis yang relatif simple, yang dengan metode tertentu melakukan scan/crawl keseluruhan halaman-halaman internet buat menciptakan index dari data yang dicarinya. Nama lain untuk web crawl sendiri adalah web spider, bot, cral dan automatic indexer, etc.

Web crawl dapat digunakan buat beragam tujuan, penggunaan yang terumum adalah yang terkait dengan search engine(mesin pencari). Search engine mehinggai web crawl buat mengumpulkan kabar mengenai apa yang ada dihalaman-halaman web publik. Tujuan utamanya ialah mengumpulkan data hingga ketika pengguna internet mengetikkan kata pencarian dikomputernya, search engine dapat dengan segera menampilkan website yang relevan.

Ketika web crawl suatu search engine mengunjungi halaman web, ia 'membaca' teks yang terlihat, hyperlink, dan konten macam-macam tag yang digunakan dalam situs, misal tag yang banyak berisi keywords. Search engine akan menentukan mengenai apakah suatu situs dan mengindex kabarnya. Website itu kemudian dimasukkan kedalam database search engine dan dilakukan proses penentuan ranking halaman-halamannya.

namun search engine bukanlah satu-satunya pengguna web crawl, linguist dapat menghinggai web crawl buat melakukan analisis tekstual, yakni mereka dapat menyisir internet buat menentukan kata apa yang terumum digunakan hari ini. Peneliti pasar dapat mehinggai web crawl buat menentukan dan memanipulasi trend di suatu pasar tertentu. Ini seluruh adalah misal beragam penggunaan web crawl, web crawl dapat digunakan oleh siapapun yang melakukan pencarian kabar diinternet.

Sebuah web crawler adalah program yang download halaman web, umumnya buat sebuat mesin pencari web/web cache. Kira kira, crawler dimulai mencari situs yang berhubungan dengan perintah pencarian melalui crawling terhadap sitemap situs. Dari sitemap tersebut tersebut dilakukan pencocokan meta tag dan meta description dengan perintah pencarian lalu dengan satu set awal url.
Tingkat pertumbuhan web ini bahkan lebih dramatis, Tingkatan web telah 2 kali lipat dalam waktu dari 2 tahun, dan laju pertumbuhan ini diperkirakan akan terus berlanjut selama 2 tahun kedepan. Selain dari halaman yang baru dibuat, halaman yang ada yang terus menerus diperbarui.
Hanya sampai sini saja yang dapat saya sampaikan tentang Web Crawler. Terus menggali ilmu pengetahuanmu :)

Terimakasih telah mengunjungi blog saya, semoga info tadi bermanfaat. Maaf bila ada salah kata/tulis, karena saya manusia bukan robot.
Penulis, (abnid1337)

No comments

Powered by Blogger.