Web crawler adalah program komputer yang menelusuri World Wide Web dengan cara, metodis otomatis atau secara teratur. Istilah lain untuk crawler Web semut, indexers otomatis, bot, spider web, robot Web, atau-terutama di komunitas-scutters FOAF Web.
Proses ini disebut Web merangkak atau spidering. Banyak situs, di mesin pencarian tertentu, gunakan spidering sebagai sarana untuk memberikan up-to-date data. Web crawler terutama digunakan untuk membuat salinan dari semua halaman yang dikunjungi untuk nanti diolah oleh sebuah mesin pencari yang akan mengindeks halaman download untuk menyediakan pencarian cepat. Crawler juga dapat digunakan untuk mengotomatisasi tugas-tugas pemeliharaan di situs Web, misalnya memeriksa link atau validasi kode HTML. Juga, crawler dapat digunakan untuk mengumpulkan tipe tertentu informasi dari halaman Web, seperti panen alamat e-mail (biasanya untuk spam).
Sebuah crawler Web adalah salah satu jenis bot, atau agen perangkat lunak. Secara umum, hal itu dimulai dengan sebuah daftar URL untuk mengunjungi, yang disebut biji. Seperti crawler kunjungan URL ini, itu mengidentifikasi semua hyperlink di halaman dan menambahkan mereka ke daftar URL untuk mengunjungi, yang disebut perbatasan merangkak. URL dari perbatasan adalah rekursif dikunjungi menurut seperangkat kebijakan.
Tidak ada komentar:
Posting Komentar