爬蟲是什麼?網絡爬蟲,又被稱為網頁蜘蛛,網絡機器人,在FOAF社區中間,更經常的稱為網頁追逐者,是一種按照一定的規則,自動地抓取萬維網信息的程序或者腳本,另外一些不常使用的名字還有螞蟻、自動索引、模拟程序或者蠕蟲,現在小編就來說說關于爬蟲是什麼?下面内容希望能幫助到你,我們來一起看看吧!
爬蟲是什麼
網絡爬蟲,又被稱為網頁蜘蛛,網絡機器人,在FOAF社區中間,更經常的稱為網頁追逐者,是一種按照一定的規則,自動地抓取萬維網信息的程序或者腳本,另外一些不常使用的名字還有螞蟻、自動索引、模拟程序或者蠕蟲。
大部分爬蟲都是按“發送請求——獲得頁面——解析頁面——抽取并儲存内容”這樣的流程來進行,這其實也是模拟了我們使用浏覽器獲取網頁信息的過程。
簡單來講,爬蟲就是一個探測機器,它的基本操作就是模拟人的行為去各個網站溜達,點點按鈕,查查數據,或者把看到的信息背回來。就像一隻蟲子在一幢樓裡不知疲倦地爬來爬去。
可以簡單地想象:每個爬蟲都是你的“分身”。就像孫悟空拔了一撮汗毛,吹出一堆猴子一樣。