首先,爬取的美女圖片鎮場子, 免得你們又說我光說不練假把式!
好了廢話不多說,我們直接進入正題!
需要額外安裝的第三方庫- requests
- pip install requests
- pymongo
- pip install pymongo
由于淘女郎網站含有AJAX技術,隻需要和後台進行少量的數據交換就可以實時更新了,這就意味着直接抓取網頁源碼然後分析信息的方式心不痛,因為網站是動态接在的,直接抓取源代碼無法獲取到淘女郎信息。
對于這一類網站,一般有兩種爬取辦法:
- 利用selenium庫來模拟浏覽器的用戶行為,讓服務器以為是真正的用戶在浏覽網頁,從而獲得完整的網頁源代碼
- 利用Chrome等浏覽器自帶的分析工具,對網頁的Network進行監控,分析出數據交換的API,從而利用API抓取到數據交換的JSON數據,從而進行抓取。
從效率上來分析,第一種方法速度比較慢,而且還要占用系統資源,因此我們使用第二種方法來實現。
先編寫請求,然後得到淘女郎網站中的JSON文件。
發送請求給服務器。然後得到服務器的JSON數據,之後将返回的數據加工,然後轉化為Python的字典類型返回。
具體的代碼如下:
返回之後,我們連接到MongoDB,将返回的信息保存。
把返回的信息解析,然後抽取信息中的圖片網址信息,将圖片下載過勞保存到PIC文件夾下:
OK,爬完了,全部是原圖超清的,但是由于圖片數量比較多,我16G的U盤都快裝不下了,這裡就不一一展示出來了,隻截圖了其中的一部分給大家看一下。
價值萬元的Python編程學習資料,絕對比群裡那些漫天飛的資料強多了。今天決定免費分享,用來感謝大家的支持。”
點擊下方“了解更多”即可領取
,