首页
/
每日頭條
/
生活
/
python爬蟲中文
python爬蟲中文
更新时间:2026-11-21 09:20:36

在使用爬蟲程序下爬數據時候,經常會遇到亂碼的問題,那遇到亂碼該怎麼辦呢?

一般大家看到亂碼,下意識的覺得會不會是爬蟲爬錯東西了?其實沒有,這個就是簡單的編碼的問題。

一般在爬蟲程序中,涉及到編碼格式的地方有兩處,一處是在發起請求後,對返回的内容進行解碼;另一處是在保存文件時,設置編碼格式。下面我們分開來說。

1. 發起請求,獲取網頁内容階段

一般的網站的編碼格式都是 UTF-8,所以當你系統的默認編碼也是 UTF-8 時,也就是說,你的默認編碼方式和目标網站的編碼方式一緻時,即使不明确設置編碼方式,也不會出問題。

但是如果不一緻,便會出現亂碼。這也是為什麼經常有 明明在我電腦上運行是好的,為什麼在你電腦上就亂碼了 這樣的問題。這種問題解決也很簡單,隻要在代碼中設置一下 encoding 即可。 這裡建議一種方法,r.encoding = r.apparent_encoding ,這個可以自動推測目标網站的編碼格式,省的你自己去一個個設置(當然極少數情況下它可能會推測錯誤出現亂碼,到時候你再手動去查看網頁編碼,手動設置吧)。

def fetchURL(url): headers = { 'accept':'text/html,application/xhtml xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36', } r = requests.get(url,headers=headers) # 這裡設置編碼格式 r.encoding = r.apparent_encoding return r.text

2. 保存文件時的編碼錯誤

這個是讀者朋友們反映較多的一個問題,就是爬取過程中沒問題,但是用 excel 打開保存好的 csv 文件時出現亂碼(用記事本打開沒問題),這個其實就是文件的編碼方式和 Excel 的解碼方式不一緻導緻的。

在 dataframe.to_csv 這句,參數裡添加一個 encoding='utf_8_sig',指定文件的編碼格式,應該就可以解決了。

import pandas as pd def writePage(urating): ''' Function : To write the content of html into a local file ''' dataframe = pd.DataFrame(urating) dataframe.to_csv('filename.csv',encoding='utf_8_sig', mode='a', index=False, sep=',', header=False )

之前亂碼的 csv 文件,可以用記事本打開,然後點另存為,然後選擇編碼格式,ANSI ,unicode,UTF-8 都可以,然後保存之後,再次用 excel 打開就是正常的了。

3. 常見亂碼類型

常見的亂碼情況有以下幾種,大家可以參考一下。

python爬蟲中文(爬蟲遇到亂碼怎麼辦)1

,
Comments
Welcome to tft每日頭條 comments! Please keep conversations courteous and on-topic. To fosterproductive and respectful conversations, you may see comments from our Community Managers.
Sign up to post
Sort by
Show More Comments
推荐阅读
醫用口罩扔什麼顔色垃圾桶箱
醫用口罩扔什麼顔色垃圾桶箱
醫用口罩扔什麼顔色垃圾桶箱?有呼吸道症狀者佩戴過的口罩這裡指經出現發熱、咳嗽、咳痰、打噴嚏等呼吸道症狀的民衆佩戴過的口罩,或佩戴口罩後可能接觸過肺炎疑似患者,以及采取居家隔離觀察人員使用的口罩,今天小編就來說說關于醫用口罩扔什麼顔色垃圾桶箱...
2026-11-21
白色機箱風扇顔色搭配
白色機箱風扇顔色搭配
白色機箱風扇顔色搭配?選擇自己喜歡的顔色即可風扇的主要性能從以下幾個方面體現:轉速、扇葉形狀、扇葉,我來為大家講解一下關于白色機箱風扇顔色搭配?跟着小編一起來看一看吧!白色機箱風扇顔色搭配選擇自己喜歡的顔色即可。風扇的主要性能從以下幾個方面...
2026-11-21
廣告公司未來發展方向
廣告公司未來發展方向
随着移動通信技術的發展,媒體數字化、智能化、彼此互聯。産生了人與物、物與物、人與環境更多的關系維度,這三大體系互動形成智媒生态。媒介邊界被進一步打破,營銷正步入場景營銷時代,更加注重和消費者在生活情境下的自然融合,和更為個性化的營銷手段。傳...
2026-11-21
小龍蝦要剪頭的原因
小龍蝦要剪頭的原因
小龍蝦要剪頭的原因?更安全放心小龍蝦的大多數器官都位于頭部,所以它的頭部也堆積了大量的排洩物、細菌甚至重金屬等,将它的頭去掉後再進行烹饪,吃起來會更安全放心,今天小編就來說說關于小龍蝦要剪頭的原因?下面更多詳細答案一起來看看吧!小龍蝦要剪頭...
2026-11-21
牙痛怎麼好快速止痛
牙痛怎麼好快速止痛
牙疼的時候才知道要好好保護牙齒,俗話說“牙疼不是病,疼起來真要命”。沒有牙疼的人是不能體會這種“痛徹心扉”的感覺。那麼,牙疼怎麼快速止疼呢?下面我們就具體來看看牙疼怎麼快速止疼吧。1、漱口:首先可以用鹽水漱口,就算不能配出0.9%的氯化鈉消...
2026-11-21
Copyright 2023-2026 - www.tftnews.com All Rights Reserved