python爬虫抓取到的数据用网页打开时是乱码,怎么解决

发布网友发布时间：2022-04-06 07:32

我来回答

共3个回答

懂视网时间：2022-04-06 11:53

python写入html文件中文乱码问题

使用open函数将爬虫爬取的html写入文件，有时候在控制台不会乱码，但是写入文件的html中的中文是乱码的

案例分析

看下面一段代码：

# 爬虫未使用cookiefrom urllib import requestif __name__ == '__main__':
 url = "http://www.renren.com/967487029/profile"

 rsp = request.urlopen(url)

 html = rsp.read().decode() with open("rsp.html","w")as f: # 将爬取的页面
 print(html)
 f.write(html)

看似没有问题，并且在控制台输出的html也不会出现中文乱码，但是创建的html文件中

解决方案

使用open方法的一个参数，名为encoding=” “，加入encoding=”utf-8”即可

# 爬虫未使用cookiefrom urllib import requestif __name__ == '__main__':
 url = "http://www.renren.com/967487029/profile"

 rsp = request.urlopen(url)

 html = rsp.read().decode() with open("rsp.html","w",encoding="utf-8")as f: # 将爬取的页面
 print(html)
 f.write(html)

运行结果

感谢大家的阅读，希望大家收益多多。

本文转自： https://blog.csdn.net/qq_40147863/article/details/81746445

推荐教程：《python教程》

热心网友时间：2022-04-06 09:01

写爬虫是经常会遇到这样的问题，这种问题很显然是编码问题，解决的方法其实也不难。
你可以用下面的两个方法来解决你的编码问题：
第一种是，通过浏览器打开你写的html之后，找到浏览器中的文字编码修改，将编码改为Unicode编码，即可修复。

第二种方法是修改你的前端代码：在你的代码output_html方法中，规定网页的文字编码即可

热心网友时间：2022-04-06 10:19