问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

Python瞎老弟的爬虫心得之requests篇②requests基本使用

发布网友 发布时间:2023-01-25 12:14

我来回答

1个回答

热心网友 时间:2023-09-19 07:25

上一期已经成功安装了requests模块,并简单的使用了requests,本期,我们将详细介绍requests模块

直接使用requests.get()方法即可
其中内容将通过requests.text查看

将get()方法,改为post()即可
其中需要提交的内容,通过data参数传入

url参数,也即跟在地址后的?后的一串内容

我们可以直接通过url地址将其构造出来

也可以通过params参数,传入一个字典使用

可以看出,地址同样被自动构造为

这是一种更加容易的传入参数的方法,可以不需要使用

我们得到了一个对象r,这是一个requests.models.Response对象

使用r.text可以得到响应内容

其中解码方式是requests自行猜测的,它会把猜测的结果保存在r.encoding中

使用r.encoding可以得到或者改变编码方式

如果使用r.text得到的内容不正确,可以手动修改r.encoding,然后再使用r.text输出内容

如果不知道正确的编码,可能有人会建议你使用chardet模块来进行编码的测试(该模块需要使用pip安装,目前版本也会随安装requests附带)

使用方法:

事实上,现在的requests已经使用了chardet模块,但你仍然可以将chardet用于其他时候使用

使用r.content可以得到二进制的响应内容

使用r.json()可以得到json的响应内容

给headers参数传入一个字典即可

如同之前你预想的那样,user-agent会被修改为lsp

通过r.status_code可以查看状态码

通过r.headers可以查看响应头

通过r.raise_for_status()可以在状态码为不正常的时候抛出异常

在请求中添加timeout参数,即可让你的程序在指定的时间内没有得到响应就抛出异常

通过r.url可以查看到请求地址

通过r.history可以查看到重定向

通过修改allow_redirects参数为False可以禁止重定向

例如禁止github进行重定向
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
Protel DXP设计理念 东京有哪些极受欢迎的旅游景点推荐? 我这个是扁平足吗 为什么湿脚踩在地上呈现脚印是扁平足的脚印啊_百 ... 我这是扁平足么?! 这是扁平足吗,可以过兵检吗? 这是不是扁平足?有跟我脚一样的吗? 这算扁平足吗 梦见准女友偷情的预兆 ...生日是二零一一年十一日二月。用英语怎么说? 幸福的什么作文500字 例如:幸福的我 excel文件打不开,提示找不到excell. xlsx 桃树病虫害防治方法有哪些? 工行的信用贷款利率2.85怎么样 上古卷轴5重置汉化版SkyrimSELauncher.exe怎么汉化 上古卷轴5用哪个汉化 上古卷轴5汉化补丁怎么使 我本来下了个3dm汉化的上古卷轴5 它里面有个汉化工具 我后来装了个MOD... 上古卷轴5mod汉化工具怎么用 小儿厌食症的症状 笔记本电脑开机后windows错误 笔记本电脑开机后windows错误怎么办... win102004和22h2哪个好 Win能当英文名吗? 钻冰取火轧沙求油,猜一成语 钻冰取火代表什么生肖? 钻冰求火的意思指什么动物生肖 洗面盆下水口漏水怎样处理 如果,a=2,b=3 a^2010+b^2010 试确定他们的和的末尾数字 用0,2,4,5组成不同的三位数乘一位数的乘法算式 502X()的积的中间有两个0,()里可以填() 用2450这四个数求一个算是积的末尾必须没有零。而且,是三位数乘以一位数... 水是怎么变成雪花的 怎么将水变成雪花 现在有几种输入法? 龙虾如何储存才不会变坏? 陈志超是真实的人物吗 杭州银行信用卡交易密码怎么设置 甩开过敏,做检测有效吗? 查过敏源怎么查? 梦见大河里有好多大鱼 梦见河里很多大鱼 梦到河里很多大鱼是什么意思 2021年农历四月初二是吉日吗,安床好吗? 2021年农历四月初二的日子好吗,适合剖腹产吗? 2021年农历四月适合出行的黄道吉日查询 《三衢道中》抒发了诗人怎样的心情? 怎么确认这个注销了没 如何知道对方是否注销(怎么能知道注销成功?) 可以注销吗,注销后对方列表中会显示什么? 怎么确认对方已注销微信? 理解字词:语义规则 任何推论都应该以什么为依据 木质地板走在上面特别响