发布网友
发布时间:2022-04-06 04:11
共11个回答
懂视网
时间:2022-04-06 08:33
下面由Laravel教程栏目给大家记录一下使用Laravel-s抵御百度爬虫的经历,希望对需要的朋友有所帮助!
什么是 Laravel-s
LaravelS是一个胶水项目,用于快速集成Swoole到Laravel或Lumen,赋予它们更好的性能
github地址
为什么用 Laravel-s
百度小程序上线后,百度爬虫过高的 qps(并发) 导致 cpu 满载,服务器宕机,服务器配置4核8G内存5M宽带。这时候怎么办?
调整 php-fpm 参数,设置为静态,静态模式对比动态模式性能更高。比如设置子进程数量255甚至更高,越高承受的并发量越大,但越高占用内存越大。结论,一定程度上有效果,但高并发下无用。
反馈百度调整爬虫抓取频率。结论,等吧,黄花菜都凉了,但还是反馈下比较好。
负载均衡。让其他服务器分担压力,前提是有足够的服务器,且都要部署相同的代码,且不能影响其他服务器本来职责的业务。或者在某云临时申请N台服务器,但你不知道爬虫什么时间来,什么时间去,不现实。
接下来就是文章的主题,用 Laravel-s 加速 http 响应。
Laravel-s 究竟起到多少加速效果
由于当时没有统计所有时段 qps
具体值,所以没办法得出准确的结论,只能根据调整前后的机器负载做对比。
部署前,cpu
满载,机器宕机N次,瘫痪状态。外网出宽带占满(5M),部署后cpu立即降到20+
, 临时升级宽带15M后,cpu
达到 60%
,外网宽带仍被占满(只能说百度爬虫是真作啊,多少宽带你就来多少啊)。结论,至少带来5倍的性能提升。
具体部署
爬虫所爬取的页面只是一部分,所以并不是将线上项目改造成laravel-s
,也不现实。我们只需要将爬取的页面分离出来,单独部署到laravel-s
。
新建空项目,业务逻辑只处理抓取的页面api
,项目端口号如 6501
部署 laravel-s ,测试api 及 ab压测
线上项目将爬虫爬取的页面路径代理到新建项目,如127.0.0.1:6501
location ~ ^/v1/test.* { proxy_pass http://127.0.0.1:6501; proxy_set_header Host $host;}
注意的几点:
在 conf/laravels.php
中,默认开启 worker
数量是 cpu
核数的两倍。
laravles
是运行在 swoole
,在内存中,每次更改代码,需重启 laravel-s
。
由于第2条的原因,数据库连接得不到释放,需开启 laravel
的断开重连(>laravle5.1)。在 conf/database.php
中 mysql
配置中添加
'options' => [ // 开启持久连接 PDO::ATTR_PERSISTENT => true,],
热心网友
时间:2022-04-06 05:41
1、note down
读音:英 [nəut daun] 美 [not daʊn]
记下
例句:Please note down what I'm about to say.
请把我下面要说的内容记录下来。
2、record
读音:英 [ˈrekɔ:d] 美 [ˈrekərd]
n.唱片;记录,记载;档案,履历;最高纪录
vt.& vi.记录,记载;标明;录音adj.创纪录的
第三人称单数: records 复数: records 现在分词: recording 过去式: recorded 过去分词: recorded
例句:Keep a record of all the payments
所有付款都要作记录。
3、record it
记录它
例句:You can record it on the Review Record and refer back to it as necessary.
您可以将其记录在评审记录并随时参考。
4、write it down
写下来;写下;记下来
例句:He told me his address but I forgot to write it down.
他告诉了我他的地址,可是我忘了把它写下来了。
5、make a note of
读音:英 [meik ə nəut ɔv] 美 [mek e not ʌv]
把…记下来
例句:Make a note of credit card numbers and check expiry dates.
记下信用卡卡号,核对有效期限。
热心网友
时间:2022-04-06 06:59
热心网友
时间:2022-04-06 08:33
热心网友
时间:2022-04-06 10:25
热心网友
时间:2022-04-06 12:33
热心网友
时间:2022-04-06 14:57
热心网友
时间:2022-04-06 17:39
热心网友
时间:2022-04-06 20:37
热心网友
时间:2022-04-06 23:51
热心网友
时间:2022-04-07 03:23