周亚夫军细柳以第一人称视角记录一下此次劳军的所见所闻

发布网友发布时间：2022-04-06 04:11

我来回答

共2个回答

懂视网时间：2022-04-06 08:33

下面由Laravel教程栏目给大家记录一下使用Laravel-s抵御百度爬虫的经历，希望对需要的朋友有所帮助！

什么是 Laravel-s

LaravelS是一个胶水项目，用于快速集成Swoole到Laravel或Lumen，赋予它们更好的性能
github地址

为什么用 Laravel-s

百度小程序上线后，百度爬虫过高的 qps(并发) 导致 cpu 满载，服务器宕机，服务器配置4核8G内存5M宽带。这时候怎么办？

调整 php-fpm 参数，设置为静态，静态模式对比动态模式性能更高。比如设置子进程数量255甚至更高，越高承受的并发量越大，但越高占用内存越大。结论，一定程度上有效果，但高并发下无用。

反馈百度调整爬虫抓取频率。结论，等吧，黄花菜都凉了，但还是反馈下比较好。

负载均衡。让其他服务器分担压力，前提是有足够的服务器，且都要部署相同的代码，且不能影响其他服务器本来职责的业务。或者在某云临时申请N台服务器，但你不知道爬虫什么时间来，什么时间去，不现实。

接下来就是文章的主题，用 Laravel-s 加速 http 响应。

Laravel-s 究竟起到多少加速效果

由于当时没有统计所有时段 qps 具体值，所以没办法得出准确的结论，只能根据调整前后的机器负载做对比。

部署前，cpu满载，机器宕机N次，瘫痪状态。外网出宽带占满（5M），部署后cpu立即降到20+, 临时升级宽带15M后，cpu达到 60%,外网宽带仍被占满（只能说百度爬虫是真作啊，多少宽带你就来多少啊）。结论，至少带来5倍的性能提升。

具体部署

爬虫所爬取的页面只是一部分，所以并不是将线上项目改造成laravel-s，也不现实。我们只需要将爬取的页面分离出来，单独部署到laravel-s。

新建空项目，业务逻辑只处理抓取的页面api，项目端口号如 6501

部署 laravel-s ，测试api 及 ab压测

线上项目将爬虫爬取的页面路径代理到新建项目，如127.0.0.1:6501

location ~ ^/v1/test.* {
 proxy_pass http://127.0.0.1:6501;
 proxy_set_header Host $host;}

注意的几点：

在 conf/laravels.php 中，默认开启 worker 数量是 cpu 核数的两倍。

laravles 是运行在 swoole ，在内存中，每次更改代码，需重启 laravel-s。

由于第2条的原因，数据库连接得不到释放，需开启 laravel 的断开重连（>laravle5.1）。在 conf/database.php中 mysql配置中添加

'options' => [
 // 开启持久连接
 PDO::ATTR_PERSISTENT => true,],

热心网友时间：2022-04-06 05:41

摘要文帝之后六年，匈奴大入边。乃以宗正刘礼为将军，军霸上；祝兹侯徐厉为将军，军棘门；以河内守亚夫为将军，军细柳：以备胡。上自劳军。至霸上及棘门军，直驰入，将以下骑送迎。已而之细柳军，军士吏被甲，锐兵刃，彀弓弩，持满。天子先驱至，不得入。先驱曰：“天子且至！”军门都尉曰：“将军令曰：‘军中闻将军令，不闻天子之诏。’”居无何，上至，又不得入。于是上乃使使持节诏将军：“吾欲入劳军。”亚夫乃传言开壁门。壁门士吏谓从属车骑曰：“将军约，军中不得驱驰。”于是天子乃按辔徐行。至营，将军亚夫持兵揖曰：“介胄之士不拜，请以军礼见。”天子为动，改容式车。使人称谢：“皇帝敬劳将军。”成礼而去。既出军门，群臣皆惊。文帝曰：“嗟乎，此真将军矣！曩者霸上、棘门军，若儿戏耳，其将固可袭而虏也。至于亚夫，可得而犯邪！”称善者久之。咨询记录 · 回答于2021-12-12周亚夫军细柳以第一人称视角记录一下此次劳军的所见所闻文帝之后六年，匈奴大入边。乃以宗正刘礼为将军，军霸上；祝兹侯徐厉为将军，军棘门；以河内守亚夫为将军，军细柳：以备胡。上自劳军。至霸上及棘门军，直驰入，将以下骑送迎。已而之细柳军，军士吏被甲，锐兵刃，彀弓弩，持满。天子先驱至，不得入。先驱曰：“天子且至！”军门都尉曰：“将军令曰：‘军中闻将军令，不闻天子之诏。’”居无何，上至，又不得入。于是上乃使使持节诏将军：“吾欲入劳军。”亚夫乃传言开壁门。壁门士吏谓从属车骑曰：“将军约，军中不得驱驰。”于是天子乃按辔徐行。至营，将军亚夫持兵揖曰：“介胄之士不拜，请以军礼见。”天子为动，改容式车。使人称谢：“皇帝敬劳将军。”成礼而去。既出军门，群臣皆惊。文帝曰：“嗟乎，此真将军矣！曩者霸上、棘门军，若儿戏耳，其将固可袭而虏也。至于亚夫，可得而犯邪！”称善者久之。