如何提高服务器并发处理能力
发布网友
发布时间：2022-04-06 00:20
共2个回答
懂视网
时间：2022-04-06 04:42
假设报考app是用5W rmb 向供应商采购，报名当天涌入海量考生，并发数飙升至30W+，导致系统宕机，拒绝服务，致使考生无法报名，那么5W rmb 能否支持30W+并发呢？
不过对于我们来说，不妨把问题上升一个角度：「如何在有限的资源里最大提升服务器并发能力」。假设你是一名技术负责人，你在面对一个并发量较大的项目时会如何设计和架构呢？
首先我们可以针对这个项目捋一下大体的思路，从上述描述中不难看出，该项目的瓶颈在于「并发写」而非「读」，因此从资源分配上我们可以向「写」倾斜，在此我将数据全部写入在Redis中。除此之外，我们也需要尽量的将MySQL的读操作迁移到Redis上来，MySQL所做的工作更倾向于一些常规非并发的读写操作。
服务器
当用户请求过来，由负载均衡器负载到各个服务器上
这是一张来自symfony的压测数据，使用的是1 CPU, 4 GB and PHP 7的配置。
上图的数据来自于swoole官网，在加上我们在实际业务逻辑的执行之后，可以发现，当我们在使用常驻内存的启动方式时，3台更低配服务器就能解决上述需要16台才能解决的问题。
数据库
其实许多人在接触后端有一定的阶段之后都会了解，现在的许多互联网项目的瓶颈更多的集中在数据库I/O这块，各个语言之间并没有特别大的差距。包括广被大家所诟病的PHP-FPM的启动方式，也可以使用swoole等方式来替代。因此，在这个项目中，会将更多的把精力集中于数据库这一块，可以尝试使用Redis来解决，当然，在具体代码中，也需要提前准备好一定数量的数据连接池。 另外，也考虑MongoDB虽然在同等配置下的写入速度要比MySQL快得多，但是相比于Redis，还是存在明显不足。
注册登录
注册和登录其实应该分成两块来讲，二者分别对应的是「写」和「读」。在高并发读写情况下，直接使用MySQL，如你期待的那样，会爆。因此，我们在构建整个项目的过程中，可以将用户数据缓存到Redis中。 「写」的问题：在用户数量不明确且并发量较大的情况下，我更倾向于用户数据不直接入库。我们可以设计一个开关或阈值，来设置用户的入库方式，当并发大的情况下可以通过MQ来异步让用户入库，而平时则可以正常入库。
提交表单
因为该项目并非我们所常见的秒杀，且需要即时通知的，因此给我们项目的设计大大减少了难度。在提交表单的功能也跟注册类似，我们完全可以让数据异步入库，然后后台审核。
总结
其他的像CDN、MySQL是否需要主从之类的就不再赘述了，视实际情况而定。从理论上，如果使用PHP-FPM的方式，大概需要19000元/月来解决项目的这个问题，而当使用swoole时，大概需要4500元/月，在这里并没有鼓吹swoole，想说明的是当我们在面对大并发项目时，尤其是业务逻辑相对复杂，我们使用常驻内存更能解决问题，而这与语言无关。 最后，需要说明的是，上述仅是理论阶段，至于实际数据如何都需要进一步检验。文章素材来源于网络，如果有写的不正确的地方，望指出。
热心网友
时间：2022-04-06 01:50
1. 吞吐率
吞吐率，单位时间里服务器处理的最大请求数，单位req/s
从服务器角度，实际并发用户数的可以理解为服务器当前维护的代表不同用户的文件描述符总数，也就是并发连接数。服务器一般会*同时服务的最多用户数，比如apache的MaxClents参数。
这里再深入一下，对于服务器来说，服务器希望支持高吞吐率，对于用户来说，用户只希望等待最少的时间，显然，双方不能满足，所以双方利益的平衡点，就是我们希望的最大并发用户数。
2. 压力测试
有一个原理一定要先搞清楚，假如100个用户同时向服务器分别进行10个请求，与1个用户向服务器连续进行1000次请求，对服务器的压力是一样吗？实际上是不一样的，因对每一个用户，连续发送请求实际上是指发送一个请求并接收到响应数据后再发送下一个请求。这样对于1个用户向服务器连续进行1000次请求, 任何时刻服务器的网卡接收缓冲区中只有1个请求，而对于100个用户同时向服务器分别进行10个请求，服务器的网卡接收缓冲区最多有100个等待处理的请求，显然这时的服务器压力更大。
压力测试前提考虑的条件
并发用户数: 指在某一时刻同时向服务器发送请求的用户总数(HttpWatch)
总请求数
请求资源描述
请求等待时间(用户等待时间)
用户平均请求的等待时间
服务器平均请求处理的时间
硬件环境
压力测试中关心的时间又细分以下2种:
用户平均请求等待时间（这里暂不把数据在网络的传输时间，还有用户PC本地的计算时间计算入内）
服务器平均请求处理时间
用户平均请求等待时间主要用于衡量服务器在一定并发用户数下，单个用户的服务质量；而服务器平均请求处理时间就是吞吐率的倒数，一般来说，用户平均请求等待时间 = 服务器平均请求处理时间 * 并发用户数
怎么提高服务器的并发处理能力
1. 提高CPU并发计算能力
服务器之所以可以同时处理多个请求，在于操作系统通过多执行流体系设计使得多个任务可以轮流使用系统资源，这些资源包括CPU，内存以及I/O. 这里的I/O主要指磁盘I/O, 和网络I/O。
多进程 & 多线程
多执行流的一般实现便是进程，多进程的好处可以对CPU时间的轮流使用，对CPU计算和IO操作重叠利用。这里的IO主要是指磁盘IO和网络IO，相对CPU而言，它们慢的可怜。
而实际上，大多数进程的时间主要消耗在I/O操作上。现代计算机的DMA技术可以让CPU不参与I/O操作的全过程，比如进程通过系统调用，使得CPU向网卡或者磁盘等I/O设备发出指令，然后进程被挂起，释放出CPU资源，等待I/O设备完成工作后通过中断来通知进程重新就绪。对于单任务而言，CPU大部分时间空闲，这时候多进程的作用尤为重要。
多进程不仅能够提高CPU的并发度。其优越性还体现在独立的内存地址空间和生命周期所带来的稳定性和健壮性，其中一个进程崩溃不会影响到另一个进程。
但是进程也有如下缺点：
fork()系统调用开销很大: prefork
进程间调度和上下文切换成本: 减少进程数量
庞大的内存重复：共享内存
IPC编程相对比较麻烦
