高并发到底是什么？从 QPS、并发数到响应时间

Wed, 03 Jul 2024 00:00:00 +0000

什么才叫高并发？

很多时候我们会看到：

支持 1000 并发
支持 10000 QPS
支持百万级并发

这些数字看起来很直观，但实际上：

1000 并发
1000 QPS
1000 个连接
1000 TPS

完全不是同一个概念。

如果不区分这些指标，就很容易在性能测试和系统设计中得出错误结论。

1. “高并发”到底是什么意思？

“高并发”并不是一个严格固定的数字。

例如：

1000 QPS

对于一个简单的内部管理系统，可能已经非常高。

但对于大型互联网服务，这个数字可能非常普通。

因此：

高并发是相对于系统规模、业务模型和资源能力而言的概念，而不是一个固定阈值。

更准确地说，高并发关注的是：

大量请求
 ↓
在较短时间内
 ↓
同时进入系统
 ↓
系统仍然能够稳定处理

这里至少涉及三个维度：

请求到达速度
请求同时存在的数量
请求完成速度

对应到性能指标，就是：

QPS / RPS
并发数
响应时间 / 吞吐量

因此，讨论高并发时，不能只说：

“我们的系统能扛 10 万并发。”

还应该继续问：

什么类型的请求？
多少 QPS？
平均 RT 多少？
P99 多少？
请求是否访问 MySQL？
数据库连接池多大？
CPU 利用率多少？
内存多少？

否则这个“10 万并发”几乎没有实际意义。