推理与 Infra 路线
目标是能基于工作负载做容量、成本和 SLO 决策。前置要求:Linux、GPU 基本概念、性能分析和服务部署。没有 GPU 也可以先完成公式复算,但不能把纸面结果称为压测结论。
| 阶段 | 阅读 | 可验证产出 | 面试检验 |
|---|---|---|---|
| 显存账本 | KV Cache、GPU 硬件 | 权重、KV、运行时保留与碎片的预算 | GB 与 GiB 为什么不能混用? |
| 算子与带宽 | Attention、FlashAttention | Prefill / Decode 的瓶颈假设 | IO 优化是否降低了注意力算术复杂度? |
| 引擎与调度 | 推理框架、推理优化 | 前缀缓存、并发、排队与公平性的设计记录 | 吞吐变高为什么 TTFT 可能变差? |
| 性能实验 | 推理 Benchmark、量化 | 固定模型与长度分布的压测报告 | 如何排除缓存命中和请求分布的干扰? |
建议四周完成。每周既保留结果也保留失败:OOM、队列积压、性能退化和量化误差都应有定位路径。
自测与卡点
能解释 TTFT、TPOT、吞吐和尾延迟各自衡量什么;能复算 GQA 的 KV 占用;能说明某个优化在哪类负载下会失效。没有同一负载的基线,不引用别人的倍数作为本服务收益。