跑的FP16的精度，262K完整上下文，78tps，和单卡32K上下文时候一样，都是 78tps。可能这就是4090跑Q3 30B的极限了。
测试环境
项目配置
GPU：8 × NVIDIA GeForce RTX 4090（24GB 显存）
CPU：Intel Xeon 128核
内存：512GB
CUDA 版本：12.6
驱动版本：560.35.03
操作系统：Ubuntu 22.04 LTS
推理框架：vLLM 0.10.0
模型：Qwen/Qwen3-30B-A3B-Instruct-2507（fp16）
模型来源：ModelScope
关键参数说明：
tensor-parallel-size 8：8 卡并行，充分利用计算资源
dtype half：使用 FP16 精度，平衡速度与显存
gpu-memory-utilization 0.8：预留 20% 显存防 OOM
支持 262K 上下文，满足长文本需求
测试方法
使用自研压测脚本 vllm_bench.py，支持命令行指定并发数：
python3 vllm_bench.py -c 100
测试指标：
单请求 TPS（tokens/sec）：衡量响应速度
总吞吐 TPS：衡量系统整体处理能力
平均延迟：用户感知的响应时间
显存占用：监控资源使用情况
测试并发数覆盖：1、2、3、4、5、10、20、50、100、1000。
