2026 年 4 月，汕头某高校材料学院的走廊上贴着一张 A4 纸，上面是“GPU 使用排班表”。4 个课题组、14 名研究生，共用 2 台 1080Ti 工作站。排到周末是常态，最长的一次等了 3 天。
学院给的预算很明确：15 万，不能再多。问题是：15 万到底该买一张顶配卡，还是买一堆便宜卡？
一、现场：三个数字
| 指标 | 现状 | 说明 |
|---|---|---|
| 可用算力 | 2×GTX 1080Ti（单卡 11GB，共 22GB） | 2017 年采购，无 BF16/TF32 |
| 使用人数 | 4 位老师 + 14 名研究生 | 方向：材料计算、图像分割、小模型微调 |
| 平均排队 | 1–3 天（最长 3 天） | 月底和投稿前更久 |
二、诊断：先撞显存墙，再撞生态墙
很多人以为“算力不够”就是 FLOPS 不够。实际跑一遍就发现，先卡住的是显存：
- 7B 模型全参微调（Adam，FP16）大约要 80GB 显存，1080Ti 连门都进不去。
- 7B LoRA 微调约 20GB，11GB 只能做 4-bit 量化加小 batch。
- 13B 推理 FP16 约 26GB，必须量化或切分。
- 生态：1080Ti 是 Pascal 架构，不支持 BF16/TF32，新版 PyTorch 和 FlashAttention 支持有限，很多新模型跑不起来。
所以这次采购的第一指标不是 TFLOPS，而是总显存和架构代际。
三、方案：三种配法
| 方案 | 配置 | 显存 | 预算 | 问题 |
|---|---|---|---|---|
| A. 8 卡 4090 整机 | 8×24GB | 192GB | 40 万+ | 超预算，功耗 4kW+，机房扛不住 |
| B. 2×48GB 服务器 + 1×5090 工作站 | 2×RTX 6000 Ada + 1×RTX 5090 | 128GB | 14.6 万 | 需要调度，不能“一人一卡” |
| C. 4×5090 工作站 | 4×32GB | 128GB | 13 万 | 游戏卡可靠性、噪音、售后弱 |
选 B。理由很实在：专业卡 48GB 单卡能装下 32B 模型，两张卡组成 96GB 共享池，跑 70B 量化推理也够；5090 工作站给老师做本地调试和单卡实验。机房只需要 16A 插座和 3 匹空调，不需要改造配电。
四、配置清单
| 设备 | 配置 | 数量 |
|---|---|---|
| GPU 服务器 | 2×Xeon Silver 4410Y、512GB DDR5 ECC、2×1.92TB NVMe RAID1、2×RTX 6000 Ada 48GB、2000W 1+1 冗余、4U | 1 |
| GPU 工作站 | Core Ultra 9 285K、128GB DDR5、2TB NVMe、RTX 5090 32GB、1000W 金牌 | 1 |
| 调度 | Slurm 或 OpenPAI，按课题组分配配额 | 1 套 |
| 机柜与网络 | 12U 机柜、万兆上联、UPS 3kVA | 1 套 |
五、实施：三周交付（两周采购 + 三天上线）
- 第 1 周：确认机房供电（16A/220V）、承重、空调制冷量；锁定显卡与服务器交期。
- 第 2 周：设备到货、上架、装驱动与 CUDA、跑压力测试（连续 72 小时）。
- 第 3 周：部署 Slurm、迁移数据、给 14 名学生开账号，做一次使用培训。
六、结果
7B LoRA 微调从原来 40 小时（1080Ti，小 batch）降到约 9 小时；32B 模型 4-bit 推理可以直接在单张 48GB 卡上跑；70B 量化推理放在两张卡上，限制并发后稳定。排队表从墙上撤了下来，改成 Slurm 配额。
七、账：14.6 万怎么花
| 项目 | 金额 |
|---|---|
| GPU 服务器（含 2×RTX 6000 Ada 48GB） | 11.2 万元 |
| RTX 5090 工作站 | 2.6 万元 |
| 机柜、万兆、UPS | 0.8 万元 |
| 合计 | 14.6 万元 |
GPU 按教育渠道批量价核算，单卡约 3.6 万元；零售价通常高 10–15%，预算要留出这个差价。
八、复盘：五条经验
- 先算显存，再算算力。模型装不下，FLOPS 再高也没用。
- 专业卡和游戏卡不是一回事。涡轮散热、ECC、7×24 驱动认证、售后，都是实验室在意的。
- 共享调度比“人手一卡”更划算。18 个人不可能同时满负荷，配额调度能把利用率拉起来。
- 机房条件先确认。16A 插座、空调、承重、噪音，任何一项不满足，设备到了也开不了机。
- 别碰矿卡和“整机神机”。实验室的数据和论文经不起一次掉卡。
说明：应客户要求，文中单位名称、人物姓名与部分对话已做模糊或整理处理；配置与价格为 2026 年 10 月市场口径，实际项目以现场勘测为准。