跳转至

DeepSeek-V4-Flash-Atlas-A2-Tuning

在 8 × Ascend 910B4-1 的 Atlas 800 A2 上,对 DeepSeek-V4-Flash-0731 W8A8 推理服务做系统性性能调优时留下的全部原始数据、脚本与报告。

项目 说明
仓库 https://git.cx-studio.tech/cx-studio/DeepSeek-V4-Flash-Atlas-A2-Tuning
仓库可见性 传习社 GitLab 成员可见(需登录)
调优时间 2026-09-15 ~ 2026-09-16
规模 539 个文件,约 12 MB
配套文章 8 张 Ascend 910B 跑 DeepSeek-V4-Flash:从 820 tok/s 到 300K 长上下文的调优实录

文章讲的是「怎么想、结论是什么」,这个仓库提供「凭什么这么想」——每个结论背后的日志、数据点与脚本都在里面。

仓库里有什么

reports/          3 份调优报告(先看这里)
scripts/
  deploy/         生产启动与运维脚本(含当前生产配置 start-tp8-327k.sh)
  tools/          压测、长上下文探针、监控与统计工具
  bench/ framework/ monitor/
configs/          实验变体配置与调优期配置
benchmarks/       逐点 benchmark JSON、日志与汇总表
monitoring/       采样数据(15s 粒度)、压测结果、接受率时序
logs/             引擎日志、调优日志、日志路径指针
history/          脚本修改备份、容器回收记录
provenance/       环境与版本溯源、诊断笔记、实验记录表、英文报告

从哪里开始看

想看什么 看哪个文件
完整结论与推荐配置 reports/03_完整调优报告.md
DSpark 接受率分析(205 个真实流量窗口) reports/02_DSpark接受率报告.md
当前生产配置 scripts/deploy/start-tp8-327k.sh
环境与版本是否可复现 provenance/PROVENANCE.txt
每条结论的源码与日志证据 provenance/notes.md

复现前需要知道的几件事

脚本内部用的是绝对路径

所有脚本按 /workspace/dsv4f/... 写死了路径,复现时需要把 scripts/deploy/ 下的脚本放回该目录。详情见仓库 README 的「使用方法」。

API key 未入库

仓库只提供 .env.production.template,真实 key 需要自己填入并 chmod 600。仓库内不含任何有效凭证,历史上出现过的 key 已全部替换成 sk-vllm-REDACTED。

  • 测量口径:这台服务上的客户端 TTFT 不可用(reasoning parser 不在推理阶段流式吐 delta),必须取引擎侧指标 vllm:time_to_first_token_seconds;
  • A/B 协议:必须固定输出长度(ignore_eos + 统一 max_tokens),否则同一配置的生成长度可以漂 100% 以上,甚至让结论排序反转;
  • 启动自检:服务起来后要确认 speculative_config、cudagraph_mode 等参数真的生效,只检查 HTTP 200 不够;
  • 长跑退化:容器长跑后同配置吞吐会下降,仓库里带周期回收脚本。

相关链接