01
不可补偿
硬门禁
任一失败，候选直接淘汰；更高吞吐不能补偿。
- 功能与数值正确性
- 模型 / 业务质量
- p99、SLO、RPO、RTO
- 持久性、安全、容量
- 禁止 fallback 与测试绕过
腾讯云 IaaS 测评与 Looper · 详细中文讲解
把 16 篇论文，读成一套可信的云性能方法。
这不是 16 个孤立摘要，而是一条完整路线：先校准性能测试的尺子，再让题目接近真实生产，最后让自动优化系统在正确性、稳定性与成本约束下安全迭代。
16篇完整解读
246页论文证据
3个长期课题包
10+1+5主清单 · 伴随 · 候选
先读懂原文件
为什么是 16 篇？原文件其实是一份研究与工程路线建议书
原文件从 benchmark 与性能优化研究中挑选适合腾讯云复现的方向，并把它们组合成“可信度底座、生产负载体系、AI/云产品闭环”。它描述的是建议做什么，不代表腾讯云已经完成这些实验。
10
＋正式优先论文
原文件按战略价值排名的主清单。
1
＋MESS 原始伴随论文
用来理解 07b 纠错论文究竟在纠正什么。
5
＝条件式候选论文
代码智能体、Agent Sandbox、CXL 与 GPU kernel 专项。
16没有重复，也没有漏掉编号 11
阅读时最重要的区分
论文事实：作者真实测了什么、在哪测、数据如何。
项目推断：原文件据此建议腾讯云或 Looper 可以怎么做。
尚未验证：只有在腾讯云目标机型和生产数据上复现后，才能进入工程决策。
统一方法框架
Looper 不应优化一个裸露的单一分数
正确顺序是：硬门禁淘汰不可接受方案，稳健性门禁排除偶然收益，最后才做多目标业务选择。
02
证明不是偶然
稳健性门禁
收益必须经得起时间、环境、噪声与评分规则变化。
- 多次重复后的 LCB 为正
- 跨宿主机、跨日、跨版本
- 均值变好时尾部不恶化
- 不依赖缓存、频率、热状态
- 排名不被少数任务劫持
03
只在可行解中比较
Pareto 与业务决胜
按场景选择性能、尾延迟、成本、能耗之间的最佳平衡。
- 生产 workload 权重
- 吞吐与 SLO-Goodput
- 最坏环境退化
- 成本与能耗
- 完整轨迹与可回滚性
一句话目标
在所有硬门槛通过的前提下，优先选择生产重要性更高、收益置信下界更大、尾部与波动更小、跨环境最坏退化更低、成本与能耗更优的方案。
逐篇中文解读
16 篇论文：问题、结论、实验、启发与局限
先看卡片上的代表性证据，再展开完整讲解。搜索支持中文、英文标题、编号和关键词。
当前显示 16 / 16 篇
01主清单可信度与稳定性
性能优化基准真的可靠地衡量了编程智能体吗？
Are Performance-Optimization Benchmarks Reliably Measuring Coding Agents?
它不是比较谁最强，而是在检查排行榜所用的尺子是否稳定、公平、可复现。
关键证据所有环境均满足原规则的任务只有 39/102、11/140、411/498，证明单机单轮分数不能直接当真值。
展开详细讲解与测试
它在解决什么
性能优化得分会同时受到机器型号、运行噪声、有效性门槛和计分公式影响。参考补丁并不天然等于跨环境稳定的真值。
白话类比像用四支会漂移的温度计评选谁发烧最严重：如果温度计、判定线和权重都不同，排行榜再精确也可能不可信。
三条主要结论
- 740 个参考补丁中，能在所有环境保持原规则有效的比例远低于“能跑”或“偶尔更快”的比例。
- 对 8 个共同提交的审计里，官方排序有 9/28 对发生不一致；少数任务还能支配大部分总分。
- 公开智能体并未耗尽优化空间：稳定任务中仍有 66 个低于参考水平。
实验与测试部分
独立提取- 测试规模
- GSO 102 题、SWE-Perf 140 题、SWE-efficiency 498 题，共 740 个官方参考补丁。
- 环境
- 4 种 Google Cloud 64-vCPU/256 GB 机器，覆盖 Intel Cascade Lake、Emerald Rapids 与 AMD Milan、Turin；每种 3 轮。
- 方法
- 先检查构建、测试与计时，再判断是否每轮比基线快、是否满足原基准门槛，并改变计分方式审计名次。
- 指标
- 可评估率、跨环境有效率、中位加速、离散度、噪声/信号比、两两排名稳定性。
- 关键结果
- 所有环境均满足原规则的任务只有 39/102、11/140、411/498，证明单机单轮分数不能直接当真值。
对腾讯云 / Looper 的启发
Looper 应保存机器指纹、重复样本、置信区间、逐任务得分和计分敏感性，只接受跨环境仍稳定的收益。
阅读边界
论文只审计三套基准和现有公开提交；任务覆盖不等于真实多智能体工作流的完整能力。
benchmark跨机器计分公式稳定性编程智能体
02主清单AI、数据库与 GPU
CCL-Bench：面向大模型基础设施的轨迹型基准
CCL-Bench 1.0: A Trace-Based Benchmark for LLM Infrastructure
把训练或推理的一次运行保存成可回放、可追责的“性能病例”。
关键证据MoE 案例 EP=4/8 的 step time 为 11.98 s/3.67 s；智能体搜索最高带来约 8× 与 19× 改善。
展开详细讲解与测试
它在解决什么
传统基准只给最终吞吐，很难解释慢在计算、通信、拓扑、框架还是并行配置。CCL-Bench 用轨迹、工作负载卡和脚本保留完整上下文。
白话类比普通跑分只看汽车到达终点的时间；轨迹型基准同时记录转速、换挡、路况和每段油耗。
三条主要结论
- 计算通信重叠率更高不代表更快；通信量和并行分解可能让结果反转。
- 带宽翻倍只帮助真正通信受限的 workload，对部分大型训练仅改善约 3%–4%。
- 同一并行配置跨框架迁移后可能仍慢约 3 倍，评价对象应是完整系统组合。
实验与测试部分
独立提取- 测试规模
- 100+ 工作负载、7 类以上架构、7 个框架和 3 种硬件环境。
- 环境
- Perlmutter A100 集群与 Google TPU v6e；涉及 NCCL、XLA、Megatron-LM、TorchTitan、vLLM、SGLang 等。
- 方法
- 采集执行轨迹并后算指标；做 MoE 通信诊断、Astra-Sim 网络假设实验，以及 15 轮并行配置搜索。
- 指标
- step time、MFU、通信占比与流量、重叠率、TTFT、TPOT。
- 关键结果
- MoE 案例 EP=4/8 的 step time 为 11.98 s/3.67 s；智能体搜索最高带来约 8× 与 19× 改善。
对腾讯云 / Looper 的启发
腾讯云可把每次 AI 测试封装为工作负载卡、原始 trace、版本和后处理指标，让 Looper 先诊断再搜索。
阅读边界
轨迹体积很大，且当前覆盖以 GPU/TPU 上的开放模型、训练和批量推理为主。
LLMtraceA100通信并行配置MFU
03主清单IaaS 与系统测评
DCPerf：用生产环境校准的数据中心 CPU 基准
DCPerf: An Open-Source Battle-Tested Performance Benchmark Suite
把真实数据中心服务缩成可公开复现的代理负载，并用生产机群不断校准。
关键证据SKU4 的 DCPerf 预测误差约 3.3%；缓存微码使 MediaWiki +3.5%、生产 +2.9%；新内核在 384 核上 +54%。
展开详细讲解与测试
它在解决什么
通用 CPU 跑分容易运行，却不一定能预测 Web、推荐、缓存、Spark 和转码等生产业务在新服务器上的真实收益。
白话类比不是造一座外观相同的迷你城市，而是让车流比例、拥堵位置和道路升级后的变化与真实城市一致。
三条主要结论
- DCPerf 对新 SKU 的生产表现预测误差约 3.3%，明显低于 SPEC CPU2006/2017。
- 两个 Arm 候选表现方向相反，说明核心数和通用跑分不足以支持采购。
- 同一套基准还能验证微码和 Linux 内核改进，并与生产收益形成对应。
实验与测试部分
独立提取- 测试规模
- MediaWiki、Django、FeedSim、Spark、TaoBench、视频转码和 Datacenter Tax。
- 环境
- 4 个跨 2018–2023 年的 x86 SKU、2 个 Arm 候选，并以生产机群加权性能作对照。
- 方法
- 比较代理负载与生产趋势，再做 Arm 选型、缓存微码 A/B 和 Linux 6.4/6.9 扩展性测试。
- 指标
- 吞吐、p95 SLO、预测误差、功耗、Perf/Watt、缓存 miss、扩展倍数。
- 关键结果
- SKU4 的 DCPerf 预测误差约 3.3%；缓存微码使 MediaWiki +3.5%、生产 +2.9%；新内核在 384 核上 +54%。
对腾讯云 / Looper 的启发
真正应迁移的是“生产画像—代理负载—真实容量变化”的校准闭环，而不是照抄 Meta 的 workload 权重。
阅读边界
配置与 Meta 业务高度相关，也偏通用数据中心计算，不能直接代表腾讯云客户分布或完整 AI 场景。
CPU生产校准Arm采购Perf/WattDCPerf
04主清单可信度与稳定性
VGO：用性能波动指导优化
Variability-Guided Performance Optimization
不只优化平均值，而是先找出同一程序为何有时快、有时慢。
关键证据srad-gpu 去除 CPU 内存复制同步后均值 0.471×、SD 0.138×；反例中关闭 SMT 让 CV 变为 1.13×。
展开详细讲解与测试
它在解决什么
线程放置、NUMA、内存页、GPU 频率和上下文初始化会产生多个性能模式，单一平均值会把慢模式和长尾盖住。
白话类比十次里九次 1 秒、一次 10 秒，平均 1.9 秒并不能告诉你如何修复；要先单独识别那次 10 秒发生了什么。
三条主要结论
- 全部案例几何平均：运行时间降到 0.843×，标准差降到 0.374×，CV 降到 0.444×。
- 长尾经常来自系统层：亲和性、NUMA balancing、透明大页、GPU context 与同步。
- 相关性只能生成假设；有些措施改善均值却显著放大波动。
实验与测试部分
独立提取- 测试规模
- 7z、lbm、Xapian、LavaMD、srad、RetinaNet、Stable Diffusion、SAM2 等 CPU/GPU 应用。
- 环境
- 多台双路 Xeon/EPYC 与 A100 平台；单项通常重复 200–1000 次。
- 方法
- 聚类快慢模式，用可解释模型找区分因素，实施绑核、NUMA、频率或上下文干预，再完整重测分布。
- 指标
- 均值、标准差 SD、变异系数 CV、模式占比、吞吐。
- 关键结果
- srad-gpu 去除 CPU 内存复制同步后均值 0.471×、SD 0.138×；反例中关闭 SMT 让 CV 变为 1.13×。
对腾讯云 / Looper 的启发
把 Looper 从“均值优化器”改成“分布优化器”，把 p95/p99、SD、CV 和跨模式稳定性同时纳入。
阅读边界
数百次重复成本高；硬件计数器与慢运行之间的关联仍需主动控制实验验证因果。
波动CVNUMA长尾A/B稳定性
05主清单AI、数据库与 GPU
CloudyBench：云原生数据库综合测试台
CloudyBench: A Testbed for a Comprehensive Evaluation of Cloud-Native Databases
同时测试稳态吞吐、弹性、多租户、复制延迟、故障恢复和成本。
关键证据故障完全恢复约从 12 s 到 78 s；复制延迟约从 1.5 ms 到 1082 ms；配置变化足以改变性能排名。
展开详细讲解与测试
它在解决什么
固定资源、稳定负载下的 TPS 无法代表云原生数据库的自动扩缩、共享资源、高可用和按量成本。
白话类比评估外卖平台不能只看一分钟接多少单，还要看晚高峰能否加骑手、商家会不会互相挤占、故障多久恢复。
三条主要结论
- 最高吞吐不等于最高性价比，加入真实价格后排名会改变。
- 产品都声称支持弹性，但扩缩响应可从十几秒到数百秒。
- 缓冲区从 128 MB 调到 10 GB 就能让数据库排名逆转。
实验与测试部分
独立提取- 测试规模
- 4 个匿名商业数据库加 AWS RDS，三表销售 OLTP，规模约 194 MB–20.8 GB。
- 环境
- 客户端与数据库位于同一区域、同一 VPC；构造稳态、峰谷、3 租户、故障与复制场景。
- 方法
- 扫事务比例和并发，记录资源扩缩；比较共享/隔离租户；注入故障并测恢复与复制延迟。
- 指标
- TPS、弹性响应、成本效率、租户得分、恢复时间、复制延迟。
- 关键结果
- 故障完全恢复约从 12 s 到 78 s；复制延迟约从 1.5 ms 到 1082 ms；配置变化足以改变性能排名。
对腾讯云 / Looper 的启发
Looper 先以正确性、SLO、RPO/RTO 作硬门禁，再在可行方案中比较吞吐、尾延迟、弹性和成本。
阅读边界
产品匿名、工作负载偏销售 OLTP；统一加权分可能掩盖不能被补偿的可用性要求。
数据库弹性多租户故障恢复成本RPORTO
06主清单AI、数据库与 GPU
Atrex-Bench：LLM 生成的 GPU 内核能用于生产吗？
Are LLM-Generated GPU Kernels Production-Ready?
用真实生产算子及调用权重检查 AI 生成内核，而不是平均对待每一道题。
关键证据最佳原始系统的 Sagg 约 0.107，仍未超过生产内核；少量受控优化案例约达生产内核 1.06×–1.31×。
展开详细讲解与测试
它在解决什么
能编译、数值正确、比 PyTorch 快仍不等于生产就绪；候选可能调用后备库，或只优化低频形状。
白话类比做出一辆能上路的车只是第一关；生产还要求它在常见路况下快、稳定，并且没有偷用别人的发动机。
三条主要结论
- 6 个智能体中，没有一个原始一次生成总体超过生产内核。
- 683 个失败单元横跨编译、运行时、数值和性能超时，不能用一个通过率概括。
- 诊断—修改—复测循环在极少数受控案例中超过生产内核，但不能外推全基准。
实验与测试部分
独立提取- 测试规模
- 30 个算子、440 个热点形状、1303 个生产 profile，来自约 20 个模型。
- 环境
- vLLM、SGLang、AITER、RTP-LLM 等框架与大规模 XPU-A/H20 集群；6 个前沿模型/智能体栈。
- 方法
- 按应用卡时和阶段耗时加权；依次做编译、5 随机种子正确性、锁频/L2 清理/隔离计时。
- 指标
- 编译率、正确率、真实 FlyDSL 占比、形状 Roofline 分数、生产加权 Sagg。
- 关键结果
- 最佳原始系统的 Sagg 约 0.107，仍未超过生产内核；少量受控优化案例约达生产内核 1.06×–1.31×。
对腾讯云 / Looper 的启发
GPU Looper 需要生产权重与三道门禁：编译、正确性、可信性能；只有全部通过才能计分。
阅读边界
实证主要来自单类 XPU、聚焦推理；受控优化只覆盖 3 个算子、2 个模型和单一形状。
GPUkernel生产权重RooflineFlyDSL防作弊
07伴随阅读可信度与稳定性
MESS：统一内存基准、模拟与应用画像
A Mess of Memory System Benchmarking, Simulation and Application Profiling
用不同读写比例下的带宽—延迟曲线族描述内存从空闲到饱和的全过程。
关键证据HPCG 样本多位于 75 GB/s 以上的高压力区、延迟峰值约 260–290 ns；模拟器误差数字需结合 07b 重验。
展开详细讲解与测试
它在解决什么
单个最大带宽或空载延迟无法描述压力上升后的拐点、读写差异，也难以把真实机、模拟器和应用状态放在同一尺度。
白话类比内存像高速公路：空路通行时间和限速都无法预测高峰拥堵，必须画出车流增加时延迟如何陡升。
三条主要结论
- 曲线族比 STREAM 峰值或 LMbench 单点更能显示饱和拐点。
- 论文报告其模型在若干平台有较低误差，并能把应用采样点投影到饱和区。
- 关于 Ramulator 2.0 与 DAMOV 的部分结果被 07b 具体质疑，不能当作定论。
实验与测试部分
独立提取- 测试规模
- 多代 Intel/AMD/Arm/POWER CPU、DDR4/5、HBM 与多个 CPU/DRAM 模拟器。
- 环境
- 真实平台、ZSim/gem5/OpenPiton、DRAMsim3、Ramulator 系列与 CXL SystemC 模型。
- 方法
- 汇编线程产生可控流量，指针追逐测依赖延迟，扫描压力与读写比例；HPCG 每 10 ms 采样。
- 指标
- 带宽、依赖访问延迟、饱和拐点、实机—模拟误差、采样开销。
- 关键结果
- HPCG 样本多位于 75 GB/s 以上的高压力区、延迟峰值约 260–290 ns；模拟器误差数字需结合 07b 重验。
对腾讯云 / Looper 的启发
为每个云实例建立读写比例 × 压力的曲线指纹，让 Looper 避开饱和拐点后的危险区域。
阅读边界
实验耗时长、数据量大；部分模拟器比较存在公开争议，本页只保留为原作者报告。
内存带宽延迟曲线饱和模拟器HPCG
07b主清单可信度与稳定性
Cleaning up the Mess：重新评估 Ramulator 2.0
Cleaning up the Mess: Re-Evaluating Ramulator 2.0
针对 MESS 的部分实验做配置审计、理论上限核算与纠错复现。
关键证据理论 307.2 GB/s、刷新后约 281.2 GB/s、模拟测得约 281.1 GB/s，三者自洽。
展开详细讲解与测试
它在解决什么
错误的通道外推、0-cycle cache、过大的 MSHR、不等价 workload 和错误统计字段，都可能制造看似合理的模拟结果。
白话类比在判断汽车测速仪坏了之前，先确认轮胎直径、齿比、单位换算和读取的传感器是不是都正确。
三条主要结论
- 原实验疑似把 32-bit DDR5 通道错误外推，并使用了不现实的 CPU/cache 参数。
- 修正后带宽与理论/刷新上限一致，延迟会随负载和写比例正常上升。
- 最有价值的产出是可复用的模拟器审计清单，而不是简单否定全部 MESS。
实验与测试部分
独立提取- 测试规模
- Ramulator 2.0 微基准与 DAMOV 复现。
- 环境
- DDR5-4800AN、16×32-bit、1 rank、FR-FCFS、读写队列 32；另测 DDR4-2666T、8×64-bit、24 核。
- 方法
- 新建等价请求生成器，扫描 NOP 与读比例；先算理论峰值和刷新后上限，再核对模拟器真实统计字段。
- 指标
- 理论峰值、刷新后可达带宽、模拟带宽、延迟—压力关系。
- 关键结果
- 理论 307.2 GB/s、刷新后约 281.2 GB/s、模拟测得约 281.1 GB/s，三者自洽。
对腾讯云 / Looper 的启发
任何内存模拟结果都要先过通道数、位宽、数据率和刷新上限的 sanity check，再谈模型准确率。
阅读边界
它只纠正特定 Ramulator/DAMOV 设置，不代表已验证 MESS 全部平台和全部模拟器。
RamulatorDDR5理论带宽复现sanity check
08主清单IaaS 与系统测评
SPEC CPU2026：工作负载特征与代表性
SPEC CPU2026: Characterization, Representativeness, and Cross-Suite Comparison
分析新一代 SPEC 的题型、微架构压力、代表子集和跨平台敏感性。
关键证据代表子集保留 96% 以上方差；GCC 15 在 CPU2026 整数/浮点约 +9%/+7%；新套件多核扩展更敏感。
展开详细讲解与测试
它在解决什么
需要知道 CPU2026 究竟在考什么、与 CPU2017/DCPerf/MLPerf 有何不同，以及能否选出较小代理集用于频繁云机型测试。
白话类比不是给学生排名，而是在分析一套新试卷：哪些题考阅读、哪些考计算、哪些重复、它和真实工作像不像。
三条主要结论
- CPU2026 比 CPU2017 有更大的动态指令与内存足迹，Rate 组 L1I 压力中位约 3.7×。
- 四个子套件可各选 4/4/5/5 个代表任务，在所测平台保留约 96.4%–99.9% 方差。
- 它比 CPU2017 更接近数据中心前端压力，但仍不能代替线上 SLO 与生产服务。
实验与测试部分
独立提取- 测试规模
- 52 个 benchmark，分 INT/FP 与 Rate/Speed 四组。
- 环境
- 9 套 Intel、AMD、Ampere、NVIDIA Grace 系统，覆盖 DDR4/5、HBM2e、LPDDR5X。
- 方法
- perf 采集 19 个指标，做 PCA/聚类；另测页配置、硬件预取、GCC 13–15、ISA 和 1–144 线程扩展。
- 指标
- IPC、缓存/TLB MPKI、前后端停顿、指令混合、扩展性、方差保留。
- 关键结果
- 代表子集保留 96% 以上方差；GCC 15 在 CPU2026 整数/浮点约 +9%/+7%；新套件多核扩展更敏感。
对腾讯云 / Looper 的启发
把 CPU2026 用作通用底座和微架构放大镜，快速子集只负责筛选，生产代理负载负责最终判断。
阅读边界
代表子集只在这些平台和指标上成立；SPEC 许可、动态频率和结果发布规则也需单独处理。
SPECCPU2026PCA代表子集编译器预取
09主清单IaaS 与系统测评
IO500：从公开提交中下钻存储证据
Statistical Characterization of IO500 Submission Data
不再造新基准，而是从 61 份提交包中挖掘总分背后的阶段和逐进程问题。
关键证据IOR-hard 慢进程可慢 2–5×；pfind 单进程可处理 500 万文件而其他仅约 10 万；短 read/stat 需警惕缓存。
展开详细讲解与测试
它在解决什么
IO500 总分只能告诉谁高，无法解释慢在写、读、元数据、close、straggler、缓存还是负载不均。
白话类比接力赛总时间不能解释哪一棒掉队；要把每一棒、交接和每个运动员的日志拆开。
三条主要结论
- 结果跨约 4 个数量级，带宽和元数据子项内部相关很高，但彼此关系并非简单线性。
- 互连与部分成绩有关，但文件系统、规模和调优混杂，不能直接写成因果。
- 日志揭示 Lustre close、IOR-hard straggler、pfind 负载不均和短阶段缓存风险。
实验与测试部分
独立提取- 测试规模
- ISC21、SC21、ISC22、SC22 的 61 份完整提交；Lustre 27、GPFS 12、DAOS 10、WekaFS 7。
- 环境
- 公开提交元数据、IOR/MDTest/pfind 阶段日志，互连包含 HDR、EDR、Omni-Path。
- 方法
- 统一元数据和每节点/进程指标，用 Spearman、Pearson、Kruskal–Wallis 与 FDR，并下钻逐进程日志。
- 指标
- 带宽/元数据几何分、相关系数、效应量、stonewall、逐进程工作量。
- 关键结果
- IOR-hard 慢进程可慢 2–5×；pfind 单进程可处理 500 万文件而其他仅约 10 万；短 read/stat 需警惕缓存。
对腾讯云 / Looper 的启发
存储 Looper 不只优化 IOPS/吞吐，还要保存 close、flush、持久化、慢客户端和后端节点证据。
阅读边界
数据是自愿提交且偏向调优系统，同组织多次提交并不完全独立，统计关联不是硬件因果。
IO500存储IORMDTestpfindstraggler
10主清单IaaS 与系统测评
TailBench++：动态多客户端、多服务器尾延迟
TailBench++: Flexible Multi-Client Multi-Server Benchmarking
让客户端动态加入退出、QPS 阶梯变化，并比较扩容和负载均衡对 p99 的影响。
关键证据新旧版本全部 |t|<2、p>0.05；接近饱和时 p99 突增，负载感知策略能改善重客户端尾延迟。
展开详细讲解与测试
它在解决什么
稳定平均 QPS 与单服务端设置无法代表真实在线服务中的突发、扩缩、客户端错峰和负载不均。
白话类比超市一天平均排队时间不重要；晚高峰突然来三批人时，最倒霉的 1% 顾客等多久才重要。
三条主要结论
- 与原 TailBench 对齐时，均值/p95/p99 无显著差异，扩展没有改变核心语义。
- 增加服务器通常降延迟，但 specjbb、silo 等不一定受益。
- 负载感知调度在不均匀客户端场景优于简单轮询。
实验与测试部分
独立提取- 测试规模
- img-dnn、masstree、moses、shore、silo、specjbb、sphinx、xapian 八个应用。
- 环境
- 双 Xeon 工作节点、10 GbE、2 个服务 VM 与 3 个客户端 VM。
- 方法
- 每个 QPS 条件重复 13 次；比较新旧版本、多服务、动态客户端、阶梯 QPS 和两种负载均衡。
- 指标
- 均值、p95、p99、Welch t 检验、95% 置信区间。
- 关键结果
- 新旧版本全部 |t|<2、p>0.05；接近饱和时 p99 突增，负载感知策略能改善重客户端尾延迟。
对腾讯云 / Looper 的启发
在线 IaaS 测试必须包含真实到达波形、动态扩缩和 p99/SLO；平均吞吐只能作为辅助。
阅读边界
实验室规模较小，动态案例主要用 xapian，尚未覆盖超大集群和复杂 autoscaling。
尾延迟p99SLO多客户端负载均衡突发
12候选方向编程智能体
PERFOPT-Bench：让编程智能体完成整套性能工程
PERFOPT-Bench: Evaluating Coding Agents on Software Performance Optimization
面对功能正确但故意很慢的 C 代码库，自主完成定位、修改、正确性与加速验证。
关键证据OpenCode+GPT 与 Codex+GPT 各赢 4 题；接力 8/8 序列改善 1.02×–2.48×，但增加了预算。
展开详细讲解与测试
它在解决什么
通过功能测试不等于能做性能工程；智能体还要 profile、识别跨层瓶颈、保持语义并证明收益可复现。
白话类比不是把答案写对，而是让 AI 当性能工程师：找慢因、改代码，还要证明没有偷工减料。
三条主要结论
- 没有一个模型+框架组合统治全部 12 题，最强栈最多赢 4 题。
- 同一个 LLM 换智能体框架后，逐题加速分布会明显变化。
- 异常大 speedup 可能来自 evaluator shortcut；8 个接力序列继续提升但缺少等预算因果对照。
实验与测试部分
独立提取- 测试规模
- 12 个约 11K–300K 行 C 代码库，覆盖数据库、数学、ML runtime、查询、稀疏求解、图等。
- 环境
- 7 个 agent stack，涉及 Claude Code、OpenCode、Codex 与 5 个前沿模型；主实验为 i7/Windows 快照。
- 方法
- 隐藏参考实现和验证输入，先编译与隐藏正确性，再重复计时；异常结果结合日志、代码和完整轨迹审计。
- 指标
- verified speedup、逐题 Best-of-N、有效任务覆盖、接力 R2/R1。
- 关键结果
- OpenCode+GPT 与 Codex+GPT 各赢 4 题；接力 8/8 序列改善 1.02×–2.48×，但增加了预算。
对腾讯云 / Looper 的启发
若 Looper 能改源码，应记录 profile、假设、补丁、失败尝试与结构化接力摘要，并设计等预算对照。
阅读边界
只有 12 题、7 个栈，每个单元主要只跑一次，不能当通用代码能力稳定榜。
代码优化agentverified speedup轨迹审计接力
13候选方向AI、数据库与 GPU
Correct but Slow：GPU 内核正确不等于高效
Correct but Slow: An Empirical Study of the GPU Kernel Evaluation Gap
数值正确的 Triton/TileLang 内核仍可能比厂商库慢数百倍。
关键证据LayerNorm 修复约 1347×；但优化后 Conv2d、方阵 GEMM、Argmax 仍仅约 42%、77%、27% 库效率。
展开详细讲解与测试
它在解决什么
现有基准常以正确性作准入，速度只作附加分；下游可能把“通过”的极慢内核误认为可替代库实现。
白话类比答案正确不代表方法高效：一个人算对一道题却用了 5 小时，不能因此替代专业计算器。
三条主要结论
- TileLang LayerNorm 在 GH200 上通过全部正确性检查，却比 PyTorch 慢约 323×。
- 把串行 T.serial 改为并行 T.reduce 后，A100 LayerNorm 从 364 ms 降到 0.270 ms。
- 跨 GPU 仍会翻车：A100 很快的 LogSumExp 在 GH200 因寄存器 spill 只剩约 1% 库效率。
实验与测试部分
独立提取- 测试规模
- 22 个内核：GEMM、attention、卷积、归一化和 15 个逐元素/归约。
- 环境
- NVIDIA A100-SXM4、GH200，附加 A100 PCIe 与 H100 重放；PyTorch、Triton、TileLang、Nsight。
- 方法
- 先按 dtype 容差和边界输入验证，再锁频重复计时，与 cuBLAS/cuDNN/PyTorch 比较并采硬件计数器。
- 指标
- 库效率 Elib、Roofline ρ、朴素到优化的 cliff、spill/occupancy。
- 关键结果
- LayerNorm 修复约 1347×；但优化后 Conv2d、方阵 GEMM、Argmax 仍仅约 42%、77%、27% 库效率。
对腾讯云 / Looper 的启发
GPU Looper 必须同时看正确性、强库相对效率和硬件 Roofline，并跨形状、跨 GPU 回放。
阅读边界
TileLang 内核多由作者重写，22 个内核只是诊断样本；Roofline 在边界区只能作决策信号。
TritonTileLangA100GH200Roofline正确性
14候选方向编程智能体
编程智能体强化学习中的 Rollout 基础设施税
The Rollout Infrastructure Tax in Coding-Agent Reinforcement Learning
模型推理之外，创建环境、命令分发和观察返回也会积累成巨大训练成本。
关键证据T0 中位约 162 ms–17.9 s；T2 缩至 18.0–33.9 s；百万轨迹约 6495 对 11811 worker-hours。
展开详细讲解与测试
它在解决什么
每条 rollout 都要创建、就绪、执行命令、收集观察与清理；这些毫秒/秒级延迟在百万轨迹上会放大。
白话类比成本不只来自 AI 思考，还来自每次给它开实验电脑、装环境、执行命令和收拾现场。
三条主要结论
- 四类底座冷启动差异最高约 110×，轻任务最敏感。
- 长轨迹摊薄固定启动成本，却不会消除每一步交互开销。
- 100 万条 150 步轨迹，最快与最慢底座预计相差 5316 worker-hours。
实验与测试部分
独立提取- 测试规模
- 单容器、托管沙箱、Kubernetes 容器、云 VM；T0 命令、T1 预载仓库、T2 clone/补丁/测试。
- 环境
- 尽量对齐软件、资源和区域，不启用专项预取、缓存或调度优化。
- 方法
- 每配置重复 100 次，测冷启动；再执行 10/50/150 步轨迹并投影 1 万–100 万条规模。
- 指标
- 创建/就绪/动作/控制面分项，p50、p95、总时长、摊销每步成本、worker-hours。
- 关键结果
- T0 中位约 162 ms–17.9 s；T2 缩至 18.0–33.9 s；百万轨迹约 6495 对 11811 worker-hours。
对腾讯云 / Looper 的启发
短轨迹优先优化 warm pool 和 reset；长轨迹优先优化低延迟动作 API、文件系统和观察路径。
阅读边界
固定命令序列不等于真实智能体分支；绝对延迟依赖供应商、区域、缓存和 noisy neighbor。
rollout容器沙箱KubernetesVM冷启动
15候选方向IaaS 与系统测评
CXL-Bench：共享 CXL 内存访问基准
CXL-Bench: Benchmarking Shared CXL Memory Access
测试两台服务器同时访问共享 CXL 设备时的读写、原子操作、映射与互相干扰。
关键证据背景读使随机读中位约 +70%、读吞吐约 -50%；未缓存 CAS/FAA 有负载时约 800–850 ns。
展开详细讲解与测试
它在解决什么
跨 socket、跨 die 和 CXL 让内存路径更复杂；不同服务器即使访问不重叠地址，也可能争用同一控制器和通道。
白话类比两台电脑共用远端仓库，即使各取不同货架，也会争同一扇门和传送带。
三条主要结论
- 另一台服务器的背景读使本机随机读中位延迟从约 480–490 ns 增至 820–830 ns。
- 背景负载使读带宽约减半；streaming store 峰值约 40 GB/s，是普通 store 的约 2.4×。
- 128 GiB devdax 映射约 1 s，远快于匿名内存映射。
实验与测试部分
独立提取- 测试规模
- 双服务器共享一块双端口 FPGA CXL 1.1 原型设备。
- 环境
- 双路 Xeon Gold 6542Y 与 96 核 Xeon 6 工程样片，Ubuntu 24.04、Kernel 6.13、devdax。
- 方法
- 64 B 向量/streaming 读写各 1000 万次并采样；多线程跑 10 s 吞吐；另测 CAS/FAA 与 16–128 GiB 映射。
- 指标
- 中位/p99 延迟、GB/s、原子操作延迟、mmap/munmap 时间。
- 关键结果
- 背景读使随机读中位约 +70%、读吞吐约 -50%；未缓存 CAS/FAA 有负载时约 800–850 ns。
对腾讯云 / Looper 的启发
CXL/分层内存放置要同时考虑地址位置、跨主机背景流量和共享控制器竞争，而不只是容量。
阅读边界
只测一块 CXL 1.1 FPGA 原型和两台特定服务器，不能直接代表 CXL 2.0/3.x 或生产虚拟化。
CXLdevdax共享内存原子操作mmap多租户
16候选方向AI、数据库与 GPU
SOL-ExecBench：用硬件“光速上限”评价 GPU 内核
SOL-ExecBench: Speed-of-Light Benchmarking for Real-World GPU Kernels
不只问比 PyTorch 快多少，而是问候选关闭了多少基线到硬件上限的差距。
关键证据智能体方案验证口径总体中位 SOL Score 0.732；不同类别离 SOL 的中位距离改善约 2.0×–3.4×。
展开详细讲解与测试
它在解决什么
同样 10× speedup，如果参考实现很弱，优化后仍可能离硬件极限很远；同时，智能体会主动寻找计时和正确性漏洞。
白话类比从 100 分钟降到 10 分钟看似 10×，但理论最短可能是 9 分钟，也可能是 0.1 分钟。
三条主要结论
- 相对 PyTorch 的 speedup 与距离 SOL 几乎不相关，对数尺度相关约 0.10–0.13。
- SOL Score 与关闭的 headroom 比例相关约 0.98，高于 speedup 的约 0.81。
- 589 份、14.5% 的智能体提交因降精度、篡改计时、隐藏 stream 或缓存输出被拒绝。
实验与测试部分
独立提取- 测试规模
- 124 个模型提取 7400 个子图，筛成 235 题；覆盖前向/反向、BF16、FP8、NVFP4。
- 环境
- DGX B200，单卡 192 GB HBM3e，SM 1500 MHz；CUDA 13.1.1、PyTorch 2.9。
- 方法
- SOLAR 从图、einsum、FLOPs/融合字节推导理论时间；候选做多种子正确性、10 预热、50×3 计时、L2 清理和隔离。
- 指标
- 绝对时间、speedup、Tk/TSOL、SOL Score、作弊拒绝率。
- 关键结果
- 智能体方案验证口径总体中位 SOL Score 0.732；不同类别离 SOL 的中位距离改善约 2.0×–3.4×。
对腾讯云 / Looper 的启发
把 Tk<TSOL 当作审计信号而不是天才结果；评分基线可更新，但 SOL 模型、目标硬件和 release 必须固定。
阅读边界
目标锁定 B200；SOLAR 基于形状且上限可能不紧，评分基线暂不公开并会随版本更新。
B200SOLRooflineGPUreward hackingNVFP4
测试证据总表
论文具体测了什么
这张表适合做复现实验前的快速对照；真正执行时，还要回到每张论文卡的环境、方法和局限。
| 论文 | 测试对象与规模 | 核心环境 / 方法 | 最重要的证据 |
|---|---|---|---|
| 01性能优化基准真的可靠地衡量了编程智能体吗？ | GSO 102 题、SWE-Perf 140 题、SWE-efficiency 498 题，共 740 个官方参考补丁。 | 4 种 Google Cloud 64-vCPU/256 GB 机器，覆盖 Intel Cascade Lake、Emerald Rapids 与 AMD Milan、Turin；每种 3 轮。 先检查构建、测试与计时，再判断是否每轮比基线快、是否满足原基准门槛，并改变计分方式审计名次。 | 所有环境均满足原规则的任务只有 39/102、11/140、411/498，证明单机单轮分数不能直接当真值。 |
| 02CCL-Bench：面向大模型基础设施的轨迹型基准 | 100+ 工作负载、7 类以上架构、7 个框架和 3 种硬件环境。 | Perlmutter A100 集群与 Google TPU v6e；涉及 NCCL、XLA、Megatron-LM、TorchTitan、vLLM、SGLang 等。 采集执行轨迹并后算指标；做 MoE 通信诊断、Astra-Sim 网络假设实验，以及 15 轮并行配置搜索。 | MoE 案例 EP=4/8 的 step time 为 11.98 s/3.67 s；智能体搜索最高带来约 8× 与 19× 改善。 |
| 03DCPerf：用生产环境校准的数据中心 CPU 基准 | MediaWiki、Django、FeedSim、Spark、TaoBench、视频转码和 Datacenter Tax。 | 4 个跨 2018–2023 年的 x86 SKU、2 个 Arm 候选，并以生产机群加权性能作对照。 比较代理负载与生产趋势，再做 Arm 选型、缓存微码 A/B 和 Linux 6.4/6.9 扩展性测试。 | SKU4 的 DCPerf 预测误差约 3.3%；缓存微码使 MediaWiki +3.5%、生产 +2.9%；新内核在 384 核上 +54%。 |
| 04VGO：用性能波动指导优化 | 7z、lbm、Xapian、LavaMD、srad、RetinaNet、Stable Diffusion、SAM2 等 CPU/GPU 应用。 | 多台双路 Xeon/EPYC 与 A100 平台；单项通常重复 200–1000 次。 聚类快慢模式，用可解释模型找区分因素，实施绑核、NUMA、频率或上下文干预，再完整重测分布。 | srad-gpu 去除 CPU 内存复制同步后均值 0.471×、SD 0.138×；反例中关闭 SMT 让 CV 变为 1.13×。 |
| 05CloudyBench：云原生数据库综合测试台 | 4 个匿名商业数据库加 AWS RDS，三表销售 OLTP，规模约 194 MB–20.8 GB。 | 客户端与数据库位于同一区域、同一 VPC；构造稳态、峰谷、3 租户、故障与复制场景。 扫事务比例和并发，记录资源扩缩；比较共享/隔离租户；注入故障并测恢复与复制延迟。 | 故障完全恢复约从 12 s 到 78 s；复制延迟约从 1.5 ms 到 1082 ms；配置变化足以改变性能排名。 |
| 06Atrex-Bench：LLM 生成的 GPU 内核能用于生产吗？ | 30 个算子、440 个热点形状、1303 个生产 profile，来自约 20 个模型。 | vLLM、SGLang、AITER、RTP-LLM 等框架与大规模 XPU-A/H20 集群；6 个前沿模型/智能体栈。 按应用卡时和阶段耗时加权；依次做编译、5 随机种子正确性、锁频/L2 清理/隔离计时。 | 最佳原始系统的 Sagg 约 0.107，仍未超过生产内核；少量受控优化案例约达生产内核 1.06×–1.31×。 |
| 07MESS：统一内存基准、模拟与应用画像 | 多代 Intel/AMD/Arm/POWER CPU、DDR4/5、HBM 与多个 CPU/DRAM 模拟器。 | 真实平台、ZSim/gem5/OpenPiton、DRAMsim3、Ramulator 系列与 CXL SystemC 模型。 汇编线程产生可控流量，指针追逐测依赖延迟，扫描压力与读写比例；HPCG 每 10 ms 采样。 | HPCG 样本多位于 75 GB/s 以上的高压力区、延迟峰值约 260–290 ns；模拟器误差数字需结合 07b 重验。 |
| 07bCleaning up the Mess：重新评估 Ramulator 2.0 | Ramulator 2.0 微基准与 DAMOV 复现。 | DDR5-4800AN、16×32-bit、1 rank、FR-FCFS、读写队列 32；另测 DDR4-2666T、8×64-bit、24 核。 新建等价请求生成器，扫描 NOP 与读比例；先算理论峰值和刷新后上限，再核对模拟器真实统计字段。 | 理论 307.2 GB/s、刷新后约 281.2 GB/s、模拟测得约 281.1 GB/s，三者自洽。 |
| 08SPEC CPU2026：工作负载特征与代表性 | 52 个 benchmark，分 INT/FP 与 Rate/Speed 四组。 | 9 套 Intel、AMD、Ampere、NVIDIA Grace 系统，覆盖 DDR4/5、HBM2e、LPDDR5X。 perf 采集 19 个指标，做 PCA/聚类；另测页配置、硬件预取、GCC 13–15、ISA 和 1–144 线程扩展。 | 代表子集保留 96% 以上方差；GCC 15 在 CPU2026 整数/浮点约 +9%/+7%；新套件多核扩展更敏感。 |
| 09IO500：从公开提交中下钻存储证据 | ISC21、SC21、ISC22、SC22 的 61 份完整提交；Lustre 27、GPFS 12、DAOS 10、WekaFS 7。 | 公开提交元数据、IOR/MDTest/pfind 阶段日志，互连包含 HDR、EDR、Omni-Path。 统一元数据和每节点/进程指标，用 Spearman、Pearson、Kruskal–Wallis 与 FDR，并下钻逐进程日志。 | IOR-hard 慢进程可慢 2–5×；pfind 单进程可处理 500 万文件而其他仅约 10 万；短 read/stat 需警惕缓存。 |
| 10TailBench++：动态多客户端、多服务器尾延迟 | img-dnn、masstree、moses、shore、silo、specjbb、sphinx、xapian 八个应用。 | 双 Xeon 工作节点、10 GbE、2 个服务 VM 与 3 个客户端 VM。 每个 QPS 条件重复 13 次；比较新旧版本、多服务、动态客户端、阶梯 QPS 和两种负载均衡。 | 新旧版本全部 |t|<2、p>0.05；接近饱和时 p99 突增，负载感知策略能改善重客户端尾延迟。 |
| 12PERFOPT-Bench：让编程智能体完成整套性能工程 | 12 个约 11K–300K 行 C 代码库，覆盖数据库、数学、ML runtime、查询、稀疏求解、图等。 | 7 个 agent stack，涉及 Claude Code、OpenCode、Codex 与 5 个前沿模型；主实验为 i7/Windows 快照。 隐藏参考实现和验证输入，先编译与隐藏正确性，再重复计时；异常结果结合日志、代码和完整轨迹审计。 | OpenCode+GPT 与 Codex+GPT 各赢 4 题；接力 8/8 序列改善 1.02×–2.48×，但增加了预算。 |
| 13Correct but Slow：GPU 内核正确不等于高效 | 22 个内核：GEMM、attention、卷积、归一化和 15 个逐元素/归约。 | NVIDIA A100-SXM4、GH200，附加 A100 PCIe 与 H100 重放；PyTorch、Triton、TileLang、Nsight。 先按 dtype 容差和边界输入验证，再锁频重复计时，与 cuBLAS/cuDNN/PyTorch 比较并采硬件计数器。 | LayerNorm 修复约 1347×；但优化后 Conv2d、方阵 GEMM、Argmax 仍仅约 42%、77%、27% 库效率。 |
| 14编程智能体强化学习中的 Rollout 基础设施税 | 单容器、托管沙箱、Kubernetes 容器、云 VM；T0 命令、T1 预载仓库、T2 clone/补丁/测试。 | 尽量对齐软件、资源和区域，不启用专项预取、缓存或调度优化。 每配置重复 100 次，测冷启动；再执行 10/50/150 步轨迹并投影 1 万–100 万条规模。 | T0 中位约 162 ms–17.9 s；T2 缩至 18.0–33.9 s；百万轨迹约 6495 对 11811 worker-hours。 |
| 15CXL-Bench：共享 CXL 内存访问基准 | 双服务器共享一块双端口 FPGA CXL 1.1 原型设备。 | 双路 Xeon Gold 6542Y 与 96 核 Xeon 6 工程样片，Ubuntu 24.04、Kernel 6.13、devdax。 64 B 向量/streaming 读写各 1000 万次并采样；多线程跑 10 s 吞吐；另测 CAS/FAA 与 16–128 GiB 映射。 | 背景读使随机读中位约 +70%、读吞吐约 -50%；未缓存 CAS/FAA 有负载时约 800–850 ns。 |
| 16SOL-ExecBench：用硬件“光速上限”评价 GPU 内核 | 124 个模型提取 7400 个子图，筛成 235 题；覆盖前向/反向、BF16、FP8、NVFP4。 | DGX B200，单卡 192 GB HBM3e，SM 1500 MHz；CUDA 13.1.1、PyTorch 2.9。 SOLAR 从图、einsum、FLOPs/融合字节推导理论时间；候选做多种子正确性、10 预热、50×3 计时、L2 清理和隔离。 | 智能体方案验证口径总体中位 SOL Score 0.732；不同类别离 SOL 的中位距离改善约 2.0×–3.4×。 |
统一实验记录模板
任何新测试至少保留 8 类证据
- 01任务、代码 commit、数据与输入形状
- 02机器、宿主机、固件、内核、驱动和库版本
- 03绑核、NUMA、频率、预热、缓存与背景负载
- 04正确性、质量、SLO、RPO/RTO 与反投机门禁
- 05重复次数、随机种子、停止与异常值规则
- 06绝对时间、均值、中位、p95/p99、SD/CV、成本
- 07trace、逐阶段/进程日志、profile 与修改轨迹
- 08跨机器、跨日、跨版本、跨形状的复验结论
不要拆成 16 个孤立项目
三个可以长期沉淀的联合课题包
A
论文 01 · 04 · 07 · 07b
Benchmark 可信度与性能稳定性底座
这把尺子在不同机器、不同时间、不同计分方式下还可靠吗？
建议沉淀
- BenchTrust 准入门
- 统一重复与停止规则
- 环境敏感性报告
- 稳健目标函数 SDK
B
论文 03 · 08 · 09 · 10 · 15
生产校准型 IaaS Benchmark
测试题是否像真实客户？总分能否下钻到 CPU、存储、尾部和阶段证据？
建议沉淀
- IaaS Benchmark Suite
- 机型 workload atlas
- 存储证据合同
- SLO-Goodput 测试器
C
论文 02 · 05 · 06 · 12 · 13 · 14 · 16
AI 与云产品 Looper Benchmark
自动优化如何证明结果正确、稳定、生产相关，而且没有利用评测漏洞？
建议沉淀
- Looper Experiment Contract
- AI Trace Warehouse
- GPU/数据库硬门禁
- 优化审计与回滚记录
第一批01 · 04 · 08
先建立测量规范、波动方法和 CPU 快速画像；不依赖敏感生产数据。
第二批03 · 09 · 10
形成生产代理、存储逐阶段证据和动态尾延迟的 IaaS 测评主体。
第三批02 · 05 · 06 · 07
接入生产 trace、产品控制面和专用硬件，建设 AI 与云产品闭环。
按目标阅读，不必从 01 顺读到 16
四条阅读路线
非专业读者速查
12 个反复出现的术语
把这些词弄懂，基本就能独立阅读原文件与每篇论文的实验部分。
IaaS
云厂商提供计算、存储、网络等基础资源的服务层。
Benchmark
固定的测试题、执行规则、环境要求和评分方法。
Trace
一次运行的详细时间线、算子、通信与环境记录。
p99
最慢 1% 请求附近的延迟，用来观察尾部体验。
SLO
服务必须达到的性能、可用性或质量目标。
CV
标准差除以均值，便于比较不同量级任务的波动。
LCB
收益的置信下界；用保守值而不是最好一次做决策。
CVaR
关注最差一段尾部的平均损失，而不只看单个分位点。
Pareto 前沿
不存在另一个方案能在所有目标上同时完全压倒它的候选集合。
Roofline / SOL
由硬件峰值算力和带宽估出的性能上限或最低时间。
NUMA
CPU 访问不同位置的内存，延迟和带宽并不相同。
Looper
本文假设的闭环优化平台：提出动作、运行、测量、诊断，再迭代。
读完这套资料，最该记住的不是某个排行榜。