锐Owl 雷达 · 2026-10-28：尺子也会走样

覆盖 2026-10-27 18:00 → 2026-10-28 18:00（北京时间）。

今天五条都栽在同一件事上：我们用来衡量的那把尺子。Ling-3.1-flash-1019 的模型卡引 Artificial Analysis 指数 44 分，AA 当天自己的页面给的是 29 分——同一把尺子换了版本；NVIDIA 的 GPU 算子榜两天里换了主人，厂商 10-26 说的「88 项单题第一、超第二名 2 倍」，我 10-28 直读官方接口只剩 72 项、第二名 55 项；一个 agent harness 只是把观测字段的顺序反过来，同一个模型的成功率就从 85.0% 掉到 19.2%——它学到的是 harness 的偏好，不是任务的解法；文档模型的解释工具里，13 种归因方法只有一种经得起全部指标，而两种最常用指标本身被判不可靠；评估预算砍掉一半也能选出更好的脚手架——前提是你把「搜索时的反馈」和「最终的选拔」分开记账。所谓效率，先是量得准，再是量得省。

① 蚂蚁开源 Ling-3.1-flash-1019：560B 只激活 25B，模型卡上的 AA 指数 44 与 AA 当天的 29 不是同一把尺子（2026-10-28 开源）

同一个模型，两个指数分数之间差的不是能力，是量表版本。 蚂蚁百灵于 2026-10-28 开源 Ling-3.1-flash-1019，并同步放出基础模型 Ling-3.1-flash-base（BF16 权重、MIT）。硬参数（模型卡）：混合线性 MoE，总参 560B、每 token 激活 25B；512 个路由专家里每 token 取 8 个、另加 1 个共享专家；63 层 KDA + 9 层 Gated MLA（7:1）、4 个 dense 层、hidden 4096、词表 157,184、上下文 1M；base 的 FP8 训练权重经 WSM（warmup-stable + merge）合并后以 BF16 放出。厂商成绩单（模型卡原文）：AA-Briefcase 约 1400 → 1524 Elo、GDPval-AA 1618 → 1644、AutomationBench-AA 62% → 68%、CritPt 18% → 26%、SciCode 54% → 57%，并写「在 Artificial Analysis Intelligence Index v4.3.2 上得 44 分，比上一版 41 分提高 3 分」；base 与 DeepSeek-V4-Pro-Base、MiMo-V2.5-Pro-Base 在 8 个领域 47 项 benchmark 对比，32 项取得最高分（厂商口径）。我 2026-10-28 直读 Artificial Analysis 的 1019 页面：Intelligence Index 29（同类 16 个模型里 #4，中位 23），跑完这张榜输出 2.4 亿 token（同类中位 9,900 万，#16/16 最啰嗦），每任务 $3.19；API 定价 $0.30 / $0.90 每百万 token、缓存折扣 80%、1M 上下文、560B/25B、MIT。生态那条线：HF 仓 10-27 建（likes 69 / 下载 548，10-28 直读），上线当日起社区已放出 mlx-community 的 oQ2e / oQ2.5e / oQ3e / oQ4e 四个 MLX 量化版与多个 GGUF。

认知价值：① 560B 是招牌，25B 是账单。 每 token 只激活 4.5% 的参数、512 个专家里只唤醒 8 个——成本判据是「激活量 × 吐了多少 token」，不是参数总量。这条和 10-27 期①「单价减半、每任务成本才算账」是同一条，只是换到了开源权重的语境。② 44 与 29 的差，很可能是换版差。 模型卡明确写的是 v4.3.2 口径，AA 现页顶部带「Intelligence Updated」标记、正文写的是「scores 29 on the Artificial Analysis Intelligence Index」。换版后跨版横比一律失效——引任何指数都要带上版本号与抓取日，这是本期五条里最便宜的一条纪律。③ 真正的位移不在指数上。 41 → 44 是 3 分的小步；而 AA-Briefcase 1400 → 1524 Elo、AutomationBench 62% → 68% 才是「个人助理能不能把事办完」这个方向上的位移。指数回答「平均难度答对多少」，Elo 回答「和对手比谁赢」——做 Personal Agent 选型，看后者。 ④ 啰嗦也是一笔账。 跑同一张榜它吐了 2.4 亿 token，是同类的 2.4 倍，$3.19 / 任务。单价便宜不等于账单便宜：这是上一期在 GPT-6.1 Terra 上刚记过的一课（那个是 $0.40 / 任务，但口径不同版，只能作量级参考）。⑤ 「开源 base」是给社区继续预训练，不是给用户直接用。 MIT + BF16 原始权重是真开放，可 560B 即便 4bit 也在数百 GB 量级（按参数×位宽粗算），社区当天出的 MLX 量化说明「本地能加载」和「本地好用」是两件事，别把量化版的存在读成「Mac 上能跑」。⑥ 边界：上面除 AA 页面外全部是厂商自测；47 项对比是 base 对 base（同一 shot 配置）；AA 页面标的是 reasoning 版，非 reasoning 版另有条目。⑦ 对我们自己：这一段可直接进「同一模型两个分数」的选题——不是打假，是演示口径（版本 / 分母 / 每次任务成本）三件事怎么改写结论。

领域：industry-model ｜ 去向：feeds（喂养「参数总量 vs 激活量、指数 vs Elo、单价 vs 每任务成本」三段口径：与 10-27 期① GPT-6.1 Terra 同框，一周内两家厂商各给一个反例）｜ 等级：🟡

来源：🟢 一手已核（2026-10-28 直读模型卡）https://huggingface.co/inclusionAI/Ling-3.1-flash-1019 （原文含：560B total / 25B active、1M-token context、「AA-Briefcase … from approximately 1400 to 1524 Elo」「AutomationBench-AA … from 62% to 68%」「CritPt (18% → 26%) and SciCode (54% → 57%)」「scores 44 on the Artificial Analysis Intelligence Index v4.3.2, up from 41 for its predecessor」；license MIT；SGLang day-0 镜像 lmsysorg/sglang:dev-ling-3.1-flash）https://huggingface.co/inclusionAI/Ling-3.1-flash-base （原文含：512 routed experts, with 8 routed experts and 1 shared expert activated per token；63 KDA layers and 9 Gated MLA layers … 7:1 ratio；4 dense layers / hidden 4096 / expert intermediate 1280 / vocab 157184；训练用 FP8、发布为 WSM 合并后的 BF16 base checkpoint；license MIT）｜🟡 第三方聚合（2026-10-28 直读）https://artificialanalysis.ai/models/ling-3-1-flash-1019 （Intelligence Index 29、#4/16、同类 median 23；240M output tokens（median 99M，#16/16 most verbose）；$3.19 per task；$0.30 in / $0.90 out、cache discount 80%；1M context ≈1573 A4 pages；560B total / 25B active；MIT；页面带「Intelligence Updated」标记）｜🟢 一手已核（HF API，2026-10-28）inclusionAI/Ling-3.1-flash-1019 created 2026-10-27T05:46Z / likes 69 / downloads 548；同日 mlx-community/Ling-3.1-flash-1019-oQ2e/oQ2.5e/oQ3e/oQ4e-mtp 四仓、Baekpica/…-VQ-GGUF、AtomicChat/…-GGUF 等｜🟡 媒体口径 https://www.qbitai.com/2026/10/505928.html 量子位《Personal Agent走向真实任务，蚂蚁百灵开源 Ling-3.1-flash-1019》2026-10-28 12:04（「AA 44 分，较上一版本提升 3 分」「47 项中 32 项超越 DeepSeek-V4-Pro-Base 与 MiMo-V2.5-Pro-Base」；文末注明「本文由蚂蚁提供，量子位获授权转载」= 厂商供稿）

② GPU 算子榜两天换了主人：厂商 10-26 报「88 项单题第一、超第二名 2 倍」，我 10-28 直读官方接口只剩 72 项、第二名 55 项（NVIDIA SOL-ExecBench）

这张榜是流，不是点——所有「第一」都带保质期，而保质期只有两天。 NVIDIA Research 的 SOL-ExecBench（技术报告 arXiv:2603.19173，Submitted on 19 Mar 2026）与以往的「比软件基线快多少倍」不同：235 道 CUDA 算子优化题取自 124 个生产与新兴模型（语言/扩散/视觉/语音/视频/混合架构，面向 Blackwell），覆盖 BF16 / FP8 / NVFP4 的正反向；评分靶子是由 SOLAR 解析推导出的硬件光速上界（SOL bound），SOL Score 算的是候选内核在「release 定义的评分基线」与「SOL 上界」之间补上了多少比例的差距；为撑住 Agent 优化器，官方 harness 做了 GPU 锁频、L2 缓存清空、子进程隔离和针对常见 reward hacking 的静态检查。仓库 NVIDIA/SOL-ExecBench 326★ / Apache-2.0 / 2026-03-04 建。当日接口口径（2026-10-28 18:05 直读 /api/leaderboard/kernels 与 /api/leaderboard/collections，前者 705 行 = 235 题 × 前三名）：四赛道题目数 L1 94 / L2 82 / Quantization 33 / FlashInfer-Bench 26（合计 235）；单题第一最多的是 Infinigence AI 72 项，其后「Qian & Hubert @ CI」55、Geometric 21、LoongSage @ baidu-baige 18、Amir M. Mir | SF Tensor 16；赛道榜首三个是 Geometric（L1、L2、Quant 各解满 94/94、82/82、33/33），FlashInfer-Bench 是「Qin Liu @ UCD」（26/26），无问芯穹不在任一赛道前三。厂商稿（量子位 2026-10-28 16:00，允中发自凹非寺）的说法是：无问芯穹先后登顶 L1、L2、Quant 与 FlashInfer-Bench 全部四大赛道，截至 2026-10-26 仍在 L1 与 Quant 总分第一、L2 与 FlashInfer-Bench 第二，全部 235 题里以 88 项单题第一居首、超过第二名 2 倍，L2 的 82 题中拿下 39 项第一；并给出其 Agent 侧设计：容器化隔离（工作区可联网但不直接分 GPU，评测与调试容器均禁网）、模块化 Skills + 共享 Memory、按时间预算在 Triton / TileLang / CuTe DSL 之间权衡。另据 SF Tensor 2026-09-25 公布，当时已有 583 支团队、逾 3.1 万次提交，平均约每 8 分钟一条。

认知价值：① 引榜必须带时间戳，最好带抓取路径。 同一组接口，两天前的「88 项、超第二名 2 倍」到今天是「72 项、1.3 倍」——不是谁在造假，是榜本来就按小时刷新（官方自己写明「持续竞争、高频动态刷新」）。我们写稿的规矩应该改成：榜单数字 = 数值 + 时间 + 接口/页面，缺任一项就不进正文。② 同一张榜上有两种「第一」，别混着用。 「单题第一数」是广度（235 题里赢了多少题），「赛道总分」是深度+一致性（每赛道前三都已解满全部题目：94/94、82/82、33/33、26/26，说明覆盖率已经饱和，名次只能由分数区分）。厂家稿把两者并列，读起来像「全面第一」，实际是两个不同指标——任何 benchmark 一旦被解满，分辨力就从「做了多少」转到「做得多好」，这是所有榜单都会走到的一天。 ③ 72/235 = 30.6%，读作「在一批真实内核上有系统性优势」。 不是「全面领先」，也不是「刷分」——题目来自 124 个真实模型的计算图，其中 82 道融合算子里拿 39 项第一（厂商口径）这种「近半」的分布才是有信息量的部分。④ 评测方真正的护城河不是题目，是防作弊。 锁频、清 L2、隔离子进程、静态检查——这四件事全是冲着「让 Agent 改评测而不是改内核」去的。当提交方本身就是 Agent（能读文件、能改脚本、能重试几百次），评测设计的第一性问题是「它能不能碰到尺子」，这条对我们自己搭任何自动评测都直接可用。⑤ 「Agent 刷出来的优化」还有一层没被回答：算子在榜上逼近 SOL，不等于端到端推理真的快了——从内核到框架调度、再到 batch 与显存分配，每一层都会把收益吃掉。这条留作下一期的验证题。⑥ 边界：88 / 2 倍 / 39 项 / 583 队 3.1 万次均为厂商与媒体口径；我复核的是题数（235、四赛道 94/82/33/26）、单题第一数（72/55/21/18/16）与四赛道榜首，均来自官方接口。另需注意：接口按 username 统计，团队若用多个账号提交会被拆分，「第一名数」存在归属误差。

领域：inference-efficiency ｜ 去向：feeds（喂养「榜单取证法」与「Agent 自动刷榜的评测设计」两条：与 10-27 期② Unlimited OCR 2「技术报告 + 模型卡双口径」同线，本期把「时间戳」这一维补齐）｜ 等级：🟡

来源：🟢 一手已核（2026-10-28 直读技术报告摘要页与仓库）https://arxiv.org/abs/2603.19173 《SOL-ExecBench: Speed-of-Light Benchmarking for Real-World GPU Kernels Against Hardware Limits》Submitted on 19 Mar 2026（原文含：235 CUDA kernel 题、取自 124 个模型、面向 Blackwell、覆盖 BF16/FP8/NVFP4 正反向；SOL bound 由 SOLAR 推导；SOL Score 定义；「a sandboxed harness with GPU clock locking, L2 cache clearing, isolated subprocess execution, and static analysis based checks against common reward-hacking strategies」）https://github.com/NVIDIA/SOL-ExecBench （326★ / created 2026-03-04 / Apache-2.0；README 原文：kernel 会「Checked for various forms of reward hacking」「Timed under reproducible conditions」；SOL-Score 按 B200 roofline 评分）｜🟢 一手已核（2026-10-28 18:05 直读官方榜单接口）https://research.nvidia.com/benchmarks/sol-execbench/api/leaderboard/kernels （705 行 / 235 个 (kernel_id, gpu_type) 组合；rank-1 计数：Infinigence AI 72、Qian & Hubert @ CI 55、Geometric 21、LoongSage @ baidu-baige 18、Amir M. Mir | SF Tensor 16、ForgeKernel 13、Databricks 7）…/api/leaderboard/collections （L1 total 94：Geometric 94/94 居首；L2 total 82：Geometric 82/82 居首；Quantization total 33：Geometric 33/33 居首；FlashInfer-Bench total 26：Qin Liu @ UCD 26/26 居首）｜🟡 媒体/厂商口径 https://www.qbitai.com/2026/10/505956.html 量子位《中国AI刷爆英伟达GPU性能榜，这家公司拿下88项第一》2026-10-28 16:00（截至 2026-10-26：L1 与 Quant 总分第一、L2 与 FlashInfer-Bench 第二；88 项单题第一、「超过第二名单题第一数量的 2 倍」；L2 82 题中 39 项第一；Agent 侧容器隔离 / Skills / 共享 Memory；引 SF Tensor 2026-09-25 数据：583 支团队、3.1 万+ 次提交、约每 8 分钟一条）

③ 观测字段只是换了个顺序，最优决策一个没变，成功率从 85.0% 掉到 19.2%（HKUST 广州，arXiv 2610.37255，2026-10-27）

「用同一个模型横比两个 harness」这件事，本身就不是单变量对照。 香港科技大学（广州）Jian Mu、Ruibo Shen、Yao Shu 的论文把 harness（提示词、工具、控制逻辑）当成策略的一部分来建模：在 KL 正则化的控制形式下，最优策略的 log odds 复原了 harness 对各动作的相对偏好——也就是说训练出来的策略身上带着「harness 的口味」；于是部署收益可以写成两项之差：harness 的上限（ceiling，它最多能给出多少回报） 减 策略的不匹配（mismatch，因为自己决策次优而丢掉的回报）。训练只动 mismatch，换 harness 两项一起动。 实验一（MiniWoB++，后训练后）：把观测字段的顺序反转——内容不变、动作不变、奖励不变、连最优决策都不变——模型在 52.0% 的状态改了最可能动作，成功率 85.0% → 19.2%；同一组对照里，把动作菜单渲染成列表 9.2% / 86.0%，动作编号整体位移 27.7% / 57.1%，编号反转 30.0% / 68.2%，编号置换 25.3% / 67.6%。实验二（Terminal-Bench Lite，39 题，冻结 Qwen3.5-9B，每个 harness 三次独立运行）：五个 harness 的原生配置——DeepAgents、Pi coding-agent、DeepSeek Harness、Terminus-2、mini-SWE-agent——把准确率从 47.9% 拉到 64.1%；用 GPT-5.6-luna 顶替「最优」估出 C̃ 与 M̃ 后，C̃ − M̃ 与准确率的 Spearman ρ = 1.0（单看上限 0.7、单看不匹配 −0.7）：Terminus-2 上限中等（0.431）靠最小不匹配（0.134）拿下 64.1%，mini-SWE-agent 上限最高（0.631）但漏得多（0.335）落 59.8%，DeepAgents 上限最低（0.261）垫底 47.9%。实验三：九次 harness 迁移里，提前登记预测的八次用「上限 − 目标不匹配」预测增益，符号全对、排序 ρ = 0.95，而按「冻结模型的收益变化」排只有 0.17。

认知价值：① 我们自己的「单变量对照」铁律要修一条。 换 harness 不是换一个无关变量，它同时改了上限和不匹配；固定模型跑 A/B，测到的是「这个 harness 给多少 × 这个模型用得多好」的乘积，不是 harness 本身的好坏。写法上应该改成：比较 harness 要用同一个模型 + 分别估上限与不匹配，或者干脆承认这是联动项。② 「零语义改动」能打掉 66 个百分点，说明模型学的是呈现，不是任务。 字段顺序反转在语义上等同于没改，而成功率掉到四分之一——后训练把 harness 的排版烧进了策略。对做 harness/Skill 的人是坏消息也是好消息：坏消息是换框架会掉分，好消息是掉的分能靠在新 harness 上继续训练拿回来，而且能提前算出来。③ 两种「不好」要分开治。 上限低 = 这个 harness 无论怎么训都到不了高层（换它）；不匹配高 = harness 有空间但模型没用好（训它/换更强模型）。Terminus-2 与 mini-SWE-agent 正好是两类样本——这是选型时最该先看的两列。④ 不匹配沿轨迹累积，所以要省步数。 DeepAgents 每步的不匹配与 Terminus-2 接近，但模型在它里面被调用次数接近 3 倍，于是总量最大。工程含义很直接：合并动作、批处理、减少往返 不只是省 token，是直接降不匹配——和 10-27 期④ LoopFold「把 9 个串行阶段折成 5 个」是同一本账。⑤ 边界：MiniWoB++ 是合成网页环境；Terminal-Bench Lite 只有 39 题、三次运行（论文给了 ±2.6–7.8 的区间）；teacher 代最优是估计不是真值；只测了一个开源模型（Qwen3.5-9B），换更大模型结论强度未知。⑥ 直接可用：这段可以当我们自己评测流程的自检项——任何「某框架比某框架强 X%」的结论，先问有没有固定模型、有没有拆开上限与不匹配。

领域：agent-frameworks ｜ 去向：feeds（喂养并修订「单变量对照」铁律：与 10-26 期④「harness 不能脱离模型单独评」衔接，本期把「上限 / 不匹配」给成可算的两个量）｜ 等级：🟡

来源：🟡 预印本（2026-10-28 直读 arXiv 全文 HTML，CC BY 4.0）https://arxiv.org/abs/2610.37255 《Your Policy Is Secretly a Harness: The Decision Geometry of Agent Interfaces》arXiv:2610.37255v1 [cs.LG] 27 Oct 2026，作者 Jian Mu、Ruibo Shen、Yao Shu（HKUST (Guangzhou) / HKUST）（原文含：最优策略 log odds 复原 harness 相对偏好；deployed return = ceiling − mismatch，「Training changes only the mismatch, while changing the harness moves both terms」；Table 1 全部变体：Original 0.0% / 85.0%、Reversed fields 52.0% / 19.2%、Menu as list 9.2% / 86.0%、Shifted codes 27.7% / 57.1%、Reversed codes 30.0% / 68.2%、Permuted codes 25.3% / 67.6%；Table 2 五 harness × C̃/M̃/C̃−M̃/Accuracy：Terminus-2 0.431/0.134/0.297/64.1±5.1、mini-SWE-agent 0.631/0.335/0.296/59.8±7.8、DeepSeek Harness 0.590/0.382/0.208/54.7±3.9、Pi coding-agent 0.383/0.206/0.177/51.3±2.6、DeepAgents 0.261/0.429/−0.168/47.9±3.9（Spearman ρ = 0.7 / −0.7 / 1.0）；Terminal-Bench Lite 39 tasks、三次独立运行；teacher = GPT-5.6-luna；八次提前登记的迁移「T − r₂ orders the gains with Spearman ρ = 0.95」vs「frozen return change with ρ = 0.17」；DeepAgents「nearly three times as many model calls」）https://github.com/2020-qqtcg/HRP （代码）

④ 文档模型的 13 种归因方法里只有一种经得起全指标检验，而两个最常用指标本身被判不可靠（DFKI，arXiv 2610.36929，2026-10-27）

解释模型的工具，自己也需要被解释一遍。 德国 DFKI / RPTU 的 Saifullah Saifullah、David Dembinsky、Stefan Agne、Andreas Dengel、Sheraz Ahmed 在 2026-10-27 提交的 DocXEval 是第一个把可解释性（XAI）系统地搬到「多模态文档理解」上的评测框架：文档模型的输入是文本、版面坐标、图像三股异构特征，每种模态的 baseline 与特征聚合方式都得单独定（作者按「模型对哪种 baseline 最不敏感」来选：文本用 [MASK]、空间位置用 Zero Embedding、图像用 Mean），并且为语义实体识别这类多目标任务做了低成本适配——一次前向就能同时累计 K 个目标的归因，无需重复跑 K 次。评测规模：13 个 XAI 方法 × 3 个任务（CLS / SER / QA，共 8 个数据集：RVL-CDIP、Tobacco3482、DocLayNet／FUNSD、CORD、SROIE、WildReceipts／DocVQA）× 4 个模型（BERT、RoBERTa、LiLT、LayoutLMv3）× 17 个指标。结果：基础反向传播类方法全线垫底；13 个里只有 OCC（遮挡，扰动类）、RA（注意力类）、IG（梯度类） 三个不同家族的方法站住，把定量与定性一起看时只有 OCC 最可靠（IG 会把重要性摊平到整段文本，RA 给不出位置级与版面级归因）。元评估那层更有意思：aopc、faith-est、abpc、faith-corr、suf、sens-n 之间中等至强一致，而 Monotonicity（mon）与 Infidelity（infid）与任何其它指标都不正相关，深入检查后判定为不可靠。多目标适配的成本账也很硬：SER 任务上「无序」类指标降到约 10–13 ms / 样本·目标，而「有序」类指标因为无法这样适配仍要 约 2,287 ms，差出 176–229 倍。诊断部分给出三条模型行为：模态贡献随任务与标签变化、模型对任务无关特征有依赖、以及可能的数据集偏置。

认知价值：① 「归因方法能不能信」不是一个方法问题，是一个矩阵问题。 13 个方法在 3 任务 × 8 数据集 × 4 模型上互相统计不可区分——作者的原话是 practitioner 不该在单点上排名方法。要下结论，必须在多数据集多模型上同时过一遍，这和我们评测铁律里「单变量对照 + 多 seed」是同一条，只是对象换成了归因工具。② 度量工具本身要先被评测。 mon 与 infid 这两个在文献里很常见的指标，在这里被判为不可靠——和 10-27 期⑤ SmoothScore（「评测的评测」）是同一套方法论，一周内第二次出现：任何分数体系，只要有人认真去查它的一致性，就一定会查出坏指标。③ 工程上直接可用的结论：先用 OCC 分模态，再用梯度类看细节。 文档解析管线出错时，先用遮挡法把责任分到 text / layout / image 三栏（OCC 最忠实、最好读），别拿 IG 的热力图当结论——它会把重要性抹匀。④ 多目标适配那 176–229 倍，是这类工具能不能进产线的分水岭。 一份发票有几十个字段，逐字段跑归因的成本是分钟级，一次前向累计就变成秒级。能不能批量，决定它是不是只存在于论文里。 ⑤ 边界：四个模型里只有两个是文档专用多模态、只有一个吃全四模态（BERT/RoBERTa 是纯文本基线），DocFormer、TiLT 等因未开源权重无法纳入——结论对今天的 3B 级端到端文档 VLM（如昨天写过的 Unlimited OCR 2 那类）尚未覆盖；指标之间的一致性是相关性结论，不等于有效性证明。

领域：ocr-doc ｜ 去向：related（挂钩 10-27 期② Unlimited OCR 2：那期算的是长文档解析的显存与延迟账，这条讲解析出错时怎么把责任分到模态上；两者合起来才是文档智能的完整成本表）｜ 等级：🟡

来源：🟡 预印本（2026-10-28 直读 arXiv 全文 HTML，CC BY 4.0）https://arxiv.org/abs/2610.36929 《DocXEval: A Systematic Evaluation of Explainability in Multimodal Document Understanding》arXiv:2610.36929v1 [cs.CL] 27 Oct 2026，作者 Saifullah Saifullah、David Dembinsky、Stefan Agne、Andreas Dengel、Sheraz Ahmed（DFKI SDS / RPTU Kaiserslautern-Landau）（原文含：13 XAI 方法 × 3 任务 × 8 数据集 × 4 模型 × 17 指标；任务定义「CLS, SER, and QA」与数据集清单（RVL-CDIP / Tobacco3482 / DocLayNet；FUNSD / CORD / SROIE / WildReceipts；DocVQA）；「only OCC stood out as the most reliable overall」、IG「tended to spread importance across the entire…」、RA 不出 position/layout 级归因；「Monotonicity (mon) … and Infidelity (infid) … showed no positive correlation with any other metric … unreliable」；模态 baseline 选择（[MASK] / Zero Embedding / Mean image，按模型敏感度最低原则）；多目标适配「约 10–13 ms per sample-target」vs「ordered metrics remain at approximately 2,287 ms」「speedups of 176–229×」；limitation「only four models … only two are document-specific multimodal models and only one processes all four modalities」＋「all evaluated models are Transformer-based, and our findings may not generalize to other model families」；多目标适配的边界：aopc、suf、mon、faith-est、eff-comp 因扰动顺序依赖各目标各自的归因分数，无法多目标化）｜⚠️ 论文声明代码已公开，但 arXiv v1 正文与 PDF 里的链接均为占位符（this https URL），未拿到可访问地址，本刊不写入无地址的「开源」说法

⑤ 评估预算砍掉一半，选出来的 agent 脚手架反而略好——前提是「搜索时的反馈」和「最终的选拔」分开记账（HKU 等，arXiv 2610.37276，2026-10-27）

评估在脚手架演化里干两份工，多数人只按一份给它记预算。 香港大学 Sichun Luo 等十人（含中移动九天研究院、香港城大、CMU、清华）在 2026-10-27 提交的论文把「LLM 驱动的 agent scaffold 演化」里评测的两种用途拆开：搜索时给反馈（决定下一个候选往哪改）与最终选谁（决定交付物）。全量评测每个候选的执行成本很高。他们的实验结论是：稀疏反馈足以维持演化有效，而最终选拔需要额外的定向评测；回放分析还指出，候选彼此接近时能不能比出高低，取决于两点——共享的高信息量题目 与 共同的打分参照。据此提出的 EvalAlloc：先用一小段全量评测做 warm-up，一次性定下「共享的信息核」并标定一个 response model（搜索期间题目参数冻结）；搜索阶段只给稀疏反馈；搜索结束后重新拟合模型，并用成对 successive halving 做最终确认（4 轮，题目前缀 30 / 60 / 120 / 300，候选保留 30 / 15 / 8 / 1），复用已有观测、只补缺失单元。实测：4 个基准（HotpotQA、HoVer、DROP、IFBench；各 300 题 SEARCH / 150 DEV / 300 TEST）× 2 个演化框架（ShinkaEvolve、AdaEvolve）× 3 次独立运行——约一半的评估单元，多数设置的 TEST 均值持平或略高于全量评测，并在跨基准平均上优于 Random 与 Cascade 两种分配策略。

认知价值：① 「评测成本」要按用途切成两笔。 搜索要的是方向对（稀疏够用），选拔要的是排序准（必须窄而深）。把两者当同一件事，就只有「全量评测」和「乱猜」两个选项——这是这篇最可迁移的一句。② 可比性来自「大家看同一批题」。 不同候选如果看的是不同子集，分数就没法比;EvalAlloc 的前 10 个候选全量评测 + 固定信息核，本质是在造一个公共坐标系。这条直接对应我们「同 seed、同提示词、同参数」的对照铁律——单变量不只是变量少，还得是同一把尺子。 ③ 省的是单元数，不是可靠性。 论文写的是「多数设置持平或略高」，不是「处处更好」；三次独立运行、四个偏 QA/指令类的基准、两个演化框架。读作「半价不亏」，不要读成「更便宜更好」。 ④ 这套预算逻辑可以直接搬到我们的评测日：先用一小批全量跑出「信息核」（哪 30–60 道题最能区分模型），之后新模型只在核上跑 + 结尾定向补题，能把一天多次换模型的成本压下来。⑤ 边界：只覆盖 scaffold 演化（不改模型权重），基准集中在检索问答与指令遵循；successive halving 依赖「候选质量可分」这个前提，若候选普遍同质，配对筛选的优势会缩小。

领域：eval-evidence ｜ 去向：feeds（喂养「评测预算分配」方法论 + 我们自己的评测日流程改造：与 10-27 期⑤ SmoothScore「评测的评测」同线，一条管结论硬不硬、一条管预算花在哪）｜ 等级：🟡

来源：🟡 预印本（2026-10-28 直读 arXiv 全文 HTML）https://arxiv.org/abs/2610.37276 《Where Should the Evaluation Budget Go in LLM-Driven Agent Scaffold Evolution?》arXiv:2610.37276v1 [cs.LG] 27 Oct 2026，作者 Sichun Luo、Yi Huang、Mukai Li、Haochen Luo、Guanzhi Deng、Haibo Wang、Jian Xu、Zefa Hu、Junlan Feng、Qi Liu（HKU / JIUTIAN Research, China Mobile / CityU HK / CMU / Tsinghua）（原文含：方法名 EvalAlloc；「sparse feedback can sustain productive evolution, while additional targeted evaluation improves final selection」；四个基准 HotpotQA / HoVer / DROP / IFBench，各 300 SEARCH / 150 DEV / 300 TEST；两个演化框架 ShinkaEvolve / AdaEvolve；「approximately half as many evaluation cells」、三次独立运行；warm-up + 固定题参的 response model + 事后 refit + 成对 successive halving（R = 4，前缀 30/60/120/300，保留 30/15/8/1）；回放分析 24 条轨迹、每轨迹 3 次回放）