方法论

这一页说明我们怎么做（不是内容本身）：测什么、不测什么、怎么测、数字从哪来、以及品牌口径的边界。 它是需求 R-08 来源与口径 的落点，与每期「来源表」和「实测与复现」页互为一体。

测什么

• 效率：能跑、跑多久、跑几次、错在哪 —— 效率是衡量标准，不是模型榜单排名。
• 可复现：被测对象得能重跑（有环境、有原始输出），否则不进证据层。
• 框架与协议层：Agent 框架、工具协议、上下文与权限边界这类工程上会咬人的地方。
• 诚实边界：我们自己也说不清的地方，写清「不知道 / 没验证」，而不是补一句场面话。

不测什么

• 不做二手搬运：论文与厂商数字只作为「来源」出现，不冒充我们的实测。
• 不做跑分堆砌：不追榜单名次，不拿第三方榜单代替自己的判断。
• 不做前提不统一的对比：工具对决统一底层模型；跨厂商比行为要求同日同协议，不比速度。
• 不造数据：拿不到原始记录就不给结论；早期条目本地没有留存原始文件的，页面老实写「未收录」。
• 不做流量化选题：不效仿泛流量号的做法 —— 效仿即失去本真。

怎么测

1. 先定判据再跑：判据预注册在前，照着判据跑；跑完不为好看而改判据。
2. 判据改了要留痕：加强判据只作用于已采集数据，方向是更严（例：某项判据由 v1.0 加强为 v1.1）。
3. 一轮两遍：对局类按 A-B-B-A 各跑两轮，两轮都留，不挑好看的那次。
4. 原始记录落盘并公开：脚本、逐次运行记录、日志、状态文件都留，公开到 cnopens/ruiowl-evidence；链接为带 commit SHA 的固定链接（防漂移）。
5. 本地与云不混评：每条读数都标运行环境，两边的数字不放在一起比。
6. 先自评、再联审：结论先过自评，再与人联审；额度先预告，冻结跑完不再改判据。

来源与数据红线

来源表口径：一行 = 一个可核出处；无链接者（本地源码路径 / 内部原始记录）同属一手。

← 表格可左右滑动查看

红线：非自有数据必标来源；不编链接、不造文件、不补标等级（老期原文没标的留空）；公司数据与代码、任何密钥、机器绝对路径、内网地址一律不外发。

品牌口径

锐Owl，观察者，解构者，传播者。

定位：AI 科技 / 深度学习 / 框架评测 —— 源码证据 + 机制拆解 + 诚实边界。

内容单位是「一期一页」：一期内 长文 + 关键实测数据 + 一手来源 同页呈现；视频只给 B站 外链，站内不自托管片源。

合作与联系

合作、供稿、勘误与转载，走下面三条官方渠道（都是官方，不含任何第三方转述渠道）：

← 表格可左右滑动查看

邮箱已开通（见上）。官网微信二维码待上传 —— 没开通的不写成「已开通」。