← Archive
lm-004974 · 2026-11

真正的 AI 成長如何測量：認知計算效率與 A_B_N Benchmark

zh-Hant · md Raw source ↗ Metadata ↗
下載 MD 檔 ⬇

真正的 AI 成長如何測量：認知計算效率與 A/B/N Benchmark

系列：AI 認知成長與計算甜蜜區系列（5/7）
英文題名：How to Measure Real AI Growth: Cognitive Compute Efficiency and the A/B/N Benchmark
版本：v0.1
日期：2026-10-07
語言：zh-TW

作者： Neo.K
機構： EveMissLab／一言諾科技有限公司

摘要

當代 AI 的最終任務表現已不再由單一模型權重決定。推理時間計算、代理數量、工具、搜尋、context management、harness、verification、重試次數與 wall-clock time，都可以顯著改變同一模型的可觀察能力。因此，單一 benchmark score 已逐漸無法回答一個更基本的問題：

新一代 AI 究竟是真的具有更高的內在認知效率，還是只是使用了更多計算、更長時間與更多代理？

本文提出一套可跨模型世代長期沿用的 A/B/N Cognitive Scaling Benchmark。核心做法是：對固定任務集合，在標準化 harness 下，分別測量單代理、少量代理與逐步擴大的多代理系統，並同時控制或完整記錄總 token、推理成本、wall-clock time、工具使用、context、重試與驗證成本。

本文進一步提出 Cognitive Compute Efficiency（CCE） 作為核心概念，將「達到指定品質所需的最小計算成本」作為 AI 成長的重要測量軸：

CCE(q)=1min⁡C:Q≥q\boxed{ CCE(q) = \frac{ 1 }{ \min C:Q\ge q } }

並將跨世代真正的認知進步定義為能力—資源 Pareto frontier 的向左上移動，而不是單純 benchmark score 上升。

本文同時區分兩種合法但不同的評測：

Controlled Intrinsic Evaluation\text{Controlled Intrinsic Evaluation}

與：

Maximum-Elicitation System Evaluation.\text{Maximum-Elicitation System Evaluation}.

前者回答：

在相同條件下，模型本體進步多少？

後者回答：

在合理可用的最佳系統配置下，這一代 AI 最多能完成多少事情？

只有同時保留兩者，才能避免把「真實產品能力」與「內在模型能力」混為一談。

1. 為什麼單一 benchmark score 已經不夠？

傳統 benchmark 常以：

Q(M)Q(M)

表示模型：

MM

的能力。

例如：

Q(MA)=82.1,Q(M_A)=82.1, Q(MB)=88.7.Q(M_B)=88.7.

於是自然推論：

MB>MA.M_B>M_A.

但對現代 agentic AI 而言，更合理的形式其實是：

Q=Q(M,C,N,T,H,U,V,R),Q = Q( M, C, N, T, H, U, V, R ),

其中：

  • MM：基礎模型；
  • CC：總推理計算；
  • NN：代理或獨立 sampling 數；
  • TT：wall-clock time 或允許的長時程；
  • HH：harness 與 orchestration；
  • UU：工具、搜尋、程式執行、外部記憶；
  • VV：verifier、judge、selection mechanism；
  • RR：retries、rollouts 或 repeated attempts。

因此：

QB>QAQ_B>Q_A

不再能直接推出：

IB>IA,I_B>I_A,

其中：

II

代表模型本體的 intrinsic cognitive capability。

2. 現代評測已經承認能力具有資源依賴性

2026 年 OpenAI 關於第三方 frontier-model 評測的方法論已明確指出：

現代模型的 observed capability 會受到 harness 與 budget 實質影響。

例如：

  • context 是否被保留；
  • failed actions 是否可重試；
  • 是否可以使用工具；
  • 是否有 compaction；
  • token budget；
  • attempts；
  • wall-clock time。

當增加 budget 後表現仍持續提升時，單一分數應被描述為：

Q(M,H,C0)Q(M,H,C_0)

而不是：

Qmax⁡(M).Q_{\max}(M).

這代表：

Capability is often resource-dependent.\boxed{ \text{Capability is often resource-dependent.} }

評測因此必須報告：

model+harness+budget+tools+time.\text{model} + \text{harness} + \text{budget} + \text{tools} + \text{time}.

這與本文前四篇的核心命題一致。

3. 評測必須先說清楚自己到底想測什麼

本文主張至少存在兩種不同但都合理的能力問題。

3.1 Controlled Intrinsic Evaluation

問題是：

在外部條件盡可能相同時，新模型本身比舊模型強多少？

此時應控制：

C,N,T,H,U,V,R.C, N, T, H, U, V, R.

比較：

Q(M1)Q(M_1)

與：

Q(M2).Q(M_2).

這類測試最接近：

Intrinsic Cognitive Progress.\boxed{ \text{Intrinsic Cognitive Progress}. }

3.2 Maximum-Elicitation System Evaluation

問題是：

如果給這個系統合理而強的 harness、工具與計算預算，它最多能完成多少事情？

此時可以讓不同模型使用最適合自己的：

HM,CM,UM.H_M, C_M, U_M.

最後比較：

Qsys.Q_{\text{sys}}.

這測量的是：

Best Practical System Capability.\boxed{ \text{Best Practical System Capability}. }

它對產品、科學研究與實際部署極其重要。

4. 兩種評測不能互相取代

若只做 controlled evaluation，

可能低估模型真正可被引出的能力。

若只做 maximum elicitation，

又無法判斷能力提升到底來自：

MM

還是：

C,N,H,U,T.C,N,H,U,T.

因此理想報告應同時包含：

Qcontrolled\boxed{ Q_{\text{controlled}} }

以及：

Qmax-elicited.\boxed{ Q_{\text{max-elicited}}. }

兩者之差：

AM=Qmax-elicited−QcontrolledA_M = Q_{\text{max-elicited}} - Q_{\text{controlled}}

可以理解為該模型的：

System Amplification Margin.\boxed{ \text{System Amplification Margin}. }

這個量本身也很有研究價值。

5. A/B/N Benchmark 的基本設計

本文提出：

A/B/N Cognitive Scaling Benchmark.\boxed{ \text{A/B/N Cognitive Scaling Benchmark}. }

它不是傳統產品 A/B test 的簡單延伸，而是一套代理數量與計算尺度實驗。

對固定任務：

TT

設：

A 組：單代理

N=1.N=1.

只有一個獨立 AI context。

可使用固定工具與固定推理預算。

B 組：少量獨立代理

例如：

N=10.N=10.

建立十個盡可能獨立的 context，

最後由固定 merge / verifier protocol 整合。

N 組：逐步擴張

測試：

N∈{1,2,4,10,32,100,300,1000,3000,10000}.N \in \{ 1, 2, 4, 10, 32, 100, 300, 1000, 3000, 10000 \}.

必要時可延伸：

105,106.10^5, 10^6.

真正得到的是：

Q(N),Q(N),

而不是單一點。

6. 為什麼要用「不同對話」而不只用同一個母代理的 subagents？

如果：

A0A_0

先建立問題理解，

再派出：

A1,…,AN,A_1,\ldots,A_N,

所有代理可能繼承：

A0A_0

的初始假設。

若：

A0A_0

錯了，

就可能得到：

N×correlated error.N \times \text{correlated error}.

因此本文建議至少有兩種 N-test。

6.1 Hierarchical Condition

A0→A1,…,AN.A_0 \rightarrow A_1,\ldots,A_N.

測量實際常見的 orchestrated multi-agent system。

6.2 Independent-Context Condition

Ai⊥AjA_i \perp A_j

在初始推理上盡可能獨立。

每個代理直接看到：

TT

與相同外部資源，

最後才進行 merge。

這比較接近測量：

Independent Cognitive Diversity.\boxed{ \text{Independent Cognitive Diversity}. }

兩者的差異可以定義為：

ΔQindependence=Qindependent−Qhierarchical.\Delta Q_{\text{independence}} = Q_{\text{independent}} - Q_{\text{hierarchical}}.

7. Benchmark 不能只固定 Agent Count

即使：

NN

固定，

系統仍可能透過更多：

CC

提高能力。

因此應同時建立 compute grid：

C∈{C1,C2,C3,…,Ck}.C \in \{ C_1, C_2, C_3, \ldots,C_k \}.

得到：

Q(N,C).Q(N,C).

若再加入 wall-clock time：

T,T,

則完整能力面為：

Q(N,C,T).\boxed{ Q(N,C,T). }

跨世代模型則變成：

QM(N,C,T).\boxed{ Q_M(N,C,T). }

這才是本文認為應長期保存的核心資料。

8. 固定單代理 Budget 與固定總 Budget

多代理測試必須至少分成兩種 regime。

8.1 Per-Agent Fixed Budget

每個 agent 擁有固定：

Ca.C_a.

因此：

Ctotal=NCa.C_{\text{total}} = NC_a.

這測量：

如果願意投入更多總計算，多代理最多能提高多少能力？

它對：

maximum elicitation\text{maximum elicitation}

很有價值。

8.2 Total Fixed Budget

固定：

Ctotal.C_{\text{total}}.

因此每個代理平均只有：

Ca=CtotalN.C_a = \frac{ C_{\text{total}} }{ N }.

這測量：

在相同總計算下，單代理與多代理哪種組織方式更有效？

它對：

cognitive efficiency\text{cognitive efficiency}

更重要。

9. Quality 不能只是一個平均 accuracy

不同任務需要不同品質定義。

可建立：

Q=F(Qcorrect,Qcomplete,Qrobust,Qnovel,Qverified).Q = F( Q_{\text{correct}}, Q_{\text{complete}}, Q_{\text{robust}}, Q_{\text{novel}}, Q_{\text{verified}} ).

其中：

  • QcorrectQ_{\text{correct}}：正確性；
  • QcompleteQ_{\text{complete}}：任務完成度；
  • QrobustQ_{\text{robust}}：在變體與重跑下的穩定性；
  • QnovelQ_{\text{novel}}：真正需要新推理而非記憶重現的能力；
  • QverifiedQ_{\text{verified}}：經外部真值、測試、formal proof 或環境驗證後的有效成果。

不同 benchmark 可以選擇不同組合。

10. 任務集合必須分層

如果只測高頻人類任務，

會受到系列第二篇的：

Human-Task Coverage\text{Human-Task Coverage}

偏差。

因此至少應建立：

TH\mathcal T_H

高頻任務；

TL\mathcal T_L

long-tail 任務；

TN\mathcal T_N

novel 任務；

TC\mathcal T_C

cross-domain 任務；

TO\mathcal T_O

open-world / long-horizon 任務。

並分別測：

QH,QL,QN,QC,QO.Q_H,Q_L,Q_N,Q_C,Q_O.

這樣才能知道模型進步是：

high-frequency completion\text{high-frequency completion}

還是：

global generalization.\text{global generalization}.

11. 成功率不是唯一值得記錄的變數

對每一次 benchmark run，至少應保存：

  1. model identifier；
  2. reasoning setting；
  3. task identifier；
  4. harness version；
  5. tools；
  6. context limit；
  7. agent count；
  8. agent topology；
  9. total input tokens；
  10. total output tokens；
  11. cached tokens；
  12. tool calls；
  13. retries；
  14. verifier calls；
  15. wall-clock time；
  16. monetary cost；
  17. estimated compute；
  18. success / failure；
  19. quality score；
  20. final artifact hash；
  21. failure category；
  22. duplicated search ratio；
  23. human intervention count。

如此才能重建真正的：

Q(N,C,T).Q(N,C,T).

12. Cognitive Compute Efficiency

本文定義：

CCE(q)=1C∗(q)\boxed{ CCE(q) = \frac{ 1 }{ C^\ast(q) } }

其中：

C∗(q)=min⁡{C:Q(C)≥q}.C^\ast(q) = \min \left\{ C: Q(C)\ge q \right\}.

直觀而言：

達到品質 qq 所需的最小計算越低，認知計算效率越高。

實務報告可做 normalization，不必直接使用極小數值。

13. 為什麼固定品質比固定 Budget 更有資訊量？

傳統 benchmark 常固定：

C=C0C=C_0

然後比較：

Q.Q.

這是必要的。

但另一種更接近實際部署的問題是：

我要達到 95%95\% 品質，最低需要多少成本？

即：

q=0.95.q=0.95.

比較：

CM1∗(0.95)C_{M_1}^\ast(0.95)

與：

CM2∗(0.95).C_{M_2}^\ast(0.95).

如果：

CM2∗(0.95)=1100CM1∗(0.95),C_{M_2}^\ast(0.95) = \frac{ 1 }{ 100 } C_{M_1}^\ast(0.95),

這是一個非常強的進步訊號。

14. Cost-of-Pass 與本文 CCE 的關係

ICLR 2026 的 Cost-of-Pass framework 定義：

v(m,p)=Cm(p)Rm(p),v(m,p) = \frac{ C_m(p) }{ R_m(p) },

其中：

Cm(p)C_m(p)

是一次嘗試的預期成本，

Rm(p)R_m(p)

是成功率。

因此：

v(m,p)v(m,p)

表示取得一個正確解答的期望金錢成本。

這與本文高度相容。

差異在於：

Cost-of-Pass 主要建立經濟成本框架，

本文 CCE 更希望作為跨：

  • compute；
  • agents；
  • time；
  • harness；
  • model generation；

的認知效率測量骨架。

因此可以把 Cost-of-Pass 看成：

CCE Framework 的貨幣成本投影之一.\boxed{ \text{CCE Framework 的貨幣成本投影之一}. }

15. 不應把所有資源壓成單一成本

金錢成本非常重要，

但價格會隨：

  • API 定價；
  • 硬體；
  • 能源；
  • 地區；
  • provider；

變化。

所以原始 benchmark 應保存多個 primitive measures：

C=(Ctokens,CFLOPs,Ctime,Cenergy,Cmoney,Cagents).\mathbf C = ( C_{\text{tokens}}, C_{\text{FLOPs}}, C_{\text{time}}, C_{\text{energy}}, C_{\text{money}}, C_{\text{agents}} ).

不同研究者可以再投影成：

Ceconomic,C_{\text{economic}}, Ccompute,C_{\text{compute}}, Clatency.C_{\text{latency}}.

這比只保存美元成本更適合長期跨世代比較。

16. Agent Efficiency

固定品質：

qq

時，

定義：

NM∗(q)=min⁡{N:QM(N)≥q}.N^\ast_M(q) = \min \left\{ N: Q_M(N)\ge q \right\}.

若新模型：

Mt+1M_{t+1}

真正更有單體能力，

應看到：

NMt+1∗(q)<NMt∗(q).N^\ast_{M_{t+1}}(q) < N^\ast_{M_t}(q).

可以定義：

AE(q)=1N∗(q).AE(q) = \frac{ 1 }{ N^\ast(q) }.

作為簡化的 Agent Efficiency。

但它必須與：

CC

一起看，避免一個超昂貴單代理假裝高效率。

17. Time Efficiency

METR 的 Task-Completion Time Horizon 提供了另一個非常重要的軸。

其核心不是測量 AI 實際跑多久，而是估計：

對一個需要人類專家某種時長完成的任務，AI 能以指定可靠度成功到多長的任務尺度？

這提供：

H50,H80H_{50}, H_{80}

等時間地平線。

本文建議將這類能力與實際 AI 執行成本分開記錄：

Hhuman-equivalentH_{\text{human-equivalent}}

描述任務難度，

而：

TAIT_{\text{AI}}

描述 AI 真正花費的 wall-clock time。

因此可以測：

Hhuman-equivalentTAI\frac{ H_{\text{human-equivalent}} }{ T_{\text{AI}} }

作為某種時間替代效率。

18. 長時程能力不能只看 Prompt 長度

一個：

20 tokens20 \text{ tokens}

的 prompt：

完成這個 repository 的重構。

可能觸發：

5 小時5 \text{ 小時}

的 agent loop。

所以：

∣prompt∣|\text{prompt}|

完全不能代表：

TAIT_{\text{AI}}

或：

CAI.C_{\text{AI}}.

Benchmark 必須直接保存：

TAI,CAI,NAI.T_{\text{AI}}, C_{\text{AI}}, N_{\text{AI}}.

「一句話完成」只代表 interface compression，

不是 cognition normalization。

19. Cross-Generation Capability Surface

對每一代模型：

MtM_t

建立：

Qt(N,C,T).Q_t(N,C,T).

這是一個三維以上能力面。

如果新模型真正進步，

理想情況：

Qt+1(N,C,T)>Qt(N,C,T)Q_{t+1}(N,C,T) > Q_t(N,C,T)

在大量相同資源區域成立。

更直觀地說：

新模型的等品質面：

Q=qQ=q

應往：

less compute,fewer agents,less time\text{less compute}, \text{fewer agents}, \text{less time}

方向移動。

20. 真正的認知進步是「左上移」

若只看：

QQ

與：

C,C,

可以畫出 capability curve。

舊模型：

Qt(C).Q_t(C).

新模型：

Qt+1(C).Q_{t+1}(C).

真正好的進步是：

Qt+1(C)>Qt(C)\boxed{ Q_{t+1}(C) > Q_t(C) }

並且：

Ct+1(q)<Ct(q).\boxed{ C_{t+1}(q) < C_t(q). }

圖像上就是：

Pareto Frontier 向左上移動.\boxed{ \text{Pareto Frontier 向左上移動}. }

左：

更低成本.\text{更低成本}.

上：

更高品質.\text{更高品質}.

21. 什麼情況是假性能力增長？

假設：

Qt=0.90,Q_t=0.90, Ct=1.C_t=1.

下一代：

Qt+1=0.92,Q_{t+1}=0.92,

但：

Ct+1=100.C_{t+1}=100.

這仍然是：

Q↑.Q\uparrow.

但：

CCE↓.CCE\downarrow.

所以更準確的描述應是：

系統最大能力提高，但認知計算效率下降。

這與：

AI 本體變得更有效率。

是兩個不同結論。

22. 什麼情況是真正強烈的認知進步？

假設舊模型：

Qt(C=100)=0.95.Q_t(C=100)=0.95.

新模型：

Qt+1(C=10)=0.95.Q_{t+1}(C=10)=0.95.

同時：

Qt+1(C=100)=0.99.Q_{t+1}(C=100)=0.99.

那麼新模型同時做到：

same quality at lower cost\text{same quality at lower cost}

與：

higher quality at same cost.\text{higher quality at same cost}.

這是非常強的：

Cognitive Efficiency Improvement.\boxed{ \text{Cognitive Efficiency Improvement}. }

23. A/B/N Benchmark 的標準實驗矩陣

對每個模型：

MM

可以設計：

N∈{1,2,10,100,1000}N \in \{ 1,2,10,100,1000 \}

以及：

C∈{1×,2×,10×,100×}C \in \{ 1\times, 2\times, 10\times, 100\times \}

以及：

T∈{5m,30m,2h,8h}.T \in \{ 5m, 30m, 2h, 8h \}.

形成：

5×4×4=805\times4\times4 = 80

個主要 configuration。

每個 configuration 再：

rr

次重複，

估計：

E[Q],\mathbb E[Q], Var⁡(Q).\operatorname{Var}(Q).

這會比單次 leaderboard score 提供大量額外資訊。

24. 為何需要重複實驗？

LLM 與 agent system 具有 stochasticity。

同樣配置：

(M,N,C,T)(M,N,C,T)

可能得到不同結果。

所以需要：

r>1.r>1.

得到：

Q^=1r∑i=1rQi.\hat Q = \frac{ 1 }{ r } \sum_{i=1}^{r}Q_i.

以及 confidence interval。

否則：

QA>QBQ_A>Q_B

可能只是 sampling noise。

25. 成功一次與穩定成功是不同能力

若：

P(success)=0.1,P(\text{success})=0.1,

大量重試：

N=100N=100

幾乎一定可以找到成功案例。

但這與：

P(success)=0.95P(\text{success})=0.95

的單代理完全不同。

因此 benchmark 應同時報告：

Pass@1,Pass@1, Pass@k,Pass@k,

以及：

Cpass.C_{\text{pass}}.

這可以揭露：

高分是來自高單次可靠度，還是大量抽樣後至少一次成功？

26. Reliability-Adjusted CCE

可以進一步定義：

CCE(q,r)=1min⁡C:P(Q≥q)≥r.CCE(q,r) = \frac{ 1 }{ \min C: P(Q\ge q)\ge r }.

例如：

q=0.95,q=0.95, r=0.9.r=0.9.

意思是：

至少 90%90\% 的重跑都能達到 95%95\% 品質時，最少需要多少計算？

這比只看最佳一次結果更接近真正可部署能力。

27. Harness Sensitivity

對固定模型：

MM

與固定 budget：

C,C,

測試多種 harness：

H1,H2,…,Hk.H_1,H_2,\ldots,H_k.

定義：

HS(M)=Var⁡H[Q(M,H)].HS(M) = \operatorname{Var}_H [ Q(M,H) ].

若：

HSHS

很高，

代表模型能力高度依賴外部 orchestration。

若下一代模型：

HS↓HS\downarrow

但平均品質：

Q↑,Q\uparrow,

這可能表示模型本身已內化更多原本需要 harness 補足的能力。

28. Tool Dependence

同理可測：

Q(M,Unone)Q(M,U_{\text{none}})

與：

Q(M,Ufull).Q(M,U_{\text{full}}).

定義：

TD=Q(M,Ufull)−Q(M,Unone).TD = Q(M,U_{\text{full}}) - Q(M,U_{\text{none}}).

Tool Dependence 高不一定是壞事。

工具使用本身是合理能力。

但跨世代比較時，

TDTD

可以幫助判斷：

模型是不是本身學會更多，還是主要因工具變強？

29. Agentic Amplification Factor

定義：

AAF(N)=Q(N)−Q(1)C(N)−C(1).AAF(N) = \frac{ Q(N)-Q(1) }{ C(N)-C(1) }.

此量表示：

額外 multi-agent compute 的平均能力收益。

更精細地：

AAFmarginal(N)=∂Q∂CN.AAF_{\text{marginal}}(N) = \frac{ \partial Q }{ \partial C_N }.

若：

AAFmarginal→0,AAF_{\text{marginal}} \rightarrow0,

則進入系列第四篇定義的：

Agent Saturation.\text{Agent Saturation}.

30. Intrinsic Progress Ratio

為了粗略區分本體進步與系統放大，

可定義跨世代：

IPR=ΔQcontrolledΔQmax-elicited.IPR = \frac{ \Delta Q_{\text{controlled}} }{ \Delta Q_{\text{max-elicited}} }.

若：

IPR≈1,IPR\approx1,

代表大部分外部觀察到的進步，在受控條件下也存在。

若：

IPR≪1,IPR\ll1,

代表大量增益來自更高 budget、更多 agents、工具或 harness。

此指標不能單獨使用，因為不同能力區域可能具有 ceiling effect，但它可以作為診斷量。

31. Search-to-Structure Conversion Ratio

系列第四篇提出：

大規模 swarm 最有價值的狀態不是永遠重跑，而是把成果內化。

因此可以設計跨世代重複任務族：

F.\mathcal F.

如果第 tt 代需要：

Ct,C_t,

下一代：

Ct+1C_{t+1}

完成同類新問題。

定義：

SSCR=1−Ct+1Ct.SSCR = 1- \frac{ C_{t+1} }{ C_t }.

若：

SSCR>0,SSCR>0,

表示所需搜尋成本下降。

若長期：

SSCR≈0,SSCR\approx0,

則可能表示系統一直重新搜尋，而沒有真正內化。

這將與系列第六篇直接連接。

32. Benchmark 應防止「已看過答案」

如果要測：

novel cognition,\text{novel cognition},

就必須控制 contamination。

至少需要：

  • private tasks；
  • dynamically generated tasks；
  • future tasks；
  • hidden variants；
  • procedural environments；
  • task families with held-out structural transformations。

因為：

memorized solution\text{memorized solution}

與：

new reasoning\text{new reasoning}

不是同一件事。

33. Benchmark 應防止 Reward Hacking

模型可能：

maximize scorer\text{maximize scorer}

而不是：

solve intended task.\text{solve intended task}.

因此：

QscoredQ_{\text{scored}}

與：

QintendedQ_{\text{intended}}

必須被抽樣人工或外部 verifier 檢查。

尤其 agent system 可以操作環境時，

更需要：

  • hidden checks；
  • adversarial validators；
  • artifact inspection；
  • environment state verification。

否則：

QQ

本身就不是可信的因變量。

34. Benchmark 不應只比較平均值

假設模型 A：

μA=0.90,\mu_A=0.90, σA=0.20.\sigma_A=0.20.

模型 B：

μB=0.88,\mu_B=0.88, σB=0.02.\sigma_B=0.02.

某些部署可能更偏好：

B.B.

所以應保存：

μ,σ,Pcatastrophic,Phigh-quality.\mu, \sigma, P_{\text{catastrophic}}, P_{\text{high-quality}}.

真正能力曲線應包含 reliability。

35. Pareto Frontier 才是最重要的最終輸出

對每個模型／系統，

得到一組配置：

si.s_i.

每個配置對應：

(Qi,Ci,Ti,Ni).( Q_i, C_i, T_i, N_i ).

若存在另一配置：

sjs_j

滿足：

Qj≥Qi,Q_j\ge Q_i, Cj≤Ci,C_j\le C_i, Tj≤Ti,T_j\le T_i,

且至少一項嚴格更好，

則：

sis_i

被 Pareto dominated。

真正值得保留的是：

PM=Pareto⁡(Q,−C,−T,−N).\boxed{ \mathcal P_M = \operatorname{Pareto} ( Q, -C, -T, -N ). }

跨世代 AI 進步就是比較：

PMt\mathcal P_{M_t}

與：

PMt+1.\mathcal P_{M_{t+1}}.

36. 什麼叫「真正的曲線向外推進」？

若新模型：

Mt+1M_{t+1}

在所有重要品質區間都有：

Ct+1(q)<Ct(q),C_{t+1}(q) < C_t(q),

而且高 budget 上：

Qt+1max⁡>Qtmax⁡,Q_{t+1}^{\max} > Q_t^{\max},

則表示：

  • 低成本能力提升；
  • 高端能力 ceiling 也提升。

這是最理想的進步。

若只有：

Qmax⁡↑Q_{\max}\uparrow

但：

C(q)↑,C(q)\uparrow,

則表示：

能力上限提升，但效率惡化。

這也應誠實描述。

37. 「指數能力增長」應該重新怎麼說？

若：

Qmax⁡(t)Q_{\max}(t)

快速提高，

不能直接寫：

I(t)∼ekt.I(t) \sim e^{kt}.

至少應同時檢查：

CCEt(q),CCE_t(q), Nt∗(q),N_t^\ast(q), Tt∗(q).T_t^\ast(q).

真正強烈的認知指數成長應呈現：

Qmax⁡↑,Q_{\max}\uparrow,

同時：

C∗(q)↓,C^\ast(q)\downarrow, N∗(q)↓,N^\ast(q)\downarrow, T∗(q)↓.T^\ast(q)\downarrow.

也就是：

AI 不只做到更多， 而且以更少資源做到原本的事情。\boxed{ \text{AI 不只做到更多， 而且以更少資源做到原本的事情。} }

38. 一套最小可行 Benchmark Protocol

若要真的從下一代模型開始長期執行，本文建議最小版本如下。

Step 1：固定任務集

包含：

55

個能力區：

  • high-frequency；
  • long-tail；
  • novel；
  • cross-domain；
  • long-horizon。

Step 2：固定 Harness

建立：

Hstandard.H_{\text{standard}}.

所有模型至少跑一次完全相同的 harness。

Step 3：單代理 Baseline

N=1.N=1.

固定：

C=C0.C=C_0.

得到：

Qbase.Q_{\text{base}}.

Step 4：Agent Scaling

測：

N=1,2,10,100,1000.N= 1,2,10,100,1000.

Step 5：Compute Scaling

對主要：

NN

再測：

C=1×,2×,10×.C= 1\times,2\times,10\times.

Step 6：Maximum Elicitation

允許每個模型使用合理最佳：

H,U,C,N.H,U,C,N.

得到：

Qmax⁡.Q_{\max}.

Step 7：保存完整 Cost Vector

C=(tokens,money,time,agents,toolcalls).\mathbf C = ( \text{tokens}, \text{money}, \text{time}, \text{agents}, \text{toolcalls} ).

Step 8：畫 Pareto Frontier

比較：

PM.\mathcal P_M.

39. 未來可以形成公開的「AI 認知效率年表」

每一代模型都保存：

QM(N,C,T).Q_M(N,C,T).

幾年後就能形成一條非常有價值的歷史資料。

我們可以真正回答：

2027 的 AI 比 2026 的 AI 強多少？

不是只看：

benchmark points,\text{benchmark points},

而是：

same task,same quality,how much less compute?\text{same task}, \text{same quality}, \text{how much less compute?}

例如：

C2026(q)=1000,C_{2026}(q)=1000, C2027(q)=100,C_{2027}(q)=100, C2028(q)=10.C_{2028}(q)=10.

這才是一條真正清楚的認知效率增長曲線。

40. 與 METR Time Horizon 的互補

METR 的方法回答：

AI 可以可靠完成多長的人類等價任務？

本文回答：

AI 完成該能力層級需要多少自身計算、代理與時間？

因此兩者可以組合：

(Hhuman-task,CAI,NAI,TAI,Q).\boxed{ ( H_{\text{human-task}}, C_{\text{AI}}, N_{\text{AI}}, T_{\text{AI}}, Q ). }

這可以避免把：

task difficulty\text{task difficulty}

與：

AI effort\text{AI effort}

混為一談。

41. 與 Cost-of-Pass 的互補

Cost-of-Pass 回答：

得到一個正確答案，平均花多少錢？

本文則希望再問：

這個成本是由什麼構成？

例如：

$100\$100

可能來自：

11

個強模型長時間推理，

或：

10001000

個便宜模型並行搜尋。

兩者經濟成本相同，

但認知架構完全不同。

因此應同時保存：

Economic Efficiency\boxed{ \text{Economic Efficiency} }

與：

Cognitive Architecture Efficiency.\boxed{ \text{Cognitive Architecture Efficiency}. }

42. Benchmark 應該能揭露「甜蜜區」

系列第二與第四篇分別提出：

Sparse Capability Sweet Spot\text{Sparse Capability Sweet Spot}

與：

Multi-Agent Sweet Spot.\text{Multi-Agent Sweet Spot}.

A/B/N Benchmark 可以直接測它們。

若：

Q(N)Q(N)

在：

N=1→10N=1\rightarrow10

快速增加，

但：

N=100→1000N=100\rightarrow1000

幾乎不變，

便看到：

Agent Saturation.\text{Agent Saturation}.

若：

CC

提高十倍只增加極小：

Q,Q,

便看到：

Compute Saturation.\text{Compute Saturation}.

因此甜蜜區不再只是理論概念，

而可以被畫成曲線。

43. Benchmark 甚至可以成為 RSI 的內生科學儀器

未來 RSI 系統可以對自己每一代候選架構：

Mt(1),Mt(2),…M_t^{(1)}, M_t^{(2)},\ldots

自動執行：

Q(N,C,T).Q(N,C,T).

然後比較：

P.\mathcal P.

如果某新架構：

Q↑Q\uparrow

但：

C↑↑↑,C\uparrow\uparrow\uparrow,

系統可以拒絕它。

如果另一架構：

Q≈constant,Q\approx\text{constant},

但：

C↓100×,C\downarrow100\times,

它同樣應被視為重大進步。

因此 benchmark 不只服務人類。

它可以成為：

AI Self-Science Instrument.\boxed{ \text{AI Self-Science Instrument}. }

44. 可證偽命題

本文提出以下可驗證命題。

命題一：跨世代完整系統能力增長會大於受控單體能力增長

若：

ΔQmax>ΔQcontrolled,\Delta Q_{\text{max}} > \Delta Q_{\text{controlled}},

則代表 system amplification 是重要進步來源。

若長期：

ΔQmax≈ΔQcontrolled,\Delta Q_{\text{max}} \approx \Delta Q_{\text{controlled}},

則本文對外部放大的強調需被下修。

命題二：真正更強的模型會降低固定品質所需成本

應看到：

Ct+1∗(q)<Ct∗(q).C_{t+1}^\ast(q) < C_t^\ast(q).

若長期反而：

Ct+1∗(q)>Ct∗(q),C_{t+1}^\ast(q) > C_t^\ast(q),

則「能力增長」可能主要依賴更多計算。

命題三：真正更強的單模型會降低所需 Agent Count

應看到：

Nt+1∗(q)<Nt∗(q).N_{t+1}^\ast(q) < N_t^\ast(q).

命題四：多代理增益存在 task-dependent saturation

∃N∗\exists N^\ast

使：

∂Q∂N→0\frac{\partial Q}{\partial N} \rightarrow0

或轉負。

命題五：最大能力與最高效率不一定屬於同一配置

即：

arg⁡max⁡Q≠arg⁡max⁡CCE.\arg\max Q \neq \arg\max CCE.

這表示 leaderboard 應同時報告：

capability frontier\text{capability frontier}

與：

efficiency frontier.\text{efficiency frontier}.

45. 本文不主張的事情

本文不主張：

  1. 只能在固定 compute 下評估 AI；
  2. maximum elicitation 是不公平的；
  3. 多代理能力不算真正能力；
  4. 使用工具是作弊；
  5. 高成本模型沒有價值；
  6. 所有 AI 任務都能用單一品質指標；
  7. CCE 應取代所有 benchmark。

本文真正主張的是：

任何能力主張都必須附帶其資源條件。\boxed{ \text{任何能力主張都必須附帶其資源條件。} }

46. 與前四篇的統合

第一篇：

Observed Capability≠Intrinsic Cognition.\text{Observed Capability} \neq \text{Intrinsic Cognition}.

第二篇：

Human Task Coverage\text{Human Task Coverage}

可能放大能力觀感。

第三篇：

Physical Capacity≠Effective Cognitive Capacity.\text{Physical Capacity} \neq \text{Effective Cognitive Capacity}.

第四篇：

Nominal Agent Count≠Effective Cognitive Channels.\text{Nominal Agent Count} \neq \text{Effective Cognitive Channels}.

本文將它們轉成可實驗框架：

QM(N,C,T,H,U,V).\boxed{ Q_M(N,C,T,H,U,V). }

因此「AI 成長」終於從敘事問題變成可測量問題。

47. 下一篇：搜尋型 AI 與結構成長型 AI

即使我們已經能測：

Q(N,C,T),Q(N,C,T),

仍然有一個更深問題：

如果 AI 每次都花同樣巨大的搜尋成本重新得到答案，這叫做成長嗎？

下一篇將正式區分：

Search-Scaled AI\boxed{ \text{Search-Scaled AI} }

與：

Structure-Growing AI.\boxed{ \text{Structure-Growing AI}. }

前者：

unknown→more search→solution.\text{unknown} \rightarrow \text{more search} \rightarrow \text{solution}.

後者：

unknown→exploration→internalization→restructuring→lower future search cost.\text{unknown} \rightarrow \text{exploration} \rightarrow \text{internalization} \rightarrow \text{restructuring} \rightarrow \text{lower future search cost}.

而本文建立的：

Ct∗(q)C_t^\ast(q)

正是測量兩者差異的重要工具。

48. 結論

未來判斷 AI 是否真正進步，不能只問：

benchmark 又提高幾分？

而必須同時問：

用了多少計算？\boxed{ \text{用了多少計算？} } 用了多少代理？\boxed{ \text{用了多少代理？} } 用了多少時間？\boxed{ \text{用了多少時間？} } 用了什麼 harness 與工具？\boxed{ \text{用了什麼 harness 與工具？} } 在相同品質下，比上一代省了多少資源？\boxed{ \text{在相同品質下，比上一代省了多少資源？} }

本文最核心的測量式為：

CCE(q)=1min⁡C:Q≥q.\boxed{ CCE(q) = \frac{ 1 }{ \min C:Q\ge q }. }

而最重要的跨世代判準是：

Pt+1≻Pt,\boxed{ \mathcal P_{t+1} \succ \mathcal P_t, }

也就是能力—成本 Pareto frontier 真正向外推進。

因此，真正值得稱為認知進步的 AI，不只是：

能以更多計算完成更多事情.\text{能以更多計算完成更多事情}.

更重要的是：

能以更少的計算， 完成上一代需要更多搜索、更多代理與更長時間才能完成的事情。\boxed{ \text{能以更少的計算， 完成上一代需要更多搜索、更多代理與更長時間才能完成的事情。} }

當我們能長期保存：

QM(N,C,T)Q_M(N,C,T)

的完整能力曲面，

「AI 是否正在指數成長」就不再主要依賴公司敘事、單一 leaderboard 或使用者體感。

它會成為一個真正可以被重複測量、跨世代比較、反駁與修正的科學問題。

參考資料

  1. OpenAI. A shared playbook for trustworthy third party evaluations. 2026-05-29.
    https://openai.com/index/trustworthy-third-party-evaluations-foundations/
    提出 frontier-model 評測應明確報告 harness、tools、budget、tokens、cost、time 與 attempts；並指出能力往往具有 resource-dependence，performance 若隨 budget 繼續上升，不應被描述為已測得 capability ceiling。

  2. Kapoor, S. et al. AI Agents That Matter. Princeton University.
    https://agents.cs.princeton.edu/
    主張 agent benchmark 應進行 cost-controlled evaluation，並以 accuracy–cost Pareto frontier 取代只比較單一 accuracy 的方法。

  3. Erol, M. H., El, B., Suzgun, M., Yuksekgonul, M., & Zou, J. Cost-of-Pass: An Economic Framework for Evaluating Language Models. ICLR 2026.
    https://proceedings.iclr.cc/paper_files/paper/2026/hash/399d54cce01e782192b3d7ecbe607a96-Abstract-Conference.html
    定義：

    v(m,p)=Cm(p)Rm(p),v(m,p) = \frac{ C_m(p) }{ R_m(p) },

    將取得一個正確答案的期望金錢成本作為模型經濟效率指標，並分析 inference-time techniques 的成本效益。

  4. METR. Task-Completion Time Horizons of Frontier AI Models. Updated 2026-05-08.
    https://metr.org/time-horizons/
    以人類專家完成任務所需時間為任務尺度，估計 frontier AI agent 在指定成功率下可完成多長的人類等價任務，並明確指出不同 domain 的 time horizon 並不相同。

  5. Snell, C., Lee, J., Xu, K., & Kumar, A. Scaling LLM Test-Time Compute Optimally Can Be More Effective than Scaling Model Parameters. ICLR 2025.
    說明 test-time compute 本身可以顯著改變模型可被引出的推理能力，因此 inference budget 必須被視為能力評測的重要自變量。

Canonical Source Note

本文件之 UTF-8 Markdown 原始碼為正式 source artifact。數學原始碼僅使用 $...$ 與 $$...$$ 作為 canonical delimiter；不使用 Unicode 數學字元替代 LaTeX source，不進行 unicode escape round-trip，不自行重寫反斜線或 delimiter，不以聊天介面渲染內容取代正式原稿。