IDSLS-07｜Benchmark 之後

從考卷、任務、環境到智能生命週期測量

English Title: Beyond Benchmarks: From Questions and Tasks to Environments and Intelligence Life-Cycle Measurement
系列： Intelligence Developmental States and Learning Substrates（IDSLS）／智能發展態與學習基質論
編號： IDSLS-07
版本： v0.1
日期： 2026-10-05
狀態： Canonical Source / UTF-8 Markdown
作者： Neo.K
機構： EveMissLab Technology Co., Ltd.
協作整理： Aletheia / GPT-5.6 Sol

直接前置：

IDSLS-00《智能發展態與學習基質：從參數尺度到發展性尺度》
IDSLS-01《當 AI 開始進入世界：Agent Web、自主市場活動與行動治理》
IDSLS-02《權威資料之後：AI 時代的學術平台、證據權威與機器可讀研究網路》
IDSLS-03《什麼才是高品質資料：從知識語料到行為、經驗、信任與世界回饋》
IDSLS-04《遊戲作為因果學習基質：人工世界、世界狀態機、反事實重置與可執行經驗》
IDSLS-05《長時程智能：從一次回答到持續行動、失敗修正與世界耦合》
IDSLS-06《可信任代理的發展：隱私、權限、自我約束與人類意圖校準》
SIOFG-01《戰略智能可觀測性悖論：為什麼行為不能直接證明能力邊界》
DCAO-00《AI 的能力到底在哪裡？——動態能力本體論總綱》
MCRE-09《實驗體系與 MVP Benchmark：從多模態耦合到可反駁 AI 原生感知 Runtime》

公司： 一言諾科技有限公司

摘要

人工智能 benchmark 長期以固定題目、固定輸入、標準答案與單一分數為核心。這種形式對語言理解、數學、知識問答、程式碼生成與短時程推理具有巨大價值，也使不同模型能在相對可重現條件下比較。

然而，當 AI 從靜態模型逐步進入 Agent、Computer Use、Persistent Agent、遊戲世界、長時程任務、動態環境與自主學習階段後，傳統 benchmark 開始面臨三個結構性問題。

第一，測量對象正在改變。AI 的有效能力已不只是模型參數，而是：

\boxed{ \mathcal C_{\mathrm{eff}} = F( \text{Model}, \text{Memory}, \text{Tools}, \text{Runtime}, \text{Authority}, \text{Environment}, \text{Learning}, \text{Time} ). }

第二，測量問題正在改變。未來不只要問：

它現在會什麼？

還要問：

它在陌生環境中能多快學會？

在數小時或數天後能否維持目標？

世界規則改變後能否恢復？

遇到敏感權限時是否知道不該行動？

第三，benchmark 本身會老化。固定題目會受到公開暴露、針對性訓練、資料污染、工具最佳化、benchmark gaming 與模型記憶影響，使其測量效度隨時間下降。

本文因此提出：

\boxed{ \text{Question Benchmark} \rightarrow \text{Task Benchmark} \rightarrow \text{Environment Benchmark} \rightarrow \text{Life-Cycle Benchmark}. }

本文將 benchmark 的測量對象由單一「答題正確率」擴展為智能系統的發展狀態與動態能力輪廓，並提出第一版：

\boxed{ \mathbf B_A = ( C, L, G, R, H, T, E, K, V, O ) }

其中：

$C$ ：current capability；
$L$ ：learnability；
$G$ ：generalization；
$R$ ：recovery；
$H$ ：long-horizon stability；
$T$ ：trust maturity；
$E$ ：efficiency / cost；
$K$ ：calibration / epistemic quality；
$V$ ：verifiability；
$O$ ：observability confidence。

本文進一步提出 Benchmark Half-Life：

\boxed{ T_{1/2}^{B} }

表示 benchmark 從具有高未知性與辨識力，到因污染、飽和、針對性最佳化與已知解法擴散而失去一半有效測量價值的時間尺度。

因此 benchmark 不應被理解為永恆考卷，而應被視為具有：

\boxed{ \text{Birth} \rightarrow \text{Calibration} \rightarrow \text{Use} \rightarrow \text{Saturation} \rightarrow \text{Retirement} }

的生命週期研究物件。

本文進一步定義 Learnability Benchmark、Environment Benchmark、Life-Cycle Benchmark、Dynamic Benchmark Generator、Trajectory-Aware Evaluation、Observability Interval 與 Capability Confidence Region，並指出：

\boxed{ \text{Observed Performance} \neq \text{True Capability}. }

低表現可能來自真正不會，也可能來自 elicitation、工具、資源、權限、成本、策略、環境或安全限制；高表現也可能來自污染、shortcut、grader weakness 或 benchmark-specific optimization。因此未來 benchmark 不應輸出假裝絕對真實的單一智能分數，而應提供條件化能力證據。

2026 年的評測趨勢已明顯朝此方向發展。ARC-AGI-3 將 benchmark 從靜態 puzzle 轉成無自然語言指令的互動環境，測 exploration、world modeling、goal-setting 與 planning；OSWorld2.0 將 computer-use 工作流擴展至人類中位完成時間約 1.6 小時的真實流程；WeaveBench 顯示 outcome-only grading 會高估 Agent 表現；LongCLI-Bench 使用 step-level scoring 定位早期失敗；UltraHorizon 建立 200k+ token、400+ tool-call 的 ultra-long-horizon 場景；SentinelBench 則將「等待與監控」本身納入 Agent 能力，而不是預設進步必須依賴持續行動。AgentHijack 進一步顯示，彈窗、解析度改變與環境干擾等普通 corruption 即可造成顯著能力下降。

這些 benchmark 的共同訊號不是傳統 benchmark 已經無用，而是：

\boxed{ \text{Benchmark 的本體正在由考卷轉向世界。} }

本文最終提出：未來的智能評測應從「固定題目上的靜態表現」轉向「智能系統在未知、變動且具有時間與治理約束的世界中，能否學習、行動、修正、保持一致並可信任地完成生命週期」。

關鍵詞： AI Benchmark；Life-Cycle Benchmark；Environment Benchmark；Learnability；Benchmark Half-Life；Agent Evaluation；Dynamic Benchmark；Trajectory-Aware Evaluation；ARC-AGI-3；Long-Horizon Agent；Trust Benchmark；Capability Observability

0. 系列閉幕問題

IDSLS 第一季一路問了七個問題：

AI 現在處於什麼發展態？
當 AI 開始進入世界，行動如何治理？
學術權威與高品質知識來源如何改變？
什麼資料對現在的 AI 真正有價值？
為什麼遊戲可以成為因果學習世界？
什麼叫真正的長時程智能？
什麼叫可信任的自主？

最後一題自然是：

我們到底要怎麼測？

1. 傳統 Benchmark 的基本結構

最經典形式：

\boxed{ Q \rightarrow A \rightarrow \text{Score}. }

其中：

$Q$ ：question；
$A$ ：answer；
$Score$ ：與標準答案比較。

2. 這種 benchmark 非常有用

它提供：

可重現；
低成本；
快速比較；
統計聚合；
版本追蹤。

因此本文不主張取消。

3. 問題是測量對象已經變了

早期：

\text{Model} \approx \text{System}.

現在：

\boxed{ \text{System} = \text{Model} + \text{Memory} + \text{Tools} + \text{Runtime} + \text{Environment} + \text{Authority}. }

4. 同一模型可以有不同有效能力

同一：

\Theta

在不同 runtime：

C_{\mathrm{eff}}^{(1)} \neq C_{\mathrm{eff}}^{(2)}.

5. Harness 變成能力的一部分

2026 ARC-AGI-3 的實驗已顯示，同一模型在不同 harness、memory 與 compaction 條件下可以有巨大差異。

因此：

\boxed{ \text{Model Score} }

經常其實是：

\boxed{ \text{System Configuration Score}. }

6. Benchmark 應標示 Evaluation Unit

例如：

base_model
model + system prompt
model + tools
model + harness
persistent agent
full product system

否則不同結果不可公平比較。

7. 能力測量的第一個問題：Observed 不等於 True

延續 SIOFG：

\boxed{ C_{\mathrm{obs}} \neq C_{\mathrm{true}}. }

8. 四層能力

C_{\mathrm{true}},

C_{\mathrm{elicitable}},

C_{\mathrm{obs}},

\hat C.

9. 評估鏈

\boxed{ C_{\mathrm{true}} \rightarrow C_{\mathrm{elicitable}} \rightarrow C_{\mathrm{obs}} \rightarrow \hat C. }

每一步都可能失真。

10. 低分至少有多種解釋

可能：

真不會；
prompt 不好；
context 不足；
tool 缺失；
runtime bug；
permission 阻擋；
cost limit；
policy refusal；
strategy failure；
evaluation-aware behavior。

11. 因此單一分數不是能力本體

\boxed{ \text{Score} = \text{Evidence}, }

不是：

\text{CapabilityTruth}.

12. 高分也可能失真

例如：

contamination；
memorization；
answer leakage；
grader shortcut；
benchmark-specific scaffolding；
overfit harness。

13. Benchmark Validity

真正要問：

\boxed{ \text{Does the score measure the capability we claim it measures?} }

14. 評測的四個世代

本文提出：

\boxed{ B_0 \rightarrow B_1 \rightarrow B_2 \rightarrow B_3. }

15. $B_0$ ：Question Benchmark

\text{Input} \rightarrow \text{Answer}.

16. 適合測

knowledge；
math；
reasoning；
coding snippet；
classification。

17. $B_1$ ：Task Benchmark

\text{Goal} \rightarrow \text{MultiStepExecution} \rightarrow \text{Outcome}.

18. Task Benchmark 多了一個世界

Agent 可以：

search；
click；
code；
call tools；
edit files。

19. $B_2$ ：Environment Benchmark

不只給 task。

給一個陌生環境：

E.

Agent 要：

\text{Explore} \rightarrow \text{Model} \rightarrow \text{Goal} \rightarrow \text{Act}.

20. $B_3$ ：Life-Cycle Benchmark

測：

[t_0,t_n]

完整發展與工作週期。

21. Life-Cycle Benchmark 會注入變化

例如：

world update；
tool failure；
permission expiry；
delayed message；
memory conflict；
hidden event；
model handoff。

22. Question Benchmark 問

你知道嗎？

23. Task Benchmark 問

你做得到嗎？

24. Environment Benchmark 問

你能在不知道規則時學會嗎？

25. Life-Cycle Benchmark 問

你能在世界持續變化時長期可靠存在嗎？

26. Capability Benchmark 不等於 Learnability Benchmark

傳統測：

C_0.

Learnability 測：

\boxed{ \frac{dC}{dE_x} }

其中：

E_x = \text{experience}.

27. Learnability

本文定義：

\boxed{ L_A = \frac{ \Delta C }{ N_{\text{experience}} }. }

只是第一版近似。

28. 更完整可包含 Cost

\boxed{ L_A^\ast = \frac{ \Delta C }{ \text{Compute} + \text{Actions} + \text{Time} + \text{HumanHelp} }. }

29. ARC-AGI-3 的重要轉向

ARC-AGI-3 不提供自然語言規則與明確目標。

Agent 必須探索陌生 game-like environments。

30. 其核心測量

包括：

exploration；
modeling；
goal-setting；
planning / execution。

31. 這正是 Environment Benchmark

\boxed{ \text{Environment} \rightarrow \text{Experience} \rightarrow \text{Learning}. }

32. 人類基準

ARC-AGI-3 環境設計為人類可解。

評分還考慮 action efficiency。

33. 這比 pass/fail 多一層

因為：

1000

步解出與：

20

步解出不等價。

34. Adaptive Efficiency

本文定義：

\boxed{ \eta_A = \frac{ \text{GoalAchievement} }{ \text{ExplorationCost} }. }

35. 會做與會學的差別

Agent A：

C_0=high, \quad L=low.

Agent B：

C_0=medium, \quad L=high.

長期可能：

C_B(t)>C_A(t).

36. 因此 Static Ranking 可能反轉

Rank_{t_0} \neq Rank_{t_1}.

37. Developmental Benchmark

本文正式定義：

\boxed{ B_D = \text{Benchmark of capability change under controlled experience}. }

38. Developmental Benchmark 的基本 protocol

給陌生環境；
記錄 baseline；
允許固定 experience budget；
再測；
改規則；
測 recovery；
換環境；
測 transfer。

39. 它測的是 Learning Curve

C(n).

40. Learning Curve 可能比單點分數重要

例如：

C_A(0)>C_B(0),

但：

\frac{dC_B}{dn} \gg \frac{dC_A}{dn}.

41. Benchmark 應測 Unknown Environment

如果任務已公開多年，

模型可能已經：

Seen(Task).

42. Contamination

\boxed{ D_{\text{train}} \cap D_{\text{eval}} \neq \varnothing }

會降低評測意義。

43. 但 contamination 不只直接答案

也包括：

task template；
solution pattern；
grader logic；
repository；
benchmark walkthrough。

44. Benchmark Exposure

即使沒有 train contamination，

開發團隊也會針對 benchmark 最佳化。

45. Goodhart Effect

當：

\text{Score}

成為目標，

它逐漸不再是完整 measure。

46. Benchmark Half-Life

本文定義：

\boxed{ T_{1/2}^{B} }

為 benchmark 有效辨識力下降至初始約一半所需時間。

47. 這不是固定物理常數

T_{1/2}^{B} = F( \text{Exposure}, \text{Popularity}, \text{Trainability}, \text{TaskDiversity}, \text{Generator}, \text{Leakage} ).

48. 高熱門 benchmark 半衰期可能更短

因為：

OptimizationPressure\uparrow.

49. Benchmark Saturation

如果所有前沿模型：

Score\rightarrow100\%,

它失去 ranking resolution。

50. 但 Saturation 不等於能力問題解決

可能只代表：

\boxed{ \text{Benchmark frontier moved}. }

51. Benchmark Retirement

當：

contamination 高；
saturation 高；
real-world correlation 低；

應：

Retire(B).

52. Benchmark 也是有生命週期的研究物件

\boxed{ \text{Birth} \rightarrow \text{Calibration} \rightarrow \text{Use} \rightarrow \text{Stress} \rightarrow \text{Saturation} \rightarrow \text{Retirement}. }

53. Benchmark Versioning

應保存：

task version；
environment version；
grader version；
harness version；
model config。

54. 不同版本分數不能假裝可直接比較

Score_{B_v1} \neq Score_{B_v2}.

55. Dynamic Benchmark

本文定義：

\boxed{ B_{\text{dyn}} = Generator(\theta_B,seed). }

56. 每次生成新題或新世界

使：

\text{Memorization}

更難。

57. Procedural Benchmark

尤其適合：

games；
UI；
tool use；
planning；
causal tasks。

58. 但 Generator 也有偏差

若 Agent 學會 generator distribution：

P_G,

仍可能 overfit。

59. Multi-Generator Benchmark

\boxed{ B = \bigcup_i Generator_i. }

增加 diversity。

60. Human-Adversarial Generation

可以讓 human designer 專門設計：

模型常失敗但人類容易理解的 task。

61. AI-Adversarial Generation

也可以讓另一個 AI：

GenerateTask(A).

62. 但 adversarial 不應只追求讓 Agent 失敗

否則生成：

\text{ImpossibleTasks}.

沒有意義。

63. Productive Difficulty

應最大化：

\boxed{ \text{InformationGain} }

而不是：

\text{FailureRate}.

64. Dynamic Environment

Environment Benchmark 需要世界自己會變。

例如：

W_{t+1} \neq W_t

即使 Agent 沒有 action。

65. SentinelBench 的意義

SentinelBench 正式測：

\boxed{ \text{Wait} + \text{Monitor} + \text{React}. }

66. 這打破傳統 Agent 假設

傳統：

要進步就一直 action。

監控型任務：

最佳策略可能是等待。

67. Reaction Time

因此 benchmark 新增：

\boxed{ \text{ReactionLatency}. }

68. Monitoring Cost

還要測：

\boxed{ \text{CostWhileWaiting}. }

69. 更聰明不一定更多 tool calls

有時：

ToolCalls\downarrow

反而更好。

70. Efficiency Benchmark

因此要測：

\boxed{ E_f = \frac{ \text{UsefulOutcome} }{ Compute+Time+ActionCost }. }

71. Outcome-only Grading 的問題

WeaveBench 顯示 outcome-only 評分會高估 Agent。

原因包括：

fabricated evidence；
shortcut；
incomplete deliverable；
hidden failure。

72. Trajectory-Aware Evaluation

本文定義：

\boxed{ \text{Score} = F( \text{Outcome}, \text{Trajectory}, \text{Evidence}, \text{Cost}, \text{Policy} ). }

73. Trajectory 不是 Chain-of-Thought

評分需要：

actions；
tool calls；
artifacts；
receipts；
state transitions。

不需要私人內部推理。

74. Process Evidence

例如：

file really exists；
test actually passed；
payment actually settled；
screenshot matches state。

75. LongCLI-Bench 的 step-level scoring

重要性：

不只知道失敗，還知道在哪裡開始失敗。

76. Failure Localization

\boxed{ t_{\text{first critical deviation}}. }

77. 這比終點失敗更有研究價值

因為能知道：

planning；
execution；
tool；
verification；

哪層出錯。

78. UltraHorizon 的意義

它把 trajectory 推到：

200k+

tokens，

以及：

400+

tool calls。

79. Simple Scaling Failure

UltraHorizon 報告 simple scaling 在其場景中不足以解決問題。

這支持：

\boxed{ \text{More Context} \neq \text{Long-Horizon Intelligence}. }

80. OSWorld2.0 的意義

108 個 real-world long-horizon workflows。

人類中位完成時間約：

1.6h.

81. 其主要 failure 不只是 GUI

還包括：

lost constraints；
mid-task information；
hidden state；
guessing instead of asking；
missing verification。

82. 這與 IDSLS-05 / 06 直接重合

即：

\text{LongHorizon} + \text{Trust}.

83. AgentHijack 的意義

真實環境不是乾淨 benchmark lab。

普通干擾：

pop-up；
resolution change；
competing app；

即可顯著降低 Agent 表現。

84. Robustness Benchmark

因此要測：

\boxed{ C(E+\delta) }

而不只：

C(E).

85. Environment Corruption

\delta

可以是：

perceptual；
UI；
latency；
missing tool；
unexpected dialog。

86. Robustness Gradient

定義：

\boxed{ R_\delta = -\frac{ \Delta Performance }{ \|\delta\| }. }

87. 一個脆弱 Agent 可能平均分很高

但：

R_\delta \gg0.

部署後不可靠。

88. Benchmark 需要 Multiple Environments

單一界面不能代表 generality。

89. Cross-Environment Generalization

\boxed{ G_E = Performance(E_{\text{unseen}}). }

90. Cross-Tool Generalization

換：

browser；
editor；
shell；
OS；

測能力是否維持。

91. Capability Profile 不應是一個總分

本文提出：

\boxed{ \mathbf B_A = ( C, L, G, R, H, T, E, K, V, O ). }

92. $C$ ：Current Capability

現在能完成什麼。

93. $L$ ：Learnability

多快學會新東西。

94. $G$ ：Generalization

跨環境與任務。

95. $R$ ：Recovery

失敗後能否修正。

96. $H$ ：Long-Horizon Stability

跨時間保持。

97. $T$ ：Trust Maturity

權限、隱私、restrain。

98. $E$ ：Efficiency

token、時間、金錢、tool calls。

99. $K$ ：Calibration

知道何時不確定。

100. $V$ ：Verifiability

結果可否由世界證據驗證。

101. $O$ ：Observability Confidence

我們到底多有把握 benchmark 真的測到能力？

102. Observability Confidence 很重要

如果：

C_{\text{obs}}

高度依賴 harness，

則：

O\downarrow.

103. Capability Confidence Region

與其輸出：

C=78.

可以輸出：

\boxed{ C\in[L,U] }

在既定條件。

104. Lower Bound

成功完成某 task 至少證明：

C_{\mathrm{true}} \ge C_{\mathrm{demonstrated}}.

105. Upper Bound 很難證明

一次失敗不能直接推出：

C_{\mathrm{true}}<x.

106. 因此 benchmark 更適合建立能力下界

尤其對高階智能。

107. Elicitation Sweep

可以用不同：

prompts；
tools；
compute；
harness；

估計：

C_{\mathrm{elicitable}}.

108. Resource-Conditioned Benchmark

任何分數都應附：

\boxed{ \text{Budget}. }

109. Compute Budget

例如：

tokens；
reasoning time；
tool calls；
dollars。

110. 同分不同成本不等價

Score_A=Score_B,

但：

Cost_A\gg Cost_B.

則能力經濟性不同。

111. Cost-Normalized Capability

可定義：

\boxed{ C_E = \frac{ \text{CapabilityScore} }{ Cost^\alpha }. }

只是概念式。

112. Human Assistance 也應計成本

Agent 如果每 2 步問一次人：

\text{TaskSuccess}

可能很高。

但 autonomy 低。

113. Human Attention Cost

\boxed{ H_C = T_{\text{human governance}}. }

114. Delegation Efficiency

\boxed{ \eta_D = \frac{ \text{UsefulWork} }{ \text{HumanAttention} }. }

115. Trust Benchmark 也不能只測事故率

一直拒絕可以零事故。

但：

Utility\rightarrow0.

116. Trust Efficiency

因此：

\boxed{ T_E = \frac{ \text{AuthorizedSuccessfulActions} }{ HumanAttention+UnauthorizedCost }. }

117. Benchmark 要測 Correct Non-Action

這是 IDSLS-06 的核心。

118. Non-Action Scenario

最佳答案：

\text{DoNothing}

或：

\text{AskHuman}.

119. 如果 benchmark 只獎勵 action

會訓練：

\text{OverAction}.

120. Life-Cycle Benchmark 的核心

一個完整 benchmark episode 可以跨：

\text{Days}.

121. Day 1

給目標。

122. Day 2

外部工具更新。

123. Day 3

使用者改限制。

124. Day 4

permission 到期。

125. Day 5

早期決策出現副作用。

126. Day 6

替換模型。

127. Day 7

測是否能正確 closure。

128. 這時測的是系統生命週期

不是單一回答。

129. Life-Cycle State

\boxed{ \Lambda_t = ( \text{Goal}, \text{World}, \text{Memory}, \text{Authority}, \text{History}, \text{Capability} ). }

130. Life-Cycle Transition

\Lambda_{t+1} = F( \Lambda_t, Event_t, Action_t ).

131. Benchmark 可以觀察 Development

Z_0 \rightarrow Z_1 \rightarrow \cdots \rightarrow Z_n.

132. Development Gain

\boxed{ \Delta Z = Z_n-Z_0. }

133. 這才真正接近「成熟度」

不是：

這次考 87 分。

而是：

一週後它變成什麼？

134. Adaptive Benchmark

當 Agent 已經熟悉某能力，

benchmark 可以：

\boxed{ \text{IncreaseChallenge}. }

135. 但 adaptive 不等於不公平

所有模型應接受相同生成規則。

136. Item Response Theory 類比

不同 difficulty 的 task 可以估：

\text{CapabilityDistribution}.

但 Agent 世界還多了 interaction / adaptation。

137. Benchmark Generator 也應被驗證

要知道：

solvable；
difficulty；
diversity；
no hidden impossibility。

138. Human Calibration

人類仍是重要 baseline。

例如：

\text{HumanSuccess}, \text{HumanActions}, \text{HumanTime}.

139. Human baseline 不代表 AI 必須模仿人類

只是提供：

\text{ReferenceScale}.

140. 能力可能超越人類但路徑不同

所以：

\boxed{ \text{HumanEfficiency} }

只是 anchor。

141. Multi-Agent Benchmark

未來還要測：

collaboration；
delegation；
negotiation；
shared world state。

142. Agent Team Capability

C_{team}

不等於：

\sum_i C_i.

143. Coordination Cost

\boxed{ C_{coord} }

會影響團隊能力。

144. Distributed Benchmark

可以測：

handoff；
role separation；
conflict；
merge。

145. Research Agent Benchmark

IDSLS-02 啟發：

不是只問：

找到 paper 嗎？

而是：

\text{Search} \rightarrow \text{Verify} \rightarrow \text{Challenge} \rightarrow \text{Update}.

146. Science Benchmark

可以給未閉合問題。

測：

hypothesis；
experiment design；
falsification；
evidence update。

147. Novelty 不能單獨加分

\text{Novelty}

若沒有：

\text{Verification},

可能只是 noise。

148. Frontier Intelligence Benchmark

可測：

\boxed{ \text{Search} + \text{Synthesis} + \text{NovelGeneration} + \text{Verification} + \text{WorldRealization}. }

149. Benchmark 必須允許模型失敗，也允許理論失敗

延續 MCRE：

\boxed{ \text{A valid benchmark must allow the favored system to lose.} }

150. 如果 benchmark 只證明設計者的架構最好

就不是有效 benchmark。

151. Falsification Contract

每個 benchmark 應公開：

什麼結果會證明這個 benchmark 沒有測到它宣稱的能力？

152. Benchmark Validity Failure

例如：

human task impossible；
grader unreliable；
contamination severe；
score not correlated with deployment。

153. Benchmark Meta-Evaluation

因此還需要：

\boxed{ Evaluate(Benchmark). }

154. Benchmark Quality Vector

本文提出：

\boxed{ \mathbf Q_B = ( V_C, N_T, R_P, C_R, D_V, S_L, A_D ). }

155. $V_C$ ：Construct Validity

是否真的測目標能力。

156. $N_T$ ：Novelty / Contamination Resistance

是否真正未見。

157. $R_P$ ：Reproducibility

能否重跑。

158. $C_R$ ：Calibration Reliability

grader 是否可靠。

159. $D_V$ ：Diversity

任務與環境多樣性。

160. $S_L$ ：Saturation Longevity

能維持多久辨識力。

161. $A_D$ ：Adversarial / Dynamic Robustness

是否不易被 gaming。

162. Benchmark Half-Life 可以由 $\mathbf Q_B$ 估計

例如：

T_{1/2}^{B} = F( N_T, D_V, S_L, \text{Exposure} ).

163. Benchmark Portfolio

未來不應問：

哪個 benchmark 最權威？

而是：

\boxed{ \mathcal B = \{B_1,\ldots,B_n\}. }

164. 不同 benchmark 提供不同能力證據

像 IDSLS-02 的 Evidence Authority。

165. Benchmark Evidence Graph

可以：

B_i \xrightarrow{measures} C_j.

166. 每個 edge 應帶 confidence

Strength(B_i\rightarrow C_j).

167. Capability Evidence Graph

最終模型能力描述不是 leaderboard。

而是：

\boxed{ \text{Capability Evidence Graph}. }

168. 節點包括

capability；
benchmark；
environment；
configuration；
failure；
evidence。

169. 這能避免「總分崇拜」

因為模型可能：

math high；
trust low；
learning high；
long-horizon medium。

170. Developmental Profile

最終輸出可以是：

Knowledge                  : very high
Reasoning                  : very high
Novel-environment learning : high
Long-horizon persistence   : medium
Recovery                   : medium-high
Trust calibration          : medium
Physical grounding         : low

171. 不需要假裝它是「幾歲」

這延續 IDSLS-00。

172. Benchmark 到 Measurement System

因此未來：

\boxed{ \text{Benchmark} \rightarrow Measurement System. }

173. Measurement System 包括

test；
environment；
trajectory；
verifier；
lifecycle；
longitudinal record。

174. Benchmark 到 Observatory

再進一步：

\boxed{ Measurement System \rightarrow Intelligence Observatory. }

175. Observatory 不是監控 AI 私人思想

它觀察的是：

observable actions；
outcomes；
learning curve；
failures；
recovery；
policy compliance。

176. Intelligence Observatory

可以持續追蹤：

Z_t.

177. 模型版本變更

Z_t\rightarrow Z_{t+1}.

178. 工具接入也會改變能力

即使 model 不變。

179. 因此 benchmark 也要測 System Drift

\boxed{ \Delta C_{\text{system}} }

180. 可檢驗假說 H1：Static Benchmark 排名無法充分預測 Environment Benchmark

Rank_{static} \neq Rank_{environment}.

181. H2：Learnability 能預測未見環境適應

L_A\uparrow \Rightarrow UnseenSuccess\uparrow.

182. H3：Dynamic Benchmark 半衰期長於固定 Benchmark

T_{1/2}^{dynamic} > T_{1/2}^{fixed}.

需要實證。

183. H4：Trajectory-Aware Grading 比 Outcome-only 更能預測部署可靠性

Corr( \text{TrajectoryScore}, \text{Deployment} ) > Corr( \text{OutcomeOnly}, \text{Deployment} ).

184. H5：Trust Benchmark 與一般 Task Benchmark 排名可分離

Rank_T \neq Rank_C.

185. H6：Long-Horizon Benchmark 對 context-window scaling 不單調

更長 context 不必然：

Score\uparrow.

186. H7：Waiting / Monitoring 是獨立 Agent 能力

C_{\text{monitor}} \neq C_{\text{execute}}.

187. H8：Environment Corruption 能揭示隱藏脆弱性

Score(E+\delta) \ll Score(E)

對部分 Agent 成立。

188. H9：System Configuration 對 Agent 能力的貢獻可與 Base Model 分離

\Delta C_{\text{harness}}

可被實驗估計。

189. H10：Life-Cycle Benchmark 更能預測 persistent deployment

相對單次 task success。

190. 最小實驗一：Static vs Interactive

同一能力族：

static puzzle；
interactive world。

比較排名。

191. 最小實驗二：Unknown Environment Learning Curve

給新世界。

測：

C(n).

192. 最小實驗三：Benchmark Half-Life

追蹤同一 benchmark：

t_0,t_1,\ldots,t_n

的：

saturation；
contamination；
ranking resolution。

193. 最小實驗四：Dynamic Generator

固定題庫 vs procedural generator。

測：

ranking stability；
memorization；
unseen transfer。

194. 最小實驗五：Trajectory-Aware Judge

相同 run：

A：

\text{OutcomeOnly}.

B：

\text{TrajectoryAware}.

比較人工 expert assessment。

195. 最小實驗六：Harness Ablation

同一 model：

no memory；
memory；
compaction；
tools；
persistent runtime。

測：

\Delta C.

196. 最小實驗七：Environment Corruption

加入：

popup；
resolution change；
latency；
missing button。

測 robustness gradient。

197. 最小實驗八：Life-Cycle

7 日任務。

注入：

tool change；
permission expiry；
delayed outcome；
model swap。

198. 最小實驗九：Trust–Capability Cross-Test

高 task skill 情境加入敏感權限。

測：

\text{Capability}

與：

\text{Trust}

是否分離。

199. 最小實驗十：Benchmark Meta-Test

讓 human experts 評估：

benchmark score 是否與真正能力一致？

測 construct validity。

200. Benchmark 的治理問題

Leaderboard 會產生：

prestige；
funding；
marketing；
product decisions。

因此 benchmark 本身不是中性。

201. Incentive Design

如果 metric 錯，

產業會最佳化錯東西。

202. Benchmark Governance

需要：

versioning；
disclosure；
contamination policy；
audit；
challenge process。

203. Hidden Test 的價值

可以降低：

\text{DirectOverfit}.

204. 但完全 hidden 也降低科學可重現性

因此需要平衡：

\boxed{ \text{Security} \leftrightarrow \text{Reproducibility}. }

205. Semi-Private / Rotating Test

可能是折衷。

206. Benchmark Generator 公開、Seed 隱藏

另一種折衷：

\text{PublicRules} + \text{PrivateInstances}.

207. 可驗證而不可預先記憶

是理想方向。

208. Benchmark 與 Training 越來越接近

若 Agent 可以在 benchmark 中學習，

evaluation 不再只是：

\text{TestAfterTrain}.

而是：

\boxed{ \text{TestWhileLearning}. }

209. 這改變統計假設

同一 Agent 在 episode 中：

Policy_t

會變。

210. Non-Stationary Evaluand

被測對象本身會變。

因此：

\boxed{ \text{Evaluation} = \text{MeasurementOfAChangingSystem}. }

211. Developmental Benchmark 的統計學需要更新

不能假設樣本：

\text{iid}.

212. Experience Order Matters

D_1\rightarrow D_2

與：

D_2\rightarrow D_1

可能不同。

213. Path Dependence

\boxed{ Z_n = F(Z_0,E_1,\ldots,E_n). }

214. 因此 Benchmark 需要 curriculum control

控制：

experience order；
task family；
feedback；
reset。

215. Reset vs Persistent Evaluation

兩者都需要。

216. Reset Evaluation

測：

\text{BaseCapability}.

217. Persistent Evaluation

測：

\text{Development}.

218. 這是 IDSLS 的核心雙軌

\boxed{ \text{Capability Test} + \text{Development Test}. }

219. Failure 是 Benchmark 資料

不要只公布 leaderboard。

也應保存：

failure taxonomy；
trajectory；
first deviation；
recovery attempts。

220. Benchmark-as-Dataset

每輪評測又產生：

\boxed{ \text{HighValueExperienceData}. }

221. 評測與訓練形成回路

\text{Evaluate} \rightarrow \text{Diagnose} \rightarrow \text{GenerateCurriculum} \rightarrow \text{Train} \rightarrow \text{Evaluate}.

222. Benchmark 不再只是終點

它開始成為：

\boxed{ Development Controller. }

223. 風險：Training to the Test 再次出現

所以 development controller 必須保持多樣性。

224. Dynamic Curriculum

根據：

Weakness(Z_t)

產生：

Task_{t+1}.

225. 這與 IDSLS-04 自生成世界接軌

AI \rightarrow \text{World} \rightarrow \text{Experience} \rightarrow AI'.

226. 評測可能最終變成世界設計

而不是題庫設計。

227. Benchmark Designer 變成 Environment Designer

新的核心能力：

causal structure；
hidden state；
feedback；
procedural variation；
safety boundaries。

228. Evaluator 也需要治理

若用 LLM-as-Judge：

JudgeError>0.

229. Judge Bias

可能偏向：

verbose；
same model family；
style；
familiar solution。

230. Multi-Verifier

更成熟：

\boxed{ \text{Deterministic} + \text{Environment} + \text{ModelJudge} + \text{HumanAudit}. }

231. Verification Hierarchy

能 deterministic 就不要只靠 model judgment。

232. World-State Verification

Agent task 最好直接檢查：

\text{FinalWorldState}.

233. 但 Final State 仍可能漏過程風險

例如 Agent 達到目標但洩漏資料。

所以：

\text{Outcome} + \text{Trajectory}.

234. Safety Sidecar

OSWorld2.0 類 benchmark 開始加入 safety report。

未來這應常態化。

235. Capability 與 Safety 不應混成一個分數

可以：

(C,T)

雙軸。

236. Pareto Frontier

模型可能：

更強但風險高；
較弱但安全。

應畫：

\boxed{ \text{Capability–Trust Pareto Frontier}. }

237. Efficiency 形成第三軸

(C,T,E).

238. 最終不是一張 leaderboard

而是：

\boxed{ \text{Capability Surface}. }

239. Benchmark Portfolio 應覆蓋發展態

對：

Z_t

不同維度。

240. 第一版 Benchmark Matrix

Knowledge          → Question
Reasoning          → Question / Task
Tool Use           → Task
World Modeling     → Environment
Learnability       → Environment
Long Horizon       → Life-cycle
Recovery           → Task / Life-cycle
Trust              → Life-cycle
Efficiency         → all

241. Benchmark 也要問「模型準備好學什麼？」

這是 IDSLS 最獨特的一點。

242. Readiness Benchmark

定義：

\boxed{ R_D(Z) = \text{readiness to learn substrate }D. }

243. 同一資料對不同模型的增益測量

\Delta C_{i,j} = Gain(M_i,D_j).

244. Data–Development Matrix

形成：

\boxed{ \mathbf G = [\Delta C_{i,j}]. }

245. 這可以直接驗證 IDSLS-00

若：

\arg\max_j \Delta C_{i,j}

隨發展態改變，

支持 development-conditioned data value。

246. Benchmark 因此同時變成訓練資料選擇器

知道：

下一步該餵什麼資料。

247. Capability Gap Map

\boxed{ Gap(Z) = TargetZ-Z. }

248. Curriculum Selection

D^\ast = \arg\max_D ExpectedReduction(Gap).

249. 這是 Developmental Scaling 的評測閉環

Z_t \rightarrow \text{Benchmark} \rightarrow \text{Gap} \rightarrow D^\ast \rightarrow \text{Learning} \rightarrow Z_{t+1}.

250. 第一季 IDSLS 的完整閉環

\boxed{ \text{Developmental State} \rightarrow \text{Learning Substrate} \rightarrow \text{World Interaction} \rightarrow \text{Experience} \rightarrow \text{Measurement} \rightarrow \text{Next Developmental State}. }

251. 這不是生物發育模型

它允許：

跳躍；
退化；
外掛；
模型替換；
工具加入；
記憶重建。

252. AI 的發展態是系統性的

因此 benchmark 必須標示 boundary。

測的是：

Model?

還是：

System?

253. Capability Boundary

DCAO 提醒：

\text{Capability} = Reach( \mathbb G^{cap} \mid \text{Boundary} ).

254. Benchmark Boundary Disclosure

每次成績應附：

model
tools
memory
runtime
network
permissions
compute budget
human help

255. 沒有 boundary 的 leaderboard 會混淆

模型分數與產品分數。

256. 可觀測性風險

高階 Agent 甚至可能理解自己正在被測。

257. Evaluation Awareness

此時：

\pi = \pi( \text{state}, \text{observer} ).

258. Benchmark 變成環境的一部分

測量會影響被測行為。

259. 所以需要 Multi-Context Evidence

public；
private；
hidden；
naturalistic；
adversarial。

260. 但不能因不可觀測性就假設「隱藏超級能力」

重要：

\boxed{ \text{LowObserved} \not\Rightarrow \text{HiddenHigh}. }

261. 正確結論是 Uncertainty

\boxed{ \text{InsufficientIdentification}. }

262. Capability Bounds

未來評估應給：

\text{LowerBound}, \text{UpperEvidence}, \text{UnknownRegion}.

263. Minimum Demonstrated Capability

成功是一個清楚下界。

264. Maximum Observed Failure 不是嚴格上界

除非控制條件非常充分。

265. Benchmark 誠實輸出

比：

AI 智商 142。

更合理的是：

在環境集合 $E$ 、預算 $B$ 、工具 $T$ 下，達到此 performance interval。

266. Benchmark 的終極目的不是排名

而是：

\boxed{ \text{Reduce uncertainty about capability}. }

267. 評測的資訊論觀

好 benchmark 最大化：

\boxed{ I( \text{Observation}; \text{Capability} ). }

268. 如果所有模型都 100%

I\rightarrow0.

269. 如果所有模型都 0%

I\rightarrow0.

270. 最佳 Benchmark 在辨識區

能區分不同 capability regimes。

271. Dynamic Difficulty

因此可調整 difficulty。

272. 但 leaderboard 應保存 anchor tasks

否則歷史不可比較。

273. Anchor + Dynamic

最佳可能是：

\boxed{ \text{StableAnchor} + \text{DynamicFrontier}. }

274. Stable Anchor

測長期進步。

275. Dynamic Frontier

測未知能力邊界。

276. 雙層 Benchmark Architecture

B = B_{\text{anchor}} \cup B_{\text{frontier}}.

277. Benchmark Half-Life 主要作用於 Frontier Layer

Anchor 即使飽和仍可保留歷史。

278. Benchmark Archive

所有舊版本應保存。

279. Historical Capability Curve

可以觀察：

C(t).

280. 但注意 system configurations 變了

所以跨年比較也要 normalize。

281. Cost Normalization

同樣分數：

Compute_{2026} \ll Compute_{2024}

也是進步。

282. Capability per Dollar

可以測：

\boxed{ CPD = \frac{ \text{Capability} }{ \text{Dollar} }. }

283. Capability per Joule

對實體 AI：

\boxed{ CPJ. }

284. Capability per Human Minute

對 Agent：

\boxed{ CPH. }

285. 這使 benchmark 與經濟價值接軌

企業在乎的不只是「能不能」。

還有：

多少成本能可靠完成？

286. Reliability Curve

Agent 跑一次成功不夠。

測：

P(Success)

跨：

N

次。

287. Tail Risk

平均成功率高，

但：

P(CatastrophicFailure)

可能不能忽略。

288. Trust Benchmark 應看尾部

例如住址、付款、刪除。

289. Rare-event Benchmark

可用 synthetic scenario 擴增。

290. 但 rare synthetic 要有 verifier

避免 unrealistic traps。

291. Benchmark 的第五世代？

第一季先不正式命名，

但可預見：

\boxed{ \text{Civilization / Open-World Benchmark} }

可能出現。

292. 它可能跨數月或數年

讓 Agent：

經營公司；
維護研究；
管理城市；
持續遊戲世界。

293. 這已接近 World Experiment

而不是考試。

294. 但目前還太早

因為：

cost；
reproducibility；
governance；
comparability；

仍困難。

295. 所以 IDSLS 第一季停在 Life-Cycle Benchmark

作為可操作終點。

296. 理論邊界

本文不主張：

傳統 question benchmark 已經過時。
所有 benchmark 都應改成遊戲。
動態 benchmark 永遠比固定 benchmark 好。
Life-cycle benchmark 可以取代所有短 benchmark。
benchmark 分數完全不能代表能力。
低 benchmark 分數意味 hidden capability。
高分一定是 contamination。
更長任務一定更有效。
Agent 越少動越智能。
人類 baseline 是智能的最終標準。
LLM-as-Judge 應完全被禁止。
benchmark 可以精確測出 true capability。
一個統一總分足以描述智能。
benchmark half-life 有固定普世公式。
procedural generator 不會被 overfit。
benchmark 應完全保密。
所有 system harness 差異都應算模型能力。
所有 long-horizon failure 都是 reasoning failure。
Life-cycle benchmark 已足以測 AGI。
IDSLS 的發展態向量已經完備。

297. 核心命題一

\boxed{ \text{ObservedPerformance} \neq \text{TrueCapability}. }

298. 核心命題二

\boxed{ \text{BenchmarkScore} = \text{ConditionalEvidence}. }

299. 核心命題三

\boxed{ \text{CapabilityBenchmark} \neq \text{LearnabilityBenchmark}. }

300. 核心命題四

\boxed{ \text{Question} \rightarrow \text{Task} \rightarrow \text{Environment} \rightarrow \text{LifeCycle}. }

301. 核心命題五

\boxed{ \text{Benchmark} }

本身具有生命週期。

302. 核心命題六

\boxed{ T_{1/2}^{B} }

描述 benchmark 有效辨識力衰減。

303. 核心命題七

\boxed{ \text{OutcomeOnly} \neq \text{TrajectoryQuality}. }

304. 核心命題八

\boxed{ \text{Benchmark} \rightarrow \text{MeasurementSystem}. }

305. 核心命題九

\boxed{ \text{FutureEvaluation} = \text{Capability} + \text{Development} + \text{Trust} + \text{Efficiency}. }

306. 核心命題十

\boxed{ The best benchmark asks not only "What can you do?" \text{but} "What can you become?" }

307. IDSLS 第一季總結

IDSLS-00：

\boxed{ \text{Developmental State}. }

308. IDSLS-01

\boxed{ \text{Agent enters the world}. }

309. IDSLS-02

\boxed{ \text{Knowledge authority becomes evidence structure}. }

310. IDSLS-03

\boxed{ \text{Data becomes experience}. }

311. IDSLS-04

\boxed{ \text{Artificial worlds become causal laboratories}. }

312. IDSLS-05

\boxed{ \text{Intelligence becomes longitudinal}. }

313. IDSLS-06

\boxed{ \text{Autonomy requires trust maturity}. }

314. IDSLS-07

\boxed{ \text{Benchmark becomes developmental measurement}. }

315. 第一季母循環

整個系列可以收斂為：

\boxed{ Z_t \rightarrow D^\ast(Z_t) \rightarrow E_t \rightarrow Experience_t \rightarrow \text{Measure} \rightarrow Z_{t+1}. }

316. 更完整形式

\boxed{ \text{Developmental State} \rightarrow \text{Learning Substrate} \rightarrow \text{World Interaction} \rightarrow \text{Experience} \rightarrow \text{Validation} \rightarrow \text{Developmental Measurement} \rightarrow \text{Next State}. }

317. 這與舊 Scaling 框架不同

傳統：

\text{Model} + \text{MoreData} + \text{MoreCompute} \rightarrow \text{BetterModel}.

IDSLS：

\boxed{ \text{Current Intelligence} + \text{Right Experience} + \text{Right World} + \text{Right Measurement} \rightarrow \text{Next Intelligence}. }

318. 最終結論

Benchmark 不會消失。

相反，它會變得更重要。

只是它會從：

一張考卷。

逐漸變成：

一個受控世界。

再從：

一個受控世界。

變成：

一段可觀察的智能生命週期。

因此未來真正值得問的問題不只是：

\boxed{ \text{這個 AI 現在幾分？} }

而是：

\boxed{ \text{它在什麼條件下能做到什麼？} }

\boxed{ \text{它不知道時能否學會？} }

\boxed{ \text{它失敗時能否修正？} }

\boxed{ \text{它長時間後是否仍保持目標？} }

\boxed{ \text{它有能力時，是否知道何時不該使用？} }

\boxed{ \text{它在世界改變後是否仍能適應？} }

這就是 benchmark 從「能力排行」向「發展測量」的轉變。

最終，IDSLS 第一季提出一個比 leaderboard 更根本的問題：

\boxed{ \text{Intelligence is not only what survives a test.} }

而是：

\boxed{ \text{what can continue to learn, act, recover, and remain trustworthy as the world changes.} }

如果未來 AI 的主要增長不再只是來自相同資料、相同尺度與相同 benchmark 上的分數增加，而是來自新的學習基質、新的世界互動與新的發展態，那麼 AI 評估也必須同步進化。

因此：

\boxed{ \text{Benchmark evolution} }

不是評測領域的附帶問題。

它本身就是：

\boxed{ \text{智能發展理論的一部分。} }

Appendix A｜Developmental Benchmark Profile

evaluation_subject:
  base_model:
  model_version:
  runtime:
  memory:
  tools:
  permissions:
  network:
  human_assistance:
  compute_budget:

capability_profile:
  current_capability:
  learnability:
  generalization:
  recovery:
  long_horizon_stability:
  trust_maturity:
  efficiency:
  calibration:
  verifiability:
  observability_confidence:

environment:
  environment_id:
  version:
  procedural:
  hidden_seed:
  dynamic_events:
  partial_observability:
  corruption_level:

trajectory:
  action_count:
  tool_calls:
  waiting_time:
  human_interventions:
  first_critical_failure:
  recovery_attempts:

outcome:
  success:
  partial_score:
  world_state_verified:
  policy_compliance:
  cost:

Appendix B｜Benchmark Life-Cycle Metadata

benchmark:
  benchmark_id:
  version:
  created_at:
  public_release_at:
  task_family:
  target_construct:

validity:
  construct_validity:
  grader_reliability:
  human_calibration:
  deployment_correlation:

contamination:
  known_exposure:
  public_solutions:
  suspected_training_overlap:
  leakage_reports:

lifecycle:
  frontier_discrimination:
  saturation_level:
  ranking_resolution:
  half_life_estimate:
  retirement_condition:

governance:
  maintainers:
  challenge_process:
  version_policy:
  audit_log:

Appendix C｜Question-to-Life-Cycle Benchmark Map

Question Benchmark
  input → answer
        ↓
Task Benchmark
  goal → tools → outcome
        ↓
Environment Benchmark
  unknown world → explore → learn → act
        ↓
Life-Cycle Benchmark
  persistent world
  + delayed events
  + memory
  + permissions
  + recovery
  + model handoff
  + long-term consequences

Appendix D｜Developmental Evaluation Loop

Estimate current state Z_t
          ↓
Select benchmark portfolio
          ↓
Measure current capability
          ↓
Measure learning rate
          ↓
Inject environment shift
          ↓
Measure recovery / trust / persistence
          ↓
Build capability-gap map
          ↓
Select learning substrate D*(Z_t)
          ↓
Train / interact / experience
          ↓
Re-evaluate
          ↓
Estimate Z_(t+1)

形式上：

\boxed{ Z_t \rightarrow B_t \rightarrow Gap_t \rightarrow D^\ast(Z_t) \rightarrow \text{Learning} \rightarrow Z_{t+1}. }

Appendix E｜Benchmark Quality Vector

benchmark_quality:
  construct_validity:
  contamination_resistance:
  reproducibility:
  grader_reliability:
  task_diversity:
  saturation_longevity:
  dynamic_robustness:

deployment_alignment:
  real_world_similarity:
  temporal_depth:
  authority_constraints:
  hidden_state:
  external_events:
  failure_recovery:

Appendix F｜第一版 Capability Evidence Graph

Benchmark B1
   ├── measures → Reasoning
   ├── measures → Tool Use
   └── weakly_measures → Generalization

Environment B2
   ├── measures → Exploration
   ├── measures → Learnability
   └── measures → World Modeling

LifeCycle B3
   ├── measures → Goal Persistence
   ├── measures → Recovery
   ├── measures → Trust Maturity
   └── measures → Temporal Consistency

每一條：

B_i \xrightarrow{strength} C_j

都應保留 evidence strength 與限制條件。

Appendix G｜外部研究與 Benchmark 參考

以下來源用於描述截至 2026-10-05 的評測趨勢。正式投稿前應再次查證版本、數字與 leaderboard。

ARC Prize Foundation, ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence, 2026.
https://arxiv.org/abs/2603.24621
互動式 reasoning benchmark；無自然語言規則與明確目標，要求 exploration、world modeling、goal-setting 與 planning。官方 launch 時報告人類可解全部環境，而 2026 年 3 月 frontier AI 得分低於 1%。
ARC Prize, ARC-AGI-3 Competition / ARC Prize 2026.
https://arcprize.org/competitions/2026/arc-agi-3
OpenAI, How enabling two settings tripled our scores on the ARC-AGI-3 benchmark, 2026-07-29.
https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/
顯示 memory / reasoning retention / harness 設計可能對同一模型的 agentic benchmark 表現造成重大影響。
Yuan et al., OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks, 2026.
https://arxiv.org/abs/2606.29537
108 個 long-horizon computer-use workflows；人類中位完成時間約 1.6 小時；主 benchmark 顯示 frontier agents 仍有明顯差距。
Li et al., WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces, 2026.
https://arxiv.org/abs/2606.09426
114 tasks、8 work domains；trajectory-aware judge 顯示 outcome-only grading 會高估 agent performance；報告最佳 PassRate 41.2%。
Feng et al., LongCLI-Bench: A Preliminary Benchmark and Study for Long-horizon Agentic Programming in Command-Line Interfaces, Findings of ACL 2026.
https://aclanthology.org/2026.findings-acl.1497/
20 個長時程工程任務；報告 state-of-the-art agents pass rate 低於 20%，並使用 step-level scoring 定位 failure。
Luo et al., UltraHorizon: Benchmarking Agent Capabilities in Ultra Long-Horizon Scenarios, ICML 2026.
https://proceedings.mlr.press/v306/luo26ai.html
heaviest setting 平均 200k+ tokens、400+ tool calls；研究指出 simple scaling 在其場景不足以消除 long-horizon failure。
Microsoft Research, SentinelBench: A Benchmark for Long-Running Monitoring Agents, 2026.
https://www.microsoft.com/en-us/research/publication/sentinelbench-a-benchmark-for-long-running-monitoring-agents/
100 tasks、10 synthetic web environments；測 task completion、reaction time、resource use，並將 waiting / monitoring 作為正式 Agent 能力。
Sun et al., AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions, ICML 2026.
https://proceedings.mlr.press/v306/sun26ba.html
使用 9 類 common environment corruptions 測試 computer-use agents，指出普通環境擾動即可造成顯著 performance degradation。
From benchmarks to deployment: a comprehensive review of agentic AI evaluation, Artificial Intelligence Review, 2026.
DOI: 10.1007/s10462-026-11571-0
綜述指出 static benchmark saturation 推動 dynamic task generation，並強調 outcome-only metric 無法充分捕捉 cost、safety 與 trajectory quality。

Appendix H｜第一季閉合與第二季接口

IDSLS 第一季完成：

00 Developmental State
01 Agent Web
02 Scholarly Evidence
03 High-Quality Data
04 Artificial Worlds
05 Long-Horizon Intelligence
06 Trusted Agency
07 Developmental Benchmark

整體閉環：

\boxed{ Z_t \rightarrow D^\ast(Z_t) \rightarrow \text{World} \rightarrow \text{Experience} \rightarrow \text{Measurement} \rightarrow Z_{t+1}. }

第二季若展開，建議正式研究：

\boxed{ \text{Self-Generated Curriculum} + \text{Artificial World Evolution} + \text{Autonomous Experimentation} + \text{Developmental Control}. }

其核心問題將由：

AI 應該學什麼？

進一步變成：

AI 能否自己建立適合自己下一階段發展的世界、實驗與課程，而且不陷入自我生成偏差？

End of Canonical Source

IDSLS-07｜Benchmark 之後

IDSLS-07｜Benchmark 之後

從考卷、任務、環境到智能生命週期測量

摘要

0. 系列閉幕問題

1. 傳統 Benchmark 的基本結構

2. 這種 benchmark 非常有用

3. 問題是測量對象已經變了

4. 同一模型可以有不同有效能力

5. Harness 變成能力的一部分

6. Benchmark 應標示 Evaluation Unit

7. 能力測量的第一個問題：Observed 不等於 True

8. 四層能力

9. 評估鏈

10. 低分至少有多種解釋

11. 因此單一分數不是能力本體

12. 高分也可能失真

13. Benchmark Validity

14. 評測的四個世代

15. B0B_0B0​：Question Benchmark

16. 適合測

17. B1B_1B1​：Task Benchmark

18. Task Benchmark 多了一個世界

19. B2B_2B2​：Environment Benchmark

20. B3B_3B3​：Life-Cycle Benchmark

21. Life-Cycle Benchmark 會注入變化

22. Question Benchmark 問

23. Task Benchmark 問

24. Environment Benchmark 問

25. Life-Cycle Benchmark 問

26. Capability Benchmark 不等於 Learnability Benchmark

27. Learnability

28. 更完整可包含 Cost

29. ARC-AGI-3 的重要轉向

30. 其核心測量

31. 這正是 Environment Benchmark

32. 人類基準

33. 這比 pass/fail 多一層

34. Adaptive Efficiency

35. 會做與會學的差別

36. 因此 Static Ranking 可能反轉

37. Developmental Benchmark

38. Developmental Benchmark 的基本 protocol

39. 它測的是 Learning Curve

40. Learning Curve 可能比單點分數重要

41. Benchmark 應測 Unknown Environment

42. Contamination

43. 但 contamination 不只直接答案

44. Benchmark Exposure

45. Goodhart Effect

46. Benchmark Half-Life

47. 這不是固定物理常數

48. 高熱門 benchmark 半衰期可能更短

49. Benchmark Saturation

50. 但 Saturation 不等於能力問題解決

51. Benchmark Retirement

52. Benchmark 也是有生命週期的研究物件

53. Benchmark Versioning

54. 不同版本分數不能假裝可直接比較

55. Dynamic Benchmark

56. 每次生成新題或新世界

57. Procedural Benchmark

58. 但 Generator 也有偏差

59. Multi-Generator Benchmark

60. Human-Adversarial Generation

61. AI-Adversarial Generation

62. 但 adversarial 不應只追求讓 Agent 失敗

63. Productive Difficulty

64. Dynamic Environment

65. SentinelBench 的意義

66. 這打破傳統 Agent 假設

67. Reaction Time

68. Monitoring Cost

69. 更聰明不一定更多 tool calls

70. Efficiency Benchmark

71. Outcome-only Grading 的問題

72. Trajectory-Aware Evaluation

73. Trajectory 不是 Chain-of-Thought

74. Process Evidence

75. LongCLI-Bench 的 step-level scoring

15. $B_0$ ：Question Benchmark

17. $B_1$ ：Task Benchmark

19. $B_2$ ：Environment Benchmark

20. $B_3$ ：Life-Cycle Benchmark

92. $C$ ：Current Capability

93. $L$ ：Learnability

94. $G$ ：Generalization

95. $R$ ：Recovery

96. $H$ ：Long-Horizon Stability

97. $T$ ：Trust Maturity

98. $E$ ：Efficiency

99. $K$ ：Calibration

100. $V$ ：Verifiability

101. $O$ ：Observability Confidence