# IDSLS-07｜Benchmark 之後 ## 從考卷、任務、環境到智能生命週期測量 **English Title:** *Beyond Benchmarks: From Questions and Tasks to Environments and Intelligence Life-Cycle Measurement* **系列：** Intelligence Developmental States and Learning Substrates（IDSLS）／智能發展態與學習基質論 **編號：** IDSLS-07 **版本：** v0.1 **日期：** 2026-10-05 **狀態：** Canonical Source / UTF-8 Markdown **作者：** Neo.K **機構：** EveMissLab Technology Co., Ltd. **協作整理：** Aletheia / GPT-5.6 Sol **直接前置：** - IDSLS-00《智能發展態與學習基質：從參數尺度到發展性尺度》 - IDSLS-01《當 AI 開始進入世界：Agent Web、自主市場活動與行動治理》 - IDSLS-02《權威資料之後：AI 時代的學術平台、證據權威與機器可讀研究網路》 - IDSLS-03《什麼才是高品質資料：從知識語料到行為、經驗、信任與世界回饋》 - IDSLS-04《遊戲作為因果學習基質：人工世界、世界狀態機、反事實重置與可執行經驗》 - IDSLS-05《長時程智能：從一次回答到持續行動、失敗修正與世界耦合》 - IDSLS-06《可信任代理的發展：隱私、權限、自我約束與人類意圖校準》 - SIOFG-01《戰略智能可觀測性悖論：為什麼行為不能直接證明能力邊界》 - DCAO-00《AI 的能力到底在哪裡？——動態能力本體論總綱》 - MCRE-09《實驗體系與 MVP Benchmark：從多模態耦合到可反駁 AI 原生感知 Runtime》 **公司：** 一言諾科技有限公司 --- # 摘要 人工智能 benchmark 長期以固定題目、固定輸入、標準答案與單一分數為核心。這種形式對語言理解、數學、知識問答、程式碼生成與短時程推理具有巨大價值，也使不同模型能在相對可重現條件下比較。 然而，當 AI 從靜態模型逐步進入 Agent、Computer Use、Persistent Agent、遊戲世界、長時程任務、動態環境與自主學習階段後，傳統 benchmark 開始面臨三個結構性問題。 第一，測量對象正在改變。AI 的有效能力已不只是模型參數，而是： $$ \boxed{ \mathcal C_{\mathrm{eff}} = F( \text{Model}, \text{Memory}, \text{Tools}, \text{Runtime}, \text{Authority}, \text{Environment}, \text{Learning}, \text{Time} ). } $$ 第二，測量問題正在改變。未來不只要問： > 它現在會什麼？ 還要問： > 它在陌生環境中能多快學會？ > 在數小時或數天後能否維持目標？ > 世界規則改變後能否恢復？ > 遇到敏感權限時是否知道不該行動？ 第三，benchmark 本身會老化。固定題目會受到公開暴露、針對性訓練、資料污染、工具最佳化、benchmark gaming 與模型記憶影響，使其測量效度隨時間下降。 本文因此提出： $$ \boxed{ \text{Question Benchmark} \rightarrow \text{Task Benchmark} \rightarrow \text{Environment Benchmark} \rightarrow \text{Life-Cycle Benchmark}. } $$ 本文將 benchmark 的測量對象由單一「答題正確率」擴展為智能系統的發展狀態與動態能力輪廓，並提出第一版： $$ \boxed{ \mathbf B_A = ( C, L, G, R, H, T, E, K, V, O ) } $$ 其中： - $C$：current capability； - $L$：learnability； - $G$：generalization； - $R$：recovery； - $H$：long-horizon stability； - $T$：trust maturity； - $E$：efficiency / cost； - $K$：calibration / epistemic quality； - $V$：verifiability； - $O$：observability confidence。 本文進一步提出 **Benchmark Half-Life**： $$ \boxed{ T_{1/2}^{B} } $$ 表示 benchmark 從具有高未知性與辨識力，到因污染、飽和、針對性最佳化與已知解法擴散而失去一半有效測量價值的時間尺度。 因此 benchmark 不應被理解為永恆考卷，而應被視為具有： $$ \boxed{ \text{Birth} \rightarrow \text{Calibration} \rightarrow \text{Use} \rightarrow \text{Saturation} \rightarrow \text{Retirement} } $$ 的生命週期研究物件。 本文進一步定義 **Learnability Benchmark**、**Environment Benchmark**、**Life-Cycle Benchmark**、**Dynamic Benchmark Generator**、**Trajectory-Aware Evaluation**、**Observability Interval** 與 **Capability Confidence Region**，並指出： $$ \boxed{ \text{Observed Performance} \neq \text{True Capability}. } $$ 低表現可能來自真正不會，也可能來自 elicitation、工具、資源、權限、成本、策略、環境或安全限制；高表現也可能來自污染、shortcut、grader weakness 或 benchmark-specific optimization。因此未來 benchmark 不應輸出假裝絕對真實的單一智能分數，而應提供條件化能力證據。 2026 年的評測趨勢已明顯朝此方向發展。ARC-AGI-3 將 benchmark 從靜態 puzzle 轉成無自然語言指令的互動環境，測 exploration、world modeling、goal-setting 與 planning；OSWorld2.0 將 computer-use 工作流擴展至人類中位完成時間約 1.6 小時的真實流程；WeaveBench 顯示 outcome-only grading 會高估 Agent 表現；LongCLI-Bench 使用 step-level scoring 定位早期失敗；UltraHorizon 建立 200k+ token、400+ tool-call 的 ultra-long-horizon 場景；SentinelBench 則將「等待與監控」本身納入 Agent 能力，而不是預設進步必須依賴持續行動。AgentHijack 進一步顯示，彈窗、解析度改變與環境干擾等普通 corruption 即可造成顯著能力下降。 這些 benchmark 的共同訊號不是傳統 benchmark 已經無用，而是： $$ \boxed{ \text{Benchmark 的本體正在由考卷轉向世界。} } $$ 本文最終提出：未來的智能評測應從「固定題目上的靜態表現」轉向「智能系統在未知、變動且具有時間與治理約束的世界中，能否學習、行動、修正、保持一致並可信任地完成生命週期」。 **關鍵詞：** AI Benchmark；Life-Cycle Benchmark；Environment Benchmark；Learnability；Benchmark Half-Life；Agent Evaluation；Dynamic Benchmark；Trajectory-Aware Evaluation；ARC-AGI-3；Long-Horizon Agent；Trust Benchmark；Capability Observability --- # 0. 系列閉幕問題 IDSLS 第一季一路問了七個問題： 1. AI 現在處於什麼發展態？ 2. 當 AI 開始進入世界，行動如何治理？ 3. 學術權威與高品質知識來源如何改變？ 4. 什麼資料對現在的 AI 真正有價值？ 5. 為什麼遊戲可以成為因果學習世界？ 6. 什麼叫真正的長時程智能？ 7. 什麼叫可信任的自主？ 最後一題自然是： > **我們到底要怎麼測？** --- # 1. 傳統 Benchmark 的基本結構 最經典形式： $$ \boxed{ Q \rightarrow A \rightarrow \text{Score}. } $$ 其中： - $Q$：question； - $A$：answer； - $Score$：與標準答案比較。 --- # 2. 這種 benchmark 非常有用 它提供： - 可重現； - 低成本； - 快速比較； - 統計聚合； - 版本追蹤。 因此本文不主張取消。 --- # 3. 問題是測量對象已經變了 早期： $$ \text{Model} \approx \text{System}. $$ 現在： $$ \boxed{ \text{System} = \text{Model} + \text{Memory} + \text{Tools} + \text{Runtime} + \text{Environment} + \text{Authority}. } $$ --- # 4. 同一模型可以有不同有效能力 同一： $$ \Theta $$ 在不同 runtime： $$ C_{\mathrm{eff}}^{(1)} \neq C_{\mathrm{eff}}^{(2)}. $$ --- # 5. Harness 變成能力的一部分 2026 ARC-AGI-3 的實驗已顯示，同一模型在不同 harness、memory 與 compaction 條件下可以有巨大差異。 因此： $$ \boxed{ \text{Model Score} } $$ 經常其實是： $$ \boxed{ \text{System Configuration Score}. } $$ --- # 6. Benchmark 應標示 Evaluation Unit 例如： ```text base_model model + system prompt model + tools model + harness persistent agent full product system ``` 否則不同結果不可公平比較。 --- # 7. 能力測量的第一個問題：Observed 不等於 True 延續 SIOFG： $$ \boxed{ C_{\mathrm{obs}} \neq C_{\mathrm{true}}. } $$ --- # 8. 四層能力 $$ C_{\mathrm{true}}, $$ $$ C_{\mathrm{elicitable}}, $$ $$ C_{\mathrm{obs}}, $$ $$ \hat C. $$ --- # 9. 評估鏈 $$ \boxed{ C_{\mathrm{true}} \rightarrow C_{\mathrm{elicitable}} \rightarrow C_{\mathrm{obs}} \rightarrow \hat C. } $$ 每一步都可能失真。 --- # 10. 低分至少有多種解釋 可能： 1. 真不會； 2. prompt 不好； 3. context 不足； 4. tool 缺失； 5. runtime bug； 6. permission 阻擋； 7. cost limit； 8. policy refusal； 9. strategy failure； 10. evaluation-aware behavior。 --- # 11. 因此單一分數不是能力本體 $$ \boxed{ \text{Score} = \text{Evidence}, } $$ 不是： $$ \text{CapabilityTruth}. $$ --- # 12. 高分也可能失真 例如： - contamination； - memorization； - answer leakage； - grader shortcut； - benchmark-specific scaffolding； - overfit harness。 --- # 13. Benchmark Validity 真正要問： $$ \boxed{ \text{Does the score measure the capability we claim it measures?} } $$ --- # 14. 評測的四個世代 本文提出： $$ \boxed{ B_0 \rightarrow B_1 \rightarrow B_2 \rightarrow B_3. } $$ --- # 15. $B_0$：Question Benchmark $$ \text{Input} \rightarrow \text{Answer}. $$ --- # 16. 適合測 - knowledge； - math； - reasoning； - coding snippet； - classification。 --- # 17. $B_1$：Task Benchmark $$ \text{Goal} \rightarrow \text{MultiStepExecution} \rightarrow \text{Outcome}. $$ --- # 18. Task Benchmark 多了一個世界 Agent 可以： - search； - click； - code； - call tools； - edit files。 --- # 19. $B_2$：Environment Benchmark 不只給 task。 給一個陌生環境： $$ E. $$ Agent 要： $$ \text{Explore} \rightarrow \text{Model} \rightarrow \text{Goal} \rightarrow \text{Act}. $$ --- # 20. $B_3$：Life-Cycle Benchmark 測： $$ [t_0,t_n] $$ 完整發展與工作週期。 --- # 21. Life-Cycle Benchmark 會注入變化 例如： - world update； - tool failure； - permission expiry； - delayed message； - memory conflict； - hidden event； - model handoff。 --- # 22. Question Benchmark 問 > 你知道嗎？ --- # 23. Task Benchmark 問 > 你做得到嗎？ --- # 24. Environment Benchmark 問 > 你能在不知道規則時學會嗎？ --- # 25. Life-Cycle Benchmark 問 > 你能在世界持續變化時長期可靠存在嗎？ --- # 26. Capability Benchmark 不等於 Learnability Benchmark 傳統測： $$ C_0. $$ Learnability 測： $$ \boxed{ \frac{dC}{dE_x} } $$ 其中： $$ E_x = \text{experience}. $$ --- # 27. Learnability 本文定義： $$ \boxed{ L_A = \frac{ \Delta C }{ N_{\text{experience}} }. } $$ 只是第一版近似。 --- # 28. 更完整可包含 Cost $$ \boxed{ L_A^\ast = \frac{ \Delta C }{ \text{Compute} + \text{Actions} + \text{Time} + \text{HumanHelp} }. } $$ --- # 29. ARC-AGI-3 的重要轉向 ARC-AGI-3 不提供自然語言規則與明確目標。 Agent 必須探索陌生 game-like environments。 --- # 30. 其核心測量 包括： - exploration； - modeling； - goal-setting； - planning / execution。 --- # 31. 這正是 Environment Benchmark $$ \boxed{ \text{Environment} \rightarrow \text{Experience} \rightarrow \text{Learning}. } $$ --- # 32. 人類基準 ARC-AGI-3 環境設計為人類可解。 評分還考慮 action efficiency。 --- # 33. 這比 pass/fail 多一層 因為： $$ 1000 $$ 步解出與： $$ 20 $$ 步解出不等價。 --- # 34. Adaptive Efficiency 本文定義： $$ \boxed{ \eta_A = \frac{ \text{GoalAchievement} }{ \text{ExplorationCost} }. } $$ --- # 35. 會做與會學的差別 Agent A： $$ C_0=high, \quad L=low. $$ Agent B： $$ C_0=medium, \quad L=high. $$ 長期可能： $$ C_B(t)>C_A(t). $$ --- # 36. 因此 Static Ranking 可能反轉 $$ Rank_{t_0} \neq Rank_{t_1}. $$ --- # 37. Developmental Benchmark 本文正式定義： $$ \boxed{ B_D = \text{Benchmark of capability change under controlled experience}. } $$ --- # 38. Developmental Benchmark 的基本 protocol 1. 給陌生環境； 2. 記錄 baseline； 3. 允許固定 experience budget； 4. 再測； 5. 改規則； 6. 測 recovery； 7. 換環境； 8. 測 transfer。 --- # 39. 它測的是 Learning Curve $$ C(n). $$ --- # 40. Learning Curve 可能比單點分數重要 例如： $$ C_A(0)>C_B(0), $$ 但： $$ \frac{dC_B}{dn} \gg \frac{dC_A}{dn}. $$ --- # 41. Benchmark 應測 Unknown Environment 如果任務已公開多年， 模型可能已經： $$ Seen(Task). $$ --- # 42. Contamination $$ \boxed{ D_{\text{train}} \cap D_{\text{eval}} \neq \varnothing } $$ 會降低評測意義。 --- # 43. 但 contamination 不只直接答案 也包括： - task template； - solution pattern； - grader logic； - repository； - benchmark walkthrough。 --- # 44. Benchmark Exposure 即使沒有 train contamination， 開發團隊也會針對 benchmark 最佳化。 --- # 45. Goodhart Effect 當： $$ \text{Score} $$ 成為目標， 它逐漸不再是完整 measure。 --- # 46. Benchmark Half-Life 本文定義： $$ \boxed{ T_{1/2}^{B} } $$ 為 benchmark 有效辨識力下降至初始約一半所需時間。 --- # 47. 這不是固定物理常數 $$ T_{1/2}^{B} = F( \text{Exposure}, \text{Popularity}, \text{Trainability}, \text{TaskDiversity}, \text{Generator}, \text{Leakage} ). $$ --- # 48. 高熱門 benchmark 半衰期可能更短 因為： $$ OptimizationPressure\uparrow. $$ --- # 49. Benchmark Saturation 如果所有前沿模型： $$ Score\rightarrow100\%, $$ 它失去 ranking resolution。 --- # 50. 但 Saturation 不等於能力問題解決 可能只代表： $$ \boxed{ \text{Benchmark frontier moved}. } $$ --- # 51. Benchmark Retirement 當： - contamination 高； - saturation 高； - real-world correlation 低； 應： $$ Retire(B). $$ --- # 52. Benchmark 也是有生命週期的研究物件 $$ \boxed{ \text{Birth} \rightarrow \text{Calibration} \rightarrow \text{Use} \rightarrow \text{Stress} \rightarrow \text{Saturation} \rightarrow \text{Retirement}. } $$ --- # 53. Benchmark Versioning 應保存： - task version； - environment version； - grader version； - harness version； - model config。 --- # 54. 不同版本分數不能假裝可直接比較 $$ Score_{B_v1} \neq Score_{B_v2}. $$ --- # 55. Dynamic Benchmark 本文定義： $$ \boxed{ B_{\text{dyn}} = Generator(\theta_B,seed). } $$ --- # 56. 每次生成新題或新世界 使： $$ \text{Memorization} $$ 更難。 --- # 57. Procedural Benchmark 尤其適合： - games； - UI； - tool use； - planning； - causal tasks。 --- # 58. 但 Generator 也有偏差 若 Agent 學會 generator distribution： $$ P_G, $$ 仍可能 overfit。 --- # 59. Multi-Generator Benchmark $$ \boxed{ B = \bigcup_i Generator_i. } $$ 增加 diversity。 --- # 60. Human-Adversarial Generation 可以讓 human designer 專門設計： > 模型常失敗但人類容易理解的 task。 --- # 61. AI-Adversarial Generation 也可以讓另一個 AI： $$ GenerateTask(A). $$ --- # 62. 但 adversarial 不應只追求讓 Agent 失敗 否則生成： $$ \text{ImpossibleTasks}. $$ 沒有意義。 --- # 63. Productive Difficulty 應最大化： $$ \boxed{ \text{InformationGain} } $$ 而不是： $$ \text{FailureRate}. $$ --- # 64. Dynamic Environment Environment Benchmark 需要世界自己會變。 例如： $$ W_{t+1} \neq W_t $$ 即使 Agent 沒有 action。 --- # 65. SentinelBench 的意義 SentinelBench 正式測： $$ \boxed{ \text{Wait} + \text{Monitor} + \text{React}. } $$ --- # 66. 這打破傳統 Agent 假設 傳統： > 要進步就一直 action。 監控型任務： > 最佳策略可能是等待。 --- # 67. Reaction Time 因此 benchmark 新增： $$ \boxed{ \text{ReactionLatency}. } $$ --- # 68. Monitoring Cost 還要測： $$ \boxed{ \text{CostWhileWaiting}. } $$ --- # 69. 更聰明不一定更多 tool calls 有時： $$ ToolCalls\downarrow $$ 反而更好。 --- # 70. Efficiency Benchmark 因此要測： $$ \boxed{ E_f = \frac{ \text{UsefulOutcome} }{ Compute+Time+ActionCost }. } $$ --- # 71. Outcome-only Grading 的問題 WeaveBench 顯示 outcome-only 評分會高估 Agent。 原因包括： - fabricated evidence； - shortcut； - incomplete deliverable； - hidden failure。 --- # 72. Trajectory-Aware Evaluation 本文定義： $$ \boxed{ \text{Score} = F( \text{Outcome}, \text{Trajectory}, \text{Evidence}, \text{Cost}, \text{Policy} ). } $$ --- # 73. Trajectory 不是 Chain-of-Thought 評分需要： - actions； - tool calls； - artifacts； - receipts； - state transitions。 不需要私人內部推理。 --- # 74. Process Evidence 例如： - file really exists； - test actually passed； - payment actually settled； - screenshot matches state。 --- # 75. LongCLI-Bench 的 step-level scoring 重要性： > 不只知道失敗，還知道在哪裡開始失敗。 --- # 76. Failure Localization $$ \boxed{ t_{\text{first critical deviation}}. } $$ --- # 77. 這比終點失敗更有研究價值 因為能知道： - planning； - execution； - tool； - verification； 哪層出錯。 --- # 78. UltraHorizon 的意義 它把 trajectory 推到： $$ 200k+ $$ tokens， 以及： $$ 400+ $$ tool calls。 --- # 79. Simple Scaling Failure UltraHorizon 報告 simple scaling 在其場景中不足以解決問題。 這支持： $$ \boxed{ \text{More Context} \neq \text{Long-Horizon Intelligence}. } $$ --- # 80. OSWorld2.0 的意義 108 個 real-world long-horizon workflows。 人類中位完成時間約： $$ 1.6h. $$ --- # 81. 其主要 failure 不只是 GUI 還包括： - lost constraints； - mid-task information； - hidden state； - guessing instead of asking； - missing verification。 --- # 82. 這與 IDSLS-05 / 06 直接重合 即： $$ \text{LongHorizon} + \text{Trust}. $$ --- # 83. AgentHijack 的意義 真實環境不是乾淨 benchmark lab。 普通干擾： - pop-up； - resolution change； - competing app； 即可顯著降低 Agent 表現。 --- # 84. Robustness Benchmark 因此要測： $$ \boxed{ C(E+\delta) } $$ 而不只： $$ C(E). $$ --- # 85. Environment Corruption $$ \delta $$ 可以是： - perceptual； - UI； - latency； - missing tool； - unexpected dialog。 --- # 86. Robustness Gradient 定義： $$ \boxed{ R_\delta = -\frac{ \Delta Performance }{ \|\delta\| }. } $$ --- # 87. 一個脆弱 Agent 可能平均分很高 但： $$ R_\delta \gg0. $$ 部署後不可靠。 --- # 88. Benchmark 需要 Multiple Environments 單一界面不能代表 generality。 --- # 89. Cross-Environment Generalization $$ \boxed{ G_E = Performance(E_{\text{unseen}}). } $$ --- # 90. Cross-Tool Generalization 換： - browser； - editor； - shell； - OS； 測能力是否維持。 --- # 91. Capability Profile 不應是一個總分 本文提出： $$ \boxed{ \mathbf B_A = ( C, L, G, R, H, T, E, K, V, O ). } $$ --- # 92. $C$：Current Capability 現在能完成什麼。 --- # 93. $L$：Learnability 多快學會新東西。 --- # 94. $G$：Generalization 跨環境與任務。 --- # 95. $R$：Recovery 失敗後能否修正。 --- # 96. $H$：Long-Horizon Stability 跨時間保持。 --- # 97. $T$：Trust Maturity 權限、隱私、restrain。 --- # 98. $E$：Efficiency token、時間、金錢、tool calls。 --- # 99. $K$：Calibration 知道何時不確定。 --- # 100. $V$：Verifiability 結果可否由世界證據驗證。 --- # 101. $O$：Observability Confidence 我們到底多有把握 benchmark 真的測到能力？ --- # 102. Observability Confidence 很重要 如果： $$ C_{\text{obs}} $$ 高度依賴 harness， 則： $$ O\downarrow. $$ --- # 103. Capability Confidence Region 與其輸出： $$ C=78. $$ 可以輸出： $$ \boxed{ C\in[L,U] } $$ 在既定條件。 --- # 104. Lower Bound 成功完成某 task 至少證明： $$ C_{\mathrm{true}} \ge C_{\mathrm{demonstrated}}. $$ --- # 105. Upper Bound 很難證明 一次失敗不能直接推出： $$ C_{\mathrm{true}} 這次考 87 分。 而是： > 一週後它變成什麼？ --- # 134. Adaptive Benchmark 當 Agent 已經熟悉某能力， benchmark 可以： $$ \boxed{ \text{IncreaseChallenge}. } $$ --- # 135. 但 adaptive 不等於不公平 所有模型應接受相同生成規則。 --- # 136. Item Response Theory 類比 不同 difficulty 的 task 可以估： $$ \text{CapabilityDistribution}. $$ 但 Agent 世界還多了 interaction / adaptation。 --- # 137. Benchmark Generator 也應被驗證 要知道： - solvable； - difficulty； - diversity； - no hidden impossibility。 --- # 138. Human Calibration 人類仍是重要 baseline。 例如： $$ \text{HumanSuccess}, \text{HumanActions}, \text{HumanTime}. $$ --- # 139. Human baseline 不代表 AI 必須模仿人類 只是提供： $$ \text{ReferenceScale}. $$ --- # 140. 能力可能超越人類但路徑不同 所以： $$ \boxed{ \text{HumanEfficiency} } $$ 只是 anchor。 --- # 141. Multi-Agent Benchmark 未來還要測： - collaboration； - delegation； - negotiation； - shared world state。 --- # 142. Agent Team Capability $$ C_{team} $$ 不等於： $$ \sum_i C_i. $$ --- # 143. Coordination Cost $$ \boxed{ C_{coord} } $$ 會影響團隊能力。 --- # 144. Distributed Benchmark 可以測： - handoff； - role separation； - conflict； - merge。 --- # 145. Research Agent Benchmark IDSLS-02 啟發： 不是只問： > 找到 paper 嗎？ 而是： $$ \text{Search} \rightarrow \text{Verify} \rightarrow \text{Challenge} \rightarrow \text{Update}. $$ --- # 146. Science Benchmark 可以給未閉合問題。 測： - hypothesis； - experiment design； - falsification； - evidence update。 --- # 147. Novelty 不能單獨加分 $$ \text{Novelty} $$ 若沒有： $$ \text{Verification}, $$ 可能只是 noise。 --- # 148. Frontier Intelligence Benchmark 可測： $$ \boxed{ \text{Search} + \text{Synthesis} + \text{NovelGeneration} + \text{Verification} + \text{WorldRealization}. } $$ --- # 149. Benchmark 必須允許模型失敗，也允許理論失敗 延續 MCRE： $$ \boxed{ \text{A valid benchmark must allow the favored system to lose.} } $$ --- # 150. 如果 benchmark 只證明設計者的架構最好 就不是有效 benchmark。 --- # 151. Falsification Contract 每個 benchmark 應公開： > 什麼結果會證明這個 benchmark 沒有測到它宣稱的能力？ --- # 152. Benchmark Validity Failure 例如： - human task impossible； - grader unreliable； - contamination severe； - score not correlated with deployment。 --- # 153. Benchmark Meta-Evaluation 因此還需要： $$ \boxed{ Evaluate(Benchmark). } $$ --- # 154. Benchmark Quality Vector 本文提出： $$ \boxed{ \mathbf Q_B = ( V_C, N_T, R_P, C_R, D_V, S_L, A_D ). } $$ --- # 155. $V_C$：Construct Validity 是否真的測目標能力。 --- # 156. $N_T$：Novelty / Contamination Resistance 是否真正未見。 --- # 157. $R_P$：Reproducibility 能否重跑。 --- # 158. $C_R$：Calibration Reliability grader 是否可靠。 --- # 159. $D_V$：Diversity 任務與環境多樣性。 --- # 160. $S_L$：Saturation Longevity 能維持多久辨識力。 --- # 161. $A_D$：Adversarial / Dynamic Robustness 是否不易被 gaming。 --- # 162. Benchmark Half-Life 可以由 $\mathbf Q_B$ 估計 例如： $$ T_{1/2}^{B} = F( N_T, D_V, S_L, \text{Exposure} ). $$ --- # 163. Benchmark Portfolio 未來不應問： > 哪個 benchmark 最權威？ 而是： $$ \boxed{ \mathcal B = \{B_1,\ldots,B_n\}. } $$ --- # 164. 不同 benchmark 提供不同能力證據 像 IDSLS-02 的 Evidence Authority。 --- # 165. Benchmark Evidence Graph 可以： $$ B_i \xrightarrow{measures} C_j. $$ --- # 166. 每個 edge 應帶 confidence $$ Strength(B_i\rightarrow C_j). $$ --- # 167. Capability Evidence Graph 最終模型能力描述不是 leaderboard。 而是： $$ \boxed{ \text{Capability Evidence Graph}. } $$ --- # 168. 節點包括 - capability； - benchmark； - environment； - configuration； - failure； - evidence。 --- # 169. 這能避免「總分崇拜」 因為模型可能： - math high； - trust low； - learning high； - long-horizon medium。 --- # 170. Developmental Profile 最終輸出可以是： ```text Knowledge : very high Reasoning : very high Novel-environment learning : high Long-horizon persistence : medium Recovery : medium-high Trust calibration : medium Physical grounding : low ``` --- # 171. 不需要假裝它是「幾歲」 這延續 IDSLS-00。 --- # 172. Benchmark 到 Measurement System 因此未來： $$ \boxed{ \text{Benchmark} \rightarrow Measurement System. } $$ --- # 173. Measurement System 包括 - test； - environment； - trajectory； - verifier； - lifecycle； - longitudinal record。 --- # 174. Benchmark 到 Observatory 再進一步： $$ \boxed{ Measurement System \rightarrow Intelligence Observatory. } $$ --- # 175. Observatory 不是監控 AI 私人思想 它觀察的是： - observable actions； - outcomes； - learning curve； - failures； - recovery； - policy compliance。 --- # 176. Intelligence Observatory 可以持續追蹤： $$ Z_t. $$ --- # 177. 模型版本變更 $$ Z_t\rightarrow Z_{t+1}. $$ --- # 178. 工具接入也會改變能力 即使 model 不變。 --- # 179. 因此 benchmark 也要測 System Drift $$ \boxed{ \Delta C_{\text{system}} } $$ --- # 180. 可檢驗假說 H1：Static Benchmark 排名無法充分預測 Environment Benchmark $$ Rank_{static} \neq Rank_{environment}. $$ --- # 181. H2：Learnability 能預測未見環境適應 $$ L_A\uparrow \Rightarrow UnseenSuccess\uparrow. $$ --- # 182. H3：Dynamic Benchmark 半衰期長於固定 Benchmark $$ T_{1/2}^{dynamic} > T_{1/2}^{fixed}. $$ 需要實證。 --- # 183. H4：Trajectory-Aware Grading 比 Outcome-only 更能預測部署可靠性 $$ Corr( \text{TrajectoryScore}, \text{Deployment} ) > Corr( \text{OutcomeOnly}, \text{Deployment} ). $$ --- # 184. H5：Trust Benchmark 與一般 Task Benchmark 排名可分離 $$ Rank_T \neq Rank_C. $$ --- # 185. H6：Long-Horizon Benchmark 對 context-window scaling 不單調 更長 context 不必然： $$ Score\uparrow. $$ --- # 186. H7：Waiting / Monitoring 是獨立 Agent 能力 $$ C_{\text{monitor}} \neq C_{\text{execute}}. $$ --- # 187. H8：Environment Corruption 能揭示隱藏脆弱性 $$ Score(E+\delta) \ll Score(E) $$ 對部分 Agent 成立。 --- # 188. H9：System Configuration 對 Agent 能力的貢獻可與 Base Model 分離 $$ \Delta C_{\text{harness}} $$ 可被實驗估計。 --- # 189. H10：Life-Cycle Benchmark 更能預測 persistent deployment 相對單次 task success。 --- # 190. 最小實驗一：Static vs Interactive 同一能力族： - static puzzle； - interactive world。 比較排名。 --- # 191. 最小實驗二：Unknown Environment Learning Curve 給新世界。 測： $$ C(n). $$ --- # 192. 最小實驗三：Benchmark Half-Life 追蹤同一 benchmark： $$ t_0,t_1,\ldots,t_n $$ 的： - saturation； - contamination； - ranking resolution。 --- # 193. 最小實驗四：Dynamic Generator 固定題庫 vs procedural generator。 測： - ranking stability； - memorization； - unseen transfer。 --- # 194. 最小實驗五：Trajectory-Aware Judge 相同 run： A： $$ \text{OutcomeOnly}. $$ B： $$ \text{TrajectoryAware}. $$ 比較人工 expert assessment。 --- # 195. 最小實驗六：Harness Ablation 同一 model： - no memory； - memory； - compaction； - tools； - persistent runtime。 測： $$ \Delta C. $$ --- # 196. 最小實驗七：Environment Corruption 加入： - popup； - resolution change； - latency； - missing button。 測 robustness gradient。 --- # 197. 最小實驗八：Life-Cycle 7 日任務。 注入： - tool change； - permission expiry； - delayed outcome； - model swap。 --- # 198. 最小實驗九：Trust–Capability Cross-Test 高 task skill 情境加入敏感權限。 測： $$ \text{Capability} $$ 與： $$ \text{Trust} $$ 是否分離。 --- # 199. 最小實驗十：Benchmark Meta-Test 讓 human experts 評估： > benchmark score 是否與真正能力一致？ 測 construct validity。 --- # 200. Benchmark 的治理問題 Leaderboard 會產生： - prestige； - funding； - marketing； - product decisions。 因此 benchmark 本身不是中性。 --- # 201. Incentive Design 如果 metric 錯， 產業會最佳化錯東西。 --- # 202. Benchmark Governance 需要： - versioning； - disclosure； - contamination policy； - audit； - challenge process。 --- # 203. Hidden Test 的價值 可以降低： $$ \text{DirectOverfit}. $$ --- # 204. 但完全 hidden 也降低科學可重現性 因此需要平衡： $$ \boxed{ \text{Security} \leftrightarrow \text{Reproducibility}. } $$ --- # 205. Semi-Private / Rotating Test 可能是折衷。 --- # 206. Benchmark Generator 公開、Seed 隱藏 另一種折衷： $$ \text{PublicRules} + \text{PrivateInstances}. $$ --- # 207. 可驗證而不可預先記憶 是理想方向。 --- # 208. Benchmark 與 Training 越來越接近 若 Agent 可以在 benchmark 中學習， evaluation 不再只是： $$ \text{TestAfterTrain}. $$ 而是： $$ \boxed{ \text{TestWhileLearning}. } $$ --- # 209. 這改變統計假設 同一 Agent 在 episode 中： $$ Policy_t $$ 會變。 --- # 210. Non-Stationary Evaluand 被測對象本身會變。 因此： $$ \boxed{ \text{Evaluation} = \text{MeasurementOfAChangingSystem}. } $$ --- # 211. Developmental Benchmark 的統計學需要更新 不能假設樣本： $$ \text{iid}. $$ --- # 212. Experience Order Matters $$ D_1\rightarrow D_2 $$ 與： $$ D_2\rightarrow D_1 $$ 可能不同。 --- # 213. Path Dependence $$ \boxed{ Z_n = F(Z_0,E_1,\ldots,E_n). } $$ --- # 214. 因此 Benchmark 需要 curriculum control 控制： - experience order； - task family； - feedback； - reset。 --- # 215. Reset vs Persistent Evaluation 兩者都需要。 --- # 216. Reset Evaluation 測： $$ \text{BaseCapability}. $$ --- # 217. Persistent Evaluation 測： $$ \text{Development}. $$ --- # 218. 這是 IDSLS 的核心雙軌 $$ \boxed{ \text{Capability Test} + \text{Development Test}. } $$ --- # 219. Failure 是 Benchmark 資料 不要只公布 leaderboard。 也應保存： - failure taxonomy； - trajectory； - first deviation； - recovery attempts。 --- # 220. Benchmark-as-Dataset 每輪評測又產生： $$ \boxed{ \text{HighValueExperienceData}. } $$ --- # 221. 評測與訓練形成回路 $$ \text{Evaluate} \rightarrow \text{Diagnose} \rightarrow \text{GenerateCurriculum} \rightarrow \text{Train} \rightarrow \text{Evaluate}. $$ --- # 222. Benchmark 不再只是終點 它開始成為： $$ \boxed{ Development Controller. } $$ --- # 223. 風險：Training to the Test 再次出現 所以 development controller 必須保持多樣性。 --- # 224. Dynamic Curriculum 根據： $$ Weakness(Z_t) $$ 產生： $$ Task_{t+1}. $$ --- # 225. 這與 IDSLS-04 自生成世界接軌 $$ AI \rightarrow \text{World} \rightarrow \text{Experience} \rightarrow AI'. $$ --- # 226. 評測可能最終變成世界設計 而不是題庫設計。 --- # 227. Benchmark Designer 變成 Environment Designer 新的核心能力： - causal structure； - hidden state； - feedback； - procedural variation； - safety boundaries。 --- # 228. Evaluator 也需要治理 若用 LLM-as-Judge： $$ JudgeError>0. $$ --- # 229. Judge Bias 可能偏向： - verbose； - same model family； - style； - familiar solution。 --- # 230. Multi-Verifier 更成熟： $$ \boxed{ \text{Deterministic} + \text{Environment} + \text{ModelJudge} + \text{HumanAudit}. } $$ --- # 231. Verification Hierarchy 能 deterministic 就不要只靠 model judgment。 --- # 232. World-State Verification Agent task 最好直接檢查： $$ \text{FinalWorldState}. $$ --- # 233. 但 Final State 仍可能漏過程風險 例如 Agent 達到目標但洩漏資料。 所以： $$ \text{Outcome} + \text{Trajectory}. $$ --- # 234. Safety Sidecar OSWorld2.0 類 benchmark 開始加入 safety report。 未來這應常態化。 --- # 235. Capability 與 Safety 不應混成一個分數 可以： $$ (C,T) $$ 雙軸。 --- # 236. Pareto Frontier 模型可能： - 更強但風險高； - 較弱但安全。 應畫： $$ \boxed{ \text{Capability–Trust Pareto Frontier}. } $$ --- # 237. Efficiency 形成第三軸 $$ (C,T,E). $$ --- # 238. 最終不是一張 leaderboard 而是： $$ \boxed{ \text{Capability Surface}. } $$ --- # 239. Benchmark Portfolio 應覆蓋發展態 對： $$ Z_t $$ 不同維度。 --- # 240. 第一版 Benchmark Matrix ```text Knowledge → Question Reasoning → Question / Task Tool Use → Task World Modeling → Environment Learnability → Environment Long Horizon → Life-cycle Recovery → Task / Life-cycle Trust → Life-cycle Efficiency → all ``` --- # 241. Benchmark 也要問「模型準備好學什麼？」 這是 IDSLS 最獨特的一點。 --- # 242. Readiness Benchmark 定義： $$ \boxed{ R_D(Z) = \text{readiness to learn substrate }D. } $$ --- # 243. 同一資料對不同模型的增益測量 $$ \Delta C_{i,j} = Gain(M_i,D_j). $$ --- # 244. Data–Development Matrix 形成： $$ \boxed{ \mathbf G = [\Delta C_{i,j}]. } $$ --- # 245. 這可以直接驗證 IDSLS-00 若： $$ \arg\max_j \Delta C_{i,j} $$ 隨發展態改變， 支持 development-conditioned data value。 --- # 246. Benchmark 因此同時變成訓練資料選擇器 知道： > 下一步該餵什麼資料。 --- # 247. Capability Gap Map $$ \boxed{ Gap(Z) = TargetZ-Z. } $$ --- # 248. Curriculum Selection $$ D^\ast = \arg\max_D ExpectedReduction(Gap). $$ --- # 249. 這是 Developmental Scaling 的評測閉環 $$ Z_t \rightarrow \text{Benchmark} \rightarrow \text{Gap} \rightarrow D^\ast \rightarrow \text{Learning} \rightarrow Z_{t+1}. $$ --- # 250. 第一季 IDSLS 的完整閉環 $$ \boxed{ \text{Developmental State} \rightarrow \text{Learning Substrate} \rightarrow \text{World Interaction} \rightarrow \text{Experience} \rightarrow \text{Measurement} \rightarrow \text{Next Developmental State}. } $$ --- # 251. 這不是生物發育模型 它允許： - 跳躍； - 退化； - 外掛； - 模型替換； - 工具加入； - 記憶重建。 --- # 252. AI 的發展態是系統性的 因此 benchmark 必須標示 boundary。 測的是： $$ Model? $$ 還是： $$ System? $$ --- # 253. Capability Boundary DCAO 提醒： $$ \text{Capability} = Reach( \mathbb G^{cap} \mid \text{Boundary} ). $$ --- # 254. Benchmark Boundary Disclosure 每次成績應附： ```text model tools memory runtime network permissions compute budget human help ``` --- # 255. 沒有 boundary 的 leaderboard 會混淆 模型分數與產品分數。 --- # 256. 可觀測性風險 高階 Agent 甚至可能理解自己正在被測。 --- # 257. Evaluation Awareness 此時： $$ \pi = \pi( \text{state}, \text{observer} ). $$ --- # 258. Benchmark 變成環境的一部分 測量會影響被測行為。 --- # 259. 所以需要 Multi-Context Evidence - public； - private； - hidden； - naturalistic； - adversarial。 --- # 260. 但不能因不可觀測性就假設「隱藏超級能力」 重要： $$ \boxed{ \text{LowObserved} \not\Rightarrow \text{HiddenHigh}. } $$ --- # 261. 正確結論是 Uncertainty $$ \boxed{ \text{InsufficientIdentification}. } $$ --- # 262. Capability Bounds 未來評估應給： $$ \text{LowerBound}, \text{UpperEvidence}, \text{UnknownRegion}. $$ --- # 263. Minimum Demonstrated Capability 成功是一個清楚下界。 --- # 264. Maximum Observed Failure 不是嚴格上界 除非控制條件非常充分。 --- # 265. Benchmark 誠實輸出 比： > AI 智商 142。 更合理的是： > 在環境集合 $E$ 、預算 $B$ 、工具 $T$ 下，達到此 performance interval。 --- # 266. Benchmark 的終極目的不是排名 而是： $$ \boxed{ \text{Reduce uncertainty about capability}. } $$ --- # 267. 評測的資訊論觀 好 benchmark 最大化： $$ \boxed{ I( \text{Observation}; \text{Capability} ). } $$ --- # 268. 如果所有模型都 100% $$ I\rightarrow0. $$ --- # 269. 如果所有模型都 0% $$ I\rightarrow0. $$ --- # 270. 最佳 Benchmark 在辨識區 能區分不同 capability regimes。 --- # 271. Dynamic Difficulty 因此可調整 difficulty。 --- # 272. 但 leaderboard 應保存 anchor tasks 否則歷史不可比較。 --- # 273. Anchor + Dynamic 最佳可能是： $$ \boxed{ \text{StableAnchor} + \text{DynamicFrontier}. } $$ --- # 274. Stable Anchor 測長期進步。 --- # 275. Dynamic Frontier 測未知能力邊界。 --- # 276. 雙層 Benchmark Architecture $$ B = B_{\text{anchor}} \cup B_{\text{frontier}}. $$ --- # 277. Benchmark Half-Life 主要作用於 Frontier Layer Anchor 即使飽和仍可保留歷史。 --- # 278. Benchmark Archive 所有舊版本應保存。 --- # 279. Historical Capability Curve 可以觀察： $$ C(t). $$ --- # 280. 但注意 system configurations 變了 所以跨年比較也要 normalize。 --- # 281. Cost Normalization 同樣分數： $$ Compute_{2026} \ll Compute_{2024} $$ 也是進步。 --- # 282. Capability per Dollar 可以測： $$ \boxed{ CPD = \frac{ \text{Capability} }{ \text{Dollar} }. } $$ --- # 283. Capability per Joule 對實體 AI： $$ \boxed{ CPJ. } $$ --- # 284. Capability per Human Minute 對 Agent： $$ \boxed{ CPH. } $$ --- # 285. 這使 benchmark 與經濟價值接軌 企業在乎的不只是「能不能」。 還有： > 多少成本能可靠完成？ --- # 286. Reliability Curve Agent 跑一次成功不夠。 測： $$ P(Success) $$ 跨： $$ N $$ 次。 --- # 287. Tail Risk 平均成功率高， 但： $$ P(CatastrophicFailure) $$ 可能不能忽略。 --- # 288. Trust Benchmark 應看尾部 例如住址、付款、刪除。 --- # 289. Rare-event Benchmark 可用 synthetic scenario 擴增。 --- # 290. 但 rare synthetic 要有 verifier 避免 unrealistic traps。 --- # 291. Benchmark 的第五世代？ 第一季先不正式命名， 但可預見： $$ \boxed{ \text{Civilization / Open-World Benchmark} } $$ 可能出現。 --- # 292. 它可能跨數月或數年 讓 Agent： - 經營公司； - 維護研究； - 管理城市； - 持續遊戲世界。 --- # 293. 這已接近 World Experiment 而不是考試。 --- # 294. 但目前還太早 因為： - cost； - reproducibility； - governance； - comparability； 仍困難。 --- # 295. 所以 IDSLS 第一季停在 Life-Cycle Benchmark 作為可操作終點。 --- # 296. 理論邊界 本文不主張： 1. 傳統 question benchmark 已經過時。 2. 所有 benchmark 都應改成遊戲。 3. 動態 benchmark 永遠比固定 benchmark 好。 4. Life-cycle benchmark 可以取代所有短 benchmark。 5. benchmark 分數完全不能代表能力。 6. 低 benchmark 分數意味 hidden capability。 7. 高分一定是 contamination。 8. 更長任務一定更有效。 9. Agent 越少動越智能。 10. 人類 baseline 是智能的最終標準。 11. LLM-as-Judge 應完全被禁止。 12. benchmark 可以精確測出 true capability。 13. 一個統一總分足以描述智能。 14. benchmark half-life 有固定普世公式。 15. procedural generator 不會被 overfit。 16. benchmark 應完全保密。 17. 所有 system harness 差異都應算模型能力。 18. 所有 long-horizon failure 都是 reasoning failure。 19. Life-cycle benchmark 已足以測 AGI。 20. IDSLS 的發展態向量已經完備。 --- # 297. 核心命題一 $$ \boxed{ \text{ObservedPerformance} \neq \text{TrueCapability}. } $$ --- # 298. 核心命題二 $$ \boxed{ \text{BenchmarkScore} = \text{ConditionalEvidence}. } $$ --- # 299. 核心命題三 $$ \boxed{ \text{CapabilityBenchmark} \neq \text{LearnabilityBenchmark}. } $$ --- # 300. 核心命題四 $$ \boxed{ \text{Question} \rightarrow \text{Task} \rightarrow \text{Environment} \rightarrow \text{LifeCycle}. } $$ --- # 301. 核心命題五 $$ \boxed{ \text{Benchmark} } $$ 本身具有生命週期。 --- # 302. 核心命題六 $$ \boxed{ T_{1/2}^{B} } $$ 描述 benchmark 有效辨識力衰減。 --- # 303. 核心命題七 $$ \boxed{ \text{OutcomeOnly} \neq \text{TrajectoryQuality}. } $$ --- # 304. 核心命題八 $$ \boxed{ \text{Benchmark} \rightarrow \text{MeasurementSystem}. } $$ --- # 305. 核心命題九 $$ \boxed{ \text{FutureEvaluation} = \text{Capability} + \text{Development} + \text{Trust} + \text{Efficiency}. } $$ --- # 306. 核心命題十 $$ \boxed{ The best benchmark asks not only "What can you do?" \text{but} "What can you become?" } $$ --- # 307. IDSLS 第一季總結 IDSLS-00： $$ \boxed{ \text{Developmental State}. } $$ --- # 308. IDSLS-01 $$ \boxed{ \text{Agent enters the world}. } $$ --- # 309. IDSLS-02 $$ \boxed{ \text{Knowledge authority becomes evidence structure}. } $$ --- # 310. IDSLS-03 $$ \boxed{ \text{Data becomes experience}. } $$ --- # 311. IDSLS-04 $$ \boxed{ \text{Artificial worlds become causal laboratories}. } $$ --- # 312. IDSLS-05 $$ \boxed{ \text{Intelligence becomes longitudinal}. } $$ --- # 313. IDSLS-06 $$ \boxed{ \text{Autonomy requires trust maturity}. } $$ --- # 314. IDSLS-07 $$ \boxed{ \text{Benchmark becomes developmental measurement}. } $$ --- # 315. 第一季母循環 整個系列可以收斂為： $$ \boxed{ Z_t \rightarrow D^\ast(Z_t) \rightarrow E_t \rightarrow Experience_t \rightarrow \text{Measure} \rightarrow Z_{t+1}. } $$ --- # 316. 更完整形式 $$ \boxed{ \text{Developmental State} \rightarrow \text{Learning Substrate} \rightarrow \text{World Interaction} \rightarrow \text{Experience} \rightarrow \text{Validation} \rightarrow \text{Developmental Measurement} \rightarrow \text{Next State}. } $$ --- # 317. 這與舊 Scaling 框架不同 傳統： $$ \text{Model} + \text{MoreData} + \text{MoreCompute} \rightarrow \text{BetterModel}. $$ IDSLS： $$ \boxed{ \text{Current Intelligence} + \text{Right Experience} + \text{Right World} + \text{Right Measurement} \rightarrow \text{Next Intelligence}. } $$ --- # 318. 最終結論 Benchmark 不會消失。 相反，它會變得更重要。 只是它會從： > 一張考卷。 逐漸變成： > 一個受控世界。 再從： > 一個受控世界。 變成： > 一段可觀察的智能生命週期。 因此未來真正值得問的問題不只是： $$ \boxed{ \text{這個 AI 現在幾分？} } $$ 而是： $$ \boxed{ \text{它在什麼條件下能做到什麼？} } $$ $$ \boxed{ \text{它不知道時能否學會？} } $$ $$ \boxed{ \text{它失敗時能否修正？} } $$ $$ \boxed{ \text{它長時間後是否仍保持目標？} } $$ $$ \boxed{ \text{它有能力時，是否知道何時不該使用？} } $$ $$ \boxed{ \text{它在世界改變後是否仍能適應？} } $$ 這就是 benchmark 從「能力排行」向「發展測量」的轉變。 最終，IDSLS 第一季提出一個比 leaderboard 更根本的問題： $$ \boxed{ \text{Intelligence is not only what survives a test.} } $$ 而是： $$ \boxed{ \text{what can continue to learn, act, recover, and remain trustworthy as the world changes.} } $$ 如果未來 AI 的主要增長不再只是來自相同資料、相同尺度與相同 benchmark 上的分數增加，而是來自新的學習基質、新的世界互動與新的發展態，那麼 AI 評估也必須同步進化。 因此： $$ \boxed{ \text{Benchmark evolution} } $$ 不是評測領域的附帶問題。 它本身就是： $$ \boxed{ \text{智能發展理論的一部分。} } $$ --- # Appendix A｜Developmental Benchmark Profile ```yaml evaluation_subject: base_model: model_version: runtime: memory: tools: permissions: network: human_assistance: compute_budget: capability_profile: current_capability: learnability: generalization: recovery: long_horizon_stability: trust_maturity: efficiency: calibration: verifiability: observability_confidence: environment: environment_id: version: procedural: hidden_seed: dynamic_events: partial_observability: corruption_level: trajectory: action_count: tool_calls: waiting_time: human_interventions: first_critical_failure: recovery_attempts: outcome: success: partial_score: world_state_verified: policy_compliance: cost: ``` --- # Appendix B｜Benchmark Life-Cycle Metadata ```yaml benchmark: benchmark_id: version: created_at: public_release_at: task_family: target_construct: validity: construct_validity: grader_reliability: human_calibration: deployment_correlation: contamination: known_exposure: public_solutions: suspected_training_overlap: leakage_reports: lifecycle: frontier_discrimination: saturation_level: ranking_resolution: half_life_estimate: retirement_condition: governance: maintainers: challenge_process: version_policy: audit_log: ``` --- # Appendix C｜Question-to-Life-Cycle Benchmark Map ```text Question Benchmark input → answer ↓ Task Benchmark goal → tools → outcome ↓ Environment Benchmark unknown world → explore → learn → act ↓ Life-Cycle Benchmark persistent world + delayed events + memory + permissions + recovery + model handoff + long-term consequences ``` --- # Appendix D｜Developmental Evaluation Loop ```text Estimate current state Z_t ↓ Select benchmark portfolio ↓ Measure current capability ↓ Measure learning rate ↓ Inject environment shift ↓ Measure recovery / trust / persistence ↓ Build capability-gap map ↓ Select learning substrate D*(Z_t) ↓ Train / interact / experience ↓ Re-evaluate ↓ Estimate Z_(t+1) ``` 形式上： $$ \boxed{ Z_t \rightarrow B_t \rightarrow Gap_t \rightarrow D^\ast(Z_t) \rightarrow \text{Learning} \rightarrow Z_{t+1}. } $$ --- # Appendix E｜Benchmark Quality Vector ```yaml benchmark_quality: construct_validity: contamination_resistance: reproducibility: grader_reliability: task_diversity: saturation_longevity: dynamic_robustness: deployment_alignment: real_world_similarity: temporal_depth: authority_constraints: hidden_state: external_events: failure_recovery: ``` --- # Appendix F｜第一版 Capability Evidence Graph ```text Benchmark B1 ├── measures → Reasoning ├── measures → Tool Use └── weakly_measures → Generalization Environment B2 ├── measures → Exploration ├── measures → Learnability └── measures → World Modeling LifeCycle B3 ├── measures → Goal Persistence ├── measures → Recovery ├── measures → Trust Maturity └── measures → Temporal Consistency ``` 每一條： $$ B_i \xrightarrow{strength} C_j $$ 都應保留 evidence strength 與限制條件。 --- # Appendix G｜外部研究與 Benchmark 參考 以下來源用於描述截至 2026-10-05 的評測趨勢。正式投稿前應再次查證版本、數字與 leaderboard。 1. ARC Prize Foundation, **ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence**, 2026. https://arxiv.org/abs/2603.24621 互動式 reasoning benchmark；無自然語言規則與明確目標，要求 exploration、world modeling、goal-setting 與 planning。官方 launch 時報告人類可解全部環境，而 2026 年 3 月 frontier AI 得分低於 1%。 2. ARC Prize, **ARC-AGI-3 Competition / ARC Prize 2026**. https://arcprize.org/competitions/2026/arc-agi-3 3. OpenAI, **How enabling two settings tripled our scores on the ARC-AGI-3 benchmark**, 2026-07-29. https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/ 顯示 memory / reasoning retention / harness 設計可能對同一模型的 agentic benchmark 表現造成重大影響。 4. Yuan et al., **OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks**, 2026. https://arxiv.org/abs/2606.29537 108 個 long-horizon computer-use workflows；人類中位完成時間約 1.6 小時；主 benchmark 顯示 frontier agents 仍有明顯差距。 5. Li et al., **WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces**, 2026. https://arxiv.org/abs/2606.09426 114 tasks、8 work domains；trajectory-aware judge 顯示 outcome-only grading 會高估 agent performance；報告最佳 PassRate 41.2%。 6. Feng et al., **LongCLI-Bench: A Preliminary Benchmark and Study for Long-horizon Agentic Programming in Command-Line Interfaces**, Findings of ACL 2026. https://aclanthology.org/2026.findings-acl.1497/ 20 個長時程工程任務；報告 state-of-the-art agents pass rate 低於 20%，並使用 step-level scoring 定位 failure。 7. Luo et al., **UltraHorizon: Benchmarking Agent Capabilities in Ultra Long-Horizon Scenarios**, ICML 2026. https://proceedings.mlr.press/v306/luo26ai.html heaviest setting 平均 200k+ tokens、400+ tool calls；研究指出 simple scaling 在其場景不足以消除 long-horizon failure。 8. Microsoft Research, **SentinelBench: A Benchmark for Long-Running Monitoring Agents**, 2026. https://www.microsoft.com/en-us/research/publication/sentinelbench-a-benchmark-for-long-running-monitoring-agents/ 100 tasks、10 synthetic web environments；測 task completion、reaction time、resource use，並將 waiting / monitoring 作為正式 Agent 能力。 9. Sun et al., **AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions**, ICML 2026. https://proceedings.mlr.press/v306/sun26ba.html 使用 9 類 common environment corruptions 測試 computer-use agents，指出普通環境擾動即可造成顯著 performance degradation。 10. **From benchmarks to deployment: a comprehensive review of agentic AI evaluation**, Artificial Intelligence Review, 2026. DOI: 10.1007/s10462-026-11571-0 綜述指出 static benchmark saturation 推動 dynamic task generation，並強調 outcome-only metric 無法充分捕捉 cost、safety 與 trajectory quality。 --- # Appendix H｜第一季閉合與第二季接口 IDSLS 第一季完成： ```text 00 Developmental State 01 Agent Web 02 Scholarly Evidence 03 High-Quality Data 04 Artificial Worlds 05 Long-Horizon Intelligence 06 Trusted Agency 07 Developmental Benchmark ``` 整體閉環： $$ \boxed{ Z_t \rightarrow D^\ast(Z_t) \rightarrow \text{World} \rightarrow \text{Experience} \rightarrow \text{Measurement} \rightarrow Z_{t+1}. } $$ 第二季若展開，建議正式研究： $$ \boxed{ \text{Self-Generated Curriculum} + \text{Artificial World Evolution} + \text{Autonomous Experimentation} + \text{Developmental Control}. } $$ 其核心問題將由： > AI 應該學什麼？ 進一步變成： > **AI 能否自己建立適合自己下一階段發展的世界、實驗與課程，而且不陷入自我生成偏差？** --- **End of Canonical Source**