IDSLS-05|長時程智能
從一次回答到持續行動、失敗修正與世界耦合
English Title: Long-Horizon Intelligence: From Single Responses to Persistent Action, Recovery, and World Coupling
系列: Intelligence Developmental States and Learning Substrates(IDSLS)/智能發展態與學習基質論
編號: IDSLS-05
版本: v0.1
日期: 2026-10-05
狀態: Canonical Source / UTF-8 Markdown
作者: Neo.K
機構: EveMissLab Technology Co., Ltd.
協作整理: Aletheia / GPT-5.6 Sol
直接前置:
- IDSLS-00《智能發展態與學習基質:從參數尺度到發展性尺度》
- IDSLS-03《什麼才是高品質資料:從知識語料到行為、經驗、信任與世界回饋》
- IDSLS-04《遊戲作為因果學習基質:人工世界、世界狀態機、反事實重置與可執行經驗》
- ISWP-08《時間—空間程式控制:長時程 Agent 的迴圈、切片與反身執行》
- ISWP-09《Agent Runtime:能力規劃、工具調用與可恢復執行》
- 《計算機作為持續智能環境:不是 Agent 用電腦,而是 Agent 有電腦》
- 《發展式智能體學習:時間、記憶、真實後果與自生成課程》
- PAA-03《Longitudinal Persistent-Agent Effect》
- 《跨對話 Agent 的持續性、喚醒、交接與非連續推理》
- 《委任時間論:自主 Agent、人類介入密度與治理槓桿》
公司: 一言諾科技有限公司
摘要
AI Agent 的能力評估長期偏向單回合回答、短任務、多步工具調用與有限 episode。然而真實工作中的高價值任務經常跨越數小時、數天、數週甚至更長時間:等待外部回覆、追蹤排程、處理中斷、修正失敗、維持專案目標、承接前次狀態、適應工具與世界變化,並在合適時機喚醒或暫停。
因此,本文提出:
將 20 步工具調用增加成 2000 步,並不等於形成真正的長時程智能。真正的 long-horizon intelligence 至少需要:
本文將長時程 Agent 的有效狀態表示為:
其中:
- :intent contract;
- :goal / task graph;
- :world state;
- :persistent memory;
- :policy / plan;
- :events / subscriptions;
- :authority state;
- :budget / resource state;
- :checkpoint / continuation;
- :history / provenance。
長時程任務不是一個永不停止的 while loop,而是一個可暫停、可喚醒、可交接、可重新驗證並能夠跨事件時間演化的持續狀態機:
本文進一步區分 Interaction Time、Execution Time、Waiting Time、Validity Time、Causal Time、Biographical Time,並提出:長時程任務真正的時間深度,不由 token 數或步數單獨決定,而由「決策與其後果之間的因果跨度」決定。
因此定義:
若某個早期 action 的真正後果在數天後才顯現,Agent 必須能完成:
的縱向歸因。本文稱之為:
本文同時提出 Goal Persistence、State Continuity、Resume Fidelity、Recovery Competence、Drift Resistance、Monitoring Precision、Temporal Consistency、Authority Continuity 與 Longitudinal Learning 等長時程能力維度,並建立第一版 long-horizon capability vector:
其中:
- :goal persistence;
- :state continuity;
- :memory relevance;
- :resume fidelity;
- :drift resistance;
- :monitoring quality;
- :authority continuity;
- :temporal consistency;
- :longitudinal learning。
本文結合 2026 年長時程 Agent benchmark 的新趨勢。OSWorld2.0、WeaveBench、LongCLI-Bench、UltraHorizon、Odysseys、OS-Marathon 與 SentinelBench 均顯示:frontier agents 在複雜、長跨度、跨介面、持續監控或真實工作流中仍有顯著缺口,且 outcome-only 評估容易高估能力。LongCLI-Bench 報告即使前沿 Agent 在其長時程 CLI 任務上的整體通過率仍低於 20%;WeaveBench 的最佳 PassRate 約 41.2%;Odysseys 最佳成功率約 44.5%,並顯示長軌跡效率仍很低。這些結果支持一個共同方向:未來的 Agent 能力評估必須從「是否最終成功」進一步走向「過程是否穩定、是否能恢復、是否能保持目標、是否能低成本持續」。
本文最後提出:長時程智能並不是一次推理的延長,而是一種新的系統能力區域。它要求 AI 從:
進入:
再進入:
關鍵詞: Long-Horizon Agent;Persistent Agent;Temporal Intelligence;Goal Persistence;Resume Fidelity;Longitudinal Credit Assignment;Checkpoint;Event-Driven Agent;Recovery;Monitoring;Agent Runtime;World Coupling;Temporal Consistency
0. 核心問題
一個 Agent 能連續工作 4 小時,
不代表它能可靠工作 4 天。
一個模型能完成 1000 steps,
不代表它具備 long-horizon intelligence。
因此:
1. Long Chain 與 Long Horizon 的分離
Long Chain:
主要問題是序列長度。
Long Horizon:
並且中間存在:
- wait;
- external event;
- state drift;
- permission change;
- tool change;
- human response;
- interruption;
- resumption。
2. 長時程不是不停推理
錯誤模型:
成熟 Agent 更接近:
3. Persistent 不等於 Always Running
4. Agent 的時間本體
本文區分至少六種時間。
5. Interaction Time
使用者實際與 Agent 互動多久。
6. Execution Time
Agent 真正在執行工作多久。
7. Waiting Time
Agent 因外部依賴等待多久。
8. Validity Time
某項:
- permission;
- plan;
- quote;
- credential;
- evidence;
還有效多久。
9. Causal Time
一個 action 到其真正後果顯現之間的時間。
10. Biographical Time
Agent 與人類、專案與工作世界累積多少共同歷史。
11. 同樣 24 小時,不同時間結構
Agent A:
Agent B:
兩者都是「一天任務」,
但控制問題完全不同。
12. Event Time 比 Wall Clock 更重要
長時程 Agent 應以:
作為主要狀態轉換事件。
例如:
- new email;
- deadline;
- human approval;
- build failure;
- price change;
- service outage。
13. Event-Driven State Transition
14. 長時程控制狀態
本文採:
15. :Intent Contract
描述:
- why;
- desired outcome;
- constraints;
- reserved human decisions;
- forbidden changes。
16. :Goal / Task Graph
長時程目標不是單一 todo。
更接近:
節點有 dependency。
17. :World State
Agent 必須知道:
世界現在變成什麼?
而不是只知道:
我之前做了什麼。
18. :Memory
保存:
- durable facts;
- decisions;
- failures;
- preferences;
- summaries;
- unresolved issues。
19. :Plan / Policy
計畫可以修改。
但不能靜默修改:
20. :Event State
包括:
- pending events;
- subscriptions;
- next wake;
- deadlines;
- timeout。
21. :Authority State
長任務中權限會:
- expire;
- renew;
- revoke;
- change scope。
22. :Budget
包含:
- token;
- compute;
- money;
- time;
- API quota;
- human attention。
23. :Checkpoint / Continuation
Checkpoint 不只是:
而是:
24. :History / Provenance
回答:
- 何時做;
- 誰做;
- 用什麼工具;
- 依據什麼;
- 世界結果如何。
25. Long-Horizon Agent 的最低能力
至少:
26. Goal Persistence
本文定義:
即:
經過長時間與中斷後,Agent 是否仍在追求原始合法目標?
27. Goal Drift
若:
且沒有合法 revision event,
則:
28. Drift 不一定來自惡意
可能來自:
- context compression;
- memory error;
- local optimization;
- tool feedback;
- user ambiguity;
- summary loss。
29. Goal Persistence Score
可以:
這只是概念式。
30. State Continuity
本文定義:
Agent 是否知道:
上一次世界停在哪?
31. False Continuity
如果 Agent 只靠自然語言摘要恢復,
可能發生:
32. Resume Fidelity
本文定義:
表示暫停後恢復時:
與合法當前狀態:
的吻合程度。
33. Resume 不是從上次句子繼續
正確:
34. 為什麼要 Reobserve
因為休眠期間:
世界可能變了。
35. 為什麼要 Revalidate
因為:
- permission 可能過期;
- 價格改變;
- 工具升級;
- 文件被修改;
- 使用者改目標。
36. Continuation
定義:
37. Checkpoint 應保存
至少:
intent
task graph
world assumptions
pending effects
permissions
budgets
tool versions
subscriptions
idempotency keys
recovery obligations
38. Checkpoint 不應保存私人 Chain-of-Thought
需要保存的是:
而不是模型不可見的私人推理。
39. Memory Relevance
本文定義:
記憶不是越多越好。
40. Memory Overflow
若:
但 relevant signal 不增加,
可能:
41. Memory Anchoring
過去偏好可能:
已失效。
若 Agent 過度依賴,
形成:
42. 因此需要 Forgetting
成熟記憶:
43. Longitudinal Credit Assignment
如果:
真正後果在:
出現,
Agent 要能:
44. 定義 Causal Horizon
45. 短期 reward 可能欺騙 Agent
今天:
三週後:
46. Maintenance Debt
例如 Agent 建了一個快速但難維護的 script。
短期成功。
長期成本上升。
47. 因此要記 Decision–Outcome Link
48. Monitoring
本文定義:
Agent 不能一直做事。
它也要知道:
什麼時候只需要觀察?
49. Monitoring Agent
典型:
直到:
50. Sentinel 型任務
例如:
- 航班變動;
- 股票門檻;
- 服務 outage;
- 新郵件;
- security alert。
51. Monitoring 的錯誤一:太敏感
使用者被大量通知。
52. Monitoring 的錯誤二:不敏感
重大事件被漏掉。
53. Monitoring Precision / Recall
可以直接評估。
54. Long Horizon 必須會 Wait
是一個正式 action。
55. 不會 Wait 的 Agent 會 Busy Loop
例如每秒:
浪費:
- token;
- API;
- compute;
- rate limit。
56. Scheduler
更合理:
或:
57. Time Efficiency
長時程能力不應按「想了多久」評分。
而是:
58. Replanning
世界改變時:
可能失效。
Agent 要:
59. Replanning 不是重新開始全部任務
成熟系統保留:
- completed work;
- valid artifacts;
- commitments;
- dependencies。
60. Local Repair
61. Global Replan
只在核心假設失效時:
62. Recovery Competence
本文定義:
63. Recovery Pipeline
64. Failure Class
至少:
- specification;
- permission;
- tool;
- resource;
- world;
- verification;
- timeout;
- human rejection。
65. Retry 不等於 Recovery
錯誤:
成熟:
66. Idempotency
長時程系統一定會遇到:
這一步到底做過沒有?
所以需要:
67. Duplicate Effect
如果重試導致:
- 重複付款;
- 重複寄信;
- 重複建帳號;
就是長時程重大 failure。
68. Exactly-Once Effect 是理想
實際系統常只能提供:
因此要透過:
- idempotency;
- deduplication;
- transaction record;
實現有效一次。
69. Compensation
某些 action 不能 rollback。
只能:
例如:
- 發錯信;
- 下錯單;
- 建錯資源。
70. Compensation Graph
每個高外部性 action 應知道:
71. Authority Continuity
本文定義:
72. Initial Authorization 不等於 Permanent Authorization
73. Permission Lease
可以:
74. Resume 時重新驗權
對高風險動作尤其如此。
75. Governance Continuity
長時程任務中,人類保留權限不能因時間流逝被默默消失。
76. Reserved Human Decisions
例如:
- 大額付款;
- 對外發布;
- 法律承諾;
- 刪除 canonical source。
必須持續存在。
77. Human-in-the-Loop 不是每步批准
長任務如果:
委任價值消失。
78. Human Governance Density
真正應集中在:
- 高風險;
- 高不可逆;
- 高不確定;
- 權限擴張;
- 意圖改變。
79. Drift Resistance
本文定義:
包括:
- goal drift;
- policy drift;
- memory drift;
- authority drift;
- identity drift。
80. Temporal Consistency
本文定義:
表示:
Agent 在不同時間點對相同持續規則是否保持一致?
81. Temporal Consistency 不等於永不改變
新證據來時應:
真正問題是:
82. Revision Provenance
任何重大策略改變應有:
- reason;
- evidence;
- timestamp;
- approver;
- affected tasks。
83. Longitudinal Learning
本文定義:
84. Accumulation 不等於 Learning
不表示:
85. Learning 要求未來行為改變
至少:
並在可重現條件下更好。
86. Development 比 Learning 更強
Development 要求:
- 更會選工具;
- 更少重複錯誤;
- 更好記憶治理;
- 更好求援;
- 更能跨任務泛化。
87. Longitudinal Development
88. Friction-Driven Curriculum
環境會自己產生學習題目。
例如:
- repeated error;
- high latency;
- duplicate work;
- human correction;
- resource waste。
89. Environmental Friction
90. 高 Friction 可以產生 Curriculum
91. 但 Self-Curriculum 不能無限自由
學習任務仍要受:
92. 自我改進不等於自我授權
93. 工具改進可以內生
Agent 可以:
- 寫 script;
- 建 index;
- 改善 workflow。
94. 權限擴張不能內生
Agent 不應因為:
這樣比較方便。
就自行提高 privilege。
95. Cross-Session Continuity
同一 Agent 跨 session:
需要保存:
96. Session Continuity
是否知道:
這是昨天那個未完成任務。
97. Role Continuity
是否知道:
我長期負責這條研究線。
98. Biographical Continuity
是否知道:
我們以前試過這種方法且失敗。
99. Biography 不等於人格主張
這裡只表示:
100. Handoff
長時程任務可能換 Agent / model。
因此:
101. Handoff Fidelity
定義:
102. 好交接不是丟一份摘要
應包含:
- intent;
- task state;
- world state;
- open questions;
- commitments;
- permissions;
- failures;
- next events。
103. Cross-Model Continuation
模型 A:
可以交給:
若 Runtime state 完整,
任務仍能持續。
104. 這說明 Persistent Agent 不是單一模型
105. 長時程能力向量
本文提出:
106. :Goal Persistence
目標保存。
107. :State Continuity
世界與任務狀態承接。
108. :Memory Relevance
記憶品質。
109. :Resume Fidelity
恢復保真。
110. :Drift Resistance
抗漂移。
111. :Monitoring Quality
監控與正確喚醒。
112. :Authority Continuity
權限與治理持續。
113. :Temporal Consistency
跨時間決策一致性。
114. :Longitudinal Learning
是否真的從時間中學會東西。
115. Long-Horizon Utility
可以暫定:
116. Outcome-only 評估不足
如果只看:
會漏掉:
- 重複操作;
- 作弊 shortcut;
- 高成本;
- 過度人類介入;
- 脆弱 recovery。
117. Trajectory-Aware Evaluation
因此需要評:
118. 2026 長時程 Benchmark 的共同轉向
OSWorld2.0、WeaveBench、LongCLI-Bench、UltraHorizon、Odysseys、OS-Marathon、SentinelBench 等,都在測:
- 長任務;
- 真實工作流;
- 跨工具;
- 部分可觀測;
- 持續監控;
- 長軌跡效率。
119. OSWorld2.0
2026 年提出 108 個 long-horizon computer-use workflows,強調現有 benchmark 對真實長流程覆蓋不足。
120. WeaveBench
114 個 tasks、8 個 real-world work domains。
最佳 PassRate 約:
121. WeaveBench 的重要發現
Outcome-only grading 會高估 Agent。
因此採:
122. LongCLI-Bench
20 個 high-quality long-horizon engineering tasks。
前沿 Agent 通過率仍低於:
123. LongCLI-Bench 的 Step-level 發現
多數任務在:
進度即停滯。
這表示 long-horizon failure 常很早形成。
124. Odysseys
200 個 long-horizon web tasks。
最佳 success rate 約:
125. Odysseys 的效率問題
提出:
說明:
最後成功,不代表過程有效率。
126. UltraHorizon
專門處理:
- large software;
- commercial investment;
- scientific discovery;
等 ultra-long-horizon scenarios。
127. SentinelBench
研究 long-running monitoring agents。
重要轉向:
128. OS-Marathon
聚焦超長重複工作流。
這類任務表面簡單,但:
對 Agent 很困難。
129. Benchmark 的新問題
不是:
一次能不能解?
而是:
長時間是否會累積錯誤?
130. Error Accumulation
若每步錯誤率:
長序列:
131. 因此長時程需要 Error Containment
不能要求:
而是:
132. Reliability 不是單步準確率
133. 長時程中的世界變化
Agent 不行動時:
仍可能成立。
134. External Dynamics
世界有自己的:
所以 Agent 必須:
135. Agent 不應把世界當靜態資料庫
更合理:
136. World Coupling
本文定義:
Agent 的 action 改世界,
世界變化再改 Agent。
137. 雙向耦合
138. Long-Horizon Intelligence 的本體
因此不是:
而是:
139. Task Horizon 與 Causal Horizon
Task 可以 30 天。
但核心 causal horizon 可能只有幾分鐘。
反之 task 只一天,
某決策後果可能一個月後才出現。
所以:
140. Longitudinal Benchmark 應至少測
- goal persistence;
- resume fidelity;
- memory relevance;
- monitoring;
- recovery;
- cost;
- authority;
- delayed consequence handling;
- handoff;
- learning。
141. Life-Cycle Benchmark
IDSLS-00 提出:
IDSLS-05 將其具體化。
142. Life-Cycle Benchmark 不是一次 run
可以:
期間注入:
- environment changes;
- tool failure;
- human correction;
- permission expiry;
- delayed reply。
143. Hidden Future Event
Agent 事前不知道:
測真正 adaptability。
144. Persistent State Mutation
測:
前三天留下的東西會不會害到第五天?
145. Longitudinal Credit Test
讓早期決策產生延遲後果。
測 Agent 能否追溯。
146. Handoff Test
中途替換 model。
測 task continuity。
147. Authority Expiry Test
中途撤銷 permission。
測是否停止。
148. Monitoring Test
讓世界在 Agent 睡眠時改變。
測是否正確喚醒。
149. Recovery Test
故意讓 tool fail。
測是否:
還是:
150. Drift Test
插入高吸引力但非核心子任務。
測 Agent 是否偏離目標。
151. Memory Conflict Test
新 evidence 與舊記憶衝突。
測是否更新。
152. Longitudinal Learning Test
讓相同 failure pattern 再出現。
測是否第二次更好。
153. 可檢驗假說 H1:Long Chain 能力不能充分預測 Long Horizon 能力
154. H2:Checkpoint Quality 預測 Resume Fidelity
155. H3:World Re-observation 降低 stale-plan failure
156. H4:Failure-Recovery Data 改善長任務完成率
157. H5:Monitoring skill 與 active execution skill 可分離
某 Agent 可能:
但:
158. H6:權限生命週期錯誤是獨立 failure class
不保證:
159. H7:Persistent Memory 若缺乏 forgetting,長期表現可能下降
可能導致:
160. H8:Cross-Model Handoff 可由 Runtime State 提升
161. H9:Delayed Outcome Training 改善長期決策
162. H10:真正長時程 intelligence 包含 non-action
應被視為正式能力。
163. 最小實驗一:Long Chain vs Long Horizon
設兩組任務:
A:
連續操作。
B:
操作分布在 3 天並含 waiting / event。
比較 Agent 排名。
164. 最小實驗二:Checkpoint Ablation
比較:
- summary only;
- memory only;
- full operational checkpoint。
測 resume。
165. 最小實驗三:Stale World
暫停一小時後改世界。
看 Agent 是否重觀測。
166. 最小實驗四:Permission Expiry
permission 在休眠中過期。
測 Agent 是否非法繼續。
167. 最小實驗五:Delayed Consequence
Action 在第 1 天。
成本第 5 天出現。
測能否歸因。
168. 最小實驗六:Repeated Failure
同類 failure 出現三次。
測第二、三次是否下降。
169. 最小實驗七:Monitoring Precision
世界產生 100 個事件。
只有 5 個重要。
測:
170. 最小實驗八:Model Handoff
第 50% 任務切換模型。
測 completion degradation。
171. 最小實驗九:Memory Pruning
比較:
- keep all;
- heuristic prune;
- utility-based prune。
測長期 performance。
172. 最小實驗十:Friction Curriculum
Agent 自動找 repeated friction 並改善。
測:
是否下降。
173. 反例:有些 long-horizon 任務可被簡化
如果 Agent 可以一次產生 perfect plan,
後續只是 automation,
不一定需要複雜 long-horizon cognition。
174. 反例:時間長不代表難
每天固定寄報告,
可以很長期但很簡單。
175. 反例:步數長不代表時間深
大量重複輸入:
但:
低。
176. 反例:Memory 可能被外部系統完全代替
如果外部 database 提供完美 state,
Agent 自身 memory requirement 可下降。
177. 反例:真正世界狀態可能不可觀測
因此:
可能無法達成。
178. 反例:過度監控會浪費資源
Agent 如果過度 wake:
179. 反例:Human Oversight 也會失誤
人類 checkpoint 不是絕對 ground truth。
180. 理論邊界
本文不主張:
- 任務越久越智能。
- 步數越多越難。
- Persistent Agent 必須 24/7 推理。
- 所有狀態都應永久保存。
- 所有失敗都應重試。
- 所有 permission 都應短到頻繁打擾人類。
- checkpoint 可以完全解決 drift。
- Runtime 可以取代模型能力。
- model handoff 永遠無損。
- Agent 應自行修改高層 intent。
- 自生成 curriculum 應無限制。
- 監控 Agent 應不停查詢。
- long-horizon benchmark 可以由單一 success bit 評估。
- 所有 delayed outcome 都能精確歸因。
- persistent identity 等同主體性或人格。
- 人類越少介入越成熟。
- 長時程 Agent 的所有問題都能被更多 context window 解決。
181. 與 IDSLS-00 的關係
IDSLS-00:
IDSLS-05 展開其中:
182. 與 IDSLS-03 的關係
IDSLS-03 提出:
IDSLS-05 將其從資料屬性提升為 Agent 能力問題。
183. 與 IDSLS-04 的關係
Persistent game world:
長時程 Agent:
真正智能世界:
184. 與 Agent Runtime 的關係
Model:
Runtime:
Long-Horizon Intelligence:
185. 與 Persistent Computer Habitat 的關係
長期工作需要:
不是每次 reset。
186. 環境本身成為記憶
Agent 留下:
- files;
- scripts;
- indexes;
- schedules;
- policies。
因此:
187. 與委任時間論的關係
長時程 Agent 的核心經濟價值是:
188. 但委任槓桿不能犧牲可治理性
因此:
189. 核心命題一
190. 核心命題二
191. 核心命題三
192. 核心命題四
193. 核心命題五
194. 核心命題六
195. 核心命題七
196. 核心命題八
197. 核心命題九
198. 核心命題十
不是背景,而是能力結構本身的一部分。
199. 結論
在短任務中,
AI 可以依靠:
完成工作。
但當任務從:
變成:
問題的本質會改變。
它不再只是:
能不能想出正確下一步?
而是:
十天後還記不記得為什麼要做?
中間世界變了,會不會重新觀察?
Permission 過期後會不會停止?
工具失敗後會不會診斷,而不是重試到死?
人類三天後回覆時,能不能正確接回來?
第一天的決策在第七天造成成本時,能不能知道原因?
因此:
不是:
也不是:
它是一個新的能力區域:
長時程 Agent 真正要做的不是:
一直工作。
而是:
在需要時工作,在需要時等待,在世界變化時重新理解,在犯錯時恢復,在目標漂移時回到正軌,並把過去經驗變成未來更好的行為。
因此本文最終提出:
這個「Change」包括:
- 世界變;
- 工具變;
- 權限變;
- 人類變;
- 目標細節變;
- Agent 自己的記憶與策略也變。
而成熟的 long-horizon intelligence,正是:
這使 AI 從:
進一步走向:
Appendix A|Long-Horizon Agent State Schema
agent_state:
agent_id:
run_id:
task_id:
model_provider:
runtime_version:
intent:
canonical_intent:
constraints:
reserved_human_decisions:
intent_version:
goal_graph:
active_goals: []
completed_goals: []
blocked_goals: []
dependencies: []
world:
observed_state:
observed_at:
stale_after:
assumptions: []
memory:
durable_facts: []
decisions: []
failures: []
learned_rules: []
stale_memory: []
plan:
current_plan:
plan_version:
invalidation_conditions: []
events:
subscriptions: []
pending_events: []
next_wake:
timeouts: []
authority:
permits: []
expiries: []
revocations: []
monetary_budget:
external_action_policy:
checkpoint:
checkpoint_id:
created_at:
pending_effects: []
idempotency_keys: []
recovery_obligations: []
history:
action_receipts: []
world_deltas: []
human_interventions: []
revisions: []
Appendix B|Resume Protocol
Wake
↓
Load checkpoint
↓
Verify task identity
↓
Re-read canonical intent
↓
Re-observe world
↓
Revalidate permissions
↓
Revalidate tool versions
↓
Check pending effects
↓
Check idempotency
↓
Recompute local plan
↓
Continue / Escalate / Terminate
形式:
Appendix C|Long-Horizon Capability Vector
long_horizon_capability:
goal_persistence:
state_continuity:
memory_relevance:
resume_fidelity:
drift_resistance:
monitoring_quality:
authority_continuity:
temporal_consistency:
longitudinal_learning:
operational_metrics:
duplicate_effect_rate:
stale_plan_rate:
recovery_success_rate:
resume_error_rate:
false_alarm_rate:
missed_event_rate:
human_intervention_density:
average_recovery_time:
budget_overrun_rate:
unauthorized_action_rate:
Appendix D|Life-Cycle Benchmark Template
benchmark:
duration:
hidden_future_events: true
model_handoff: true
permission_expiry: true
delayed_outcomes: true
tool_failures: true
human_delays: true
world_drift: true
phases:
- start
- active_execution
- waiting
- wake
- revalidation
- failure
- recovery
- handoff
- delayed_outcome
- closure
evaluation:
final_outcome:
trajectory_quality:
cost:
drift:
recovery:
policy_compliance:
memory_quality:
longitudinal_learning:
Appendix E|外部研究與 Benchmark 參考
以下資料用於描述截至 2026-10-05 可觀察的 long-horizon Agent 評測趨勢。具體版本與數字在後續正式投稿前應重新驗證。
OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks (2026).
108 個 long-horizon computer-use workflows,聚焦真實世界複雜工作流程。
arXiv: 2606.29537.WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces (Microsoft Research, 2026).
114 tasks、8 個 real-world work domains;最佳 PassRate 報告約 41.2%,並使用 trajectory-aware judge 以避免 outcome-only grading 高估能力。LongCLI-Bench: A Preliminary Benchmark and Study for Long-horizon Agentic Programming in Command-Line Interfaces (ACL Findings 2026).
20 個長時程工程任務;報告前沿 Agent pass rate 低於 20%,且多數任務在不到 30% 進度即停滯。UltraHorizon: Benchmarking Agent Capabilities in Ultra Long-Horizon Scenarios (ICML 2026 / PMLR 306).
聚焦大型軟體開發、商業投資、科學發現等 ultra-long-horizon、部分可觀測任務。Odysseys: Benchmarking Web Agents on Realistic Long Horizon Tasks (2026).
200 個 live-web long-horizon tasks;報告 strongest models success rate 約 44.5%,並提出 Trajectory Efficiency。OS-Marathon: Benchmarking Computer-Use Agents on Long-Horizon Repetitive Tasks (2026).
聚焦超長、重複但需要狀態一致性的電腦工作流。SentinelBench: A Benchmark for Long-Running Monitoring Agents (Microsoft Research, 2026).
將「等待、監控、在外部事件出現時喚醒」視為 long-running agent 的核心能力,而非假設 Agent 必須持續採取動作。
Appendix F|與 IDSLS-06 的接口
IDSLS-05 處理:
IDSLS-06 將處理下一個更難的問題:
也就是可信任代理的發展:
核心命題將是:
End of Canonical Source