可重建研究世界:RSI 為什麼需要保存成功、失敗、反事實與研究血統
系列:演化式 RSI、可執行反事實與 AI 自我科學系列(6/8)
英文題名:Reconstructible Research Worlds: Why RSI Must Preserve Successes, Failures, Counterfactuals, and Research Lineage
版本:v0.1
日期:2026-10-07
語言:zh-TW
文件性質:理論論文/RSI Memory Architecture/Research World Reconstruction/Canonical Draft
作者: Neo.K
機構: EveMissLab/一言諾科技有限公司
摘要
Recursive Self-Improvement(RSI)如果只保存「最新模型」,就會遺失真正支撐長期改進的大部分知識。
一個 checkpoint 可以告訴未來系統「現在是什麼狀態」,但通常不能完整回答:
- 為什麼變成這個狀態?
- 哪些替代路徑被測過?
- 哪些路徑失敗?
- 失敗是在什麼條件下發生?
- 哪些 evaluator 曾被替換?
- 哪些反事實世界仍未關閉?
- 哪些更新曾被 rollback?
- 哪些負面知識未來不必再重複探索?
因此本文提出:
RSI Memory=Latest Model State
而應逐步演化為:
Reconstructible Research World
本文將第 t 代 RSI 的研究世界記為:
Gt=(Kt+,Kt−,Ht,Bt,Et,Lt,Pt,Rt,Ot)
其中:
- Kt+:已驗證成功知識;
- Kt−:已驗證失敗/負面知識;
- Ht:未決 hypothesis;
- Bt:反事實 branch;
- Et:evaluator 與 verification history;
- Lt:lineage / update receipts;
- Pt:provenance;
- Rt:reproducibility / replay state;
- Ot:open problems / unresolved boundaries。
核心命題是:
Research Continuity=Model Continuity
只要研究世界可被重建,即使模型、agent、representation、memory substrate 甚至 RSI 方法本身改變,下一代 AI 仍可恢復:
我現在在哪一個研究世界裡、哪些事情已被證明、哪些只是暫時接受、哪些路徑已失敗,以及下一步真正值得探索的是什麼。
1. 為什麼「保存最新模型」不等於保存研究?
假設 RSI 歷史為:
M0→M1→⋯→Mt.
若只留下:
Mt,
我們知道最終狀態,卻不知道:
How did Mt become Mt?
遺失的可能包括:
- rejected mutations;
- failed branches;
- evaluator changes;
- benchmark anomalies;
- hidden regressions;
- rollback events;
- alternative architectures。
因此:
Final State=Research History.
2. 模型記憶與研究世界必須分離
普通模型記憶可以表示:
Mt.
研究世界則包含:
Gt.
一般:
Mt⊊Gt.
因為研究世界除了「知道什麼」,還包含:
為什麼知道、怎麼知道、在哪裡失敗、哪些分支尚未結束。
3. Reconstructible Research World
本文定義:
Gt=(Kt+,Kt−,Ht,Bt,Et,Lt,Pt,Rt,Ot)
這不是要求所有內容都存在同一資料結構中,而是要求:
Logical Unity=Physical Monolith.
不同元素可以位於 model registry、experiment store、graph、object storage、proof store、benchmark DB 或 lineage system,只要共享 canonical identity 與 reconstructibility。
4. K+:正面知識
Kt+
表示:
- 通過驗證的架構改進;
- 可重現 benchmark gain;
- 已驗證 causal effect;
- 通過 transfer 的方法;
- validated theory;
- accepted invariants。
但它不應只是結論列表,而應保存:
(k,V(k)),
其中 V(k) 是 verification receipt。
5. K−:負面知識
Kt−
表示:
- failed hypotheses;
- rejected architectures;
- invalid assumptions;
- broken evaluators;
- known regressions;
- unsafe compositions;
- dead-end search regions。
傳統知識庫常把失敗視為 noise。RSI 則不應,因為:
K− can reduce future search cost.
6. 為什麼失敗不是垃圾?
假設方法 RA 在條件 Γ 下失敗。
若未來系統不知道 RA 已經測過,就可能再次支付相同成本:
Crepeat=nCexp.
若保存 K−,則:
Crepeat↓.
但不能只記「A 不行」,而應記:
RA failed under Γ
其中:
Γ=(model,scale,data,environment,evaluator,resource,time).
因為條件改變後,舊失敗可能值得重新測試。
7. Negative Knowledge 需要 Validity Window
若 RA 在時間 t 失敗,不推出:
∀t′>t,RA fails.
所以負面知識需要:
Validity Window+Reopen Conditions.
例如:
當 memory bandwidth 提升兩倍後重新測試。
8. Ht:未決假設
不是所有 branch 都會立即得到答案。
因此:
Ht={h1,…,hn}
可包含:
- insufficient evidence;
- conflicting evidence;
- too expensive to test;
- waiting for physical validation;
- unresolved theory。
若沒有 Ht,下一代 AI 可能把 unknown 錯記成 false。
9. Open Hypothesis Status
每個 hi 應具有:
status(hi)∈{open,supported,weakened,rejected,archived}.
這比二元 true / false 更適合長期 RSI。
10. Bt:反事實世界族
前篇建立:
Bt={Wt(1),Wt(2),…}.
可重建研究世界需要保存:
- branch parent;
- typed delta;
- current status;
- experiment result;
- reason for pruning;
- merge history。
因此 branch 不只是 temporary process,而是:
Research Object.
11. Branch Archive
被停止的世界 Wf 不一定整個保存。
可以抽取:
A(Wf)=(Δ,failure,receipt,lesson).
再歸檔。
可以區分:
- Hot Branch:完整可立即 replay;
- Warm Branch:checkpoint + delta + receipts;
- Cold Branch:canonical summary + failure evidence + lineage。
即:
Tiered Counterfactual Memory.
12. Et:Evaluator History
如果 evaluator Et 改變,過去 score 不能無條件直接比較。
所以研究世界必須知道:
which evaluator produced which result.
可以建立:
E0→E1→E2
並保存:
- old metric;
- new metric;
- reason;
- calibration;
- overlap tests;
- incompatibility。
這形成 evaluator lineage:
LE.
13. Cross-Evaluator Translation
若 EA 與 EB 有共同 benchmark,可以估計:
fA→B.
使:
QB≈fA→B(QA).
這使跨代結果比較更可靠,也避免把「量尺變了」誤認為「能力真的變了」。
14. Lt:Lineage Graph
研究歷史不是單純鏈:
M0→M1→M2.
而更像圖:
L=(VL,EL)
節點可以是:
- model;
- RSI method;
- evaluator;
- world state。
邊可以是:
- mutation;
- merge;
- promotion;
- rollback;
- fork。
因此:
Research History=Causal Lineage Graph.
15. Update Receipt 與 Decision Receipt
每次 transition:
Si→Sj
應保存:
Uij=(parent,mutation,evidence,evaluator,decision).
但還需要回答:
為什麼接受?
所以可以保存:
Dij=(candidate set,ranking,risk,rejected alternatives,threshold).
即:
Decision Receipt.
16. Pt:Provenance
每個知識物件 k 應知道來源:
P(k).
它可能來自:
- experiment;
- external paper;
- formal proof;
- simulation;
- physical measurement;
- model inference;
- human instruction。
因此:
Knowledge=Provenance-Free Content.
17. Provenance Chain 與 Knowledge Dependency Graph
若:
k3←k2←k1,
而 k1 被推翻,就需要找到:
Descendants(k1).
因此可建立:
GK=(VK,EK)
表示知識依賴。
這使 belief revision 可以局部傳播,而不必整個系統從零開始。
18. Rt:Replay State
可重建不是「看摘要大概知道」。
重要實驗應盡可能支持:
Replay(e).
需要保存:
- code version;
- model version;
- data;
- seed;
- environment;
- toolchain;
- evaluator。
因此:
Reconstructible>Readable.
19. Reproducibility Gradient
可定義:
- Level 0:只有文字描述;
- Level 1:有 metrics 與 configuration;
- Level 2:有 code / environment metadata;
- Level 3:可 deterministic replay;
- Level 4:可跨硬體或跨模型重現同一結論。
形成:
Reproducibility Gradient.
20. Ot:Open Boundaries
研究世界還必須保存「不知道什麼」:
Ot={o1,o2,…}.
如果 AI 只保存成功知識,容易產生:
False Epistemic Closure.
Unknown 本身必須是一級狀態。
21. Unknown 也需要型別
可以區分:
Unknown={Uunobserved,Uconflicted,Uuntestable,Uunaffordable,Uunmodeled}.
不同 unknown 對下一步研究策略完全不同。
22. Research World Reconstruction
假設舊 agent At 停止,新 agent At+1 接手。
真正目標不是:
讀完摘要。
而是:
WAt≡researchWAt+1.
即新 agent 能恢復足夠等價的:
- goals;
- constraints;
- open hypotheses;
- verified knowledge;
- failures;
- branch status;
- provenance;
- next actions。
23. Research Continuity
定義:
CR(A,B)
表示 agent A 與 B 的 research continuity。
若 B 能恢復上述研究狀態,則:
CR(A,B)→1.
因此:
Research Continuity=Session Continuity.
24. 模型可替換,但研究世界持續
這承接可重建認知世界的原則:
Persistent Research World+Replaceable Research Agents.
模型:
Mt→Mt+1
不應等於:
research amnesia.
25. 新模型不應只繼承答案
若 Mt+1 只看到:
方法 B 最好。
它不知道:
- B 贏在哪;
- A 為何失敗;
- evaluator 是否可靠;
- 是否存在 trade-off。
所以應繼承:
Answer+Reason+Evidence+Alternatives+Failure History.
26. Semantic Crystal 與可逆摘要
長期研究資料量會爆炸。
可以將穩定結論壓成:
K∗=Crystallize(D1,…,Dn).
但 crystal 必須能 reopen:
K∗→supporting evidence.
所以:
Compression=Evidence Destruction.
27. Canonical Claim 與多證據邊
若兩個實驗 e1,e2 得到相同結論 k,內容可以 canonicalize,但證據不能被合併成「只剩一份」。
因此:
One Canonical Claim+Multiple Evidence Edges.
這同時解決 semantic deduplication 與 provenance preservation。
28. Research Garbage Collection
可重建研究世界不能無限成長。
因此需要:
Research Garbage Collection.
處理:
- obsolete branch;
- duplicate logs;
- expired benchmark;
- superseded evaluator;
- low-value transient traces。
但 GC 不能破壞:
- lineage;
- reproducibility;
- negative knowledge;
- provenance。
29. Research Memory Lifecycle
更合理的順序不是直接刪除,而是:
Hot→Warm→Cold→Minimal Receipt.
這使 storage 成本下降,同時保存最低重建能力。
30. Failure Crystallization
不能保存所有細碎失敗:
seed 17 失敗、seed 18 也失敗。
應抽象:
f1,f2,…,fn→F∗.
例如:
當 expert load imbalance 超過某閾值時,此類 routing strategy 容易 collapse。
即:
Failure Crystallization.
31. 從 Failure Memory 到 Failure Theory
若大量負面知識被整理:
K−→Θ−.
則可形成:
Theory of Failure.
它能快速排除巨大 method space,因而可能與成功理論同樣重要。
32. Meta-RSI 需要 Method History
第 1 篇指出:
Rt=Rt+1.
若沒有 Gt,未來系統無法知道:
為什麼上一次換掉 RSI 方法?
因此需要保存:
R0,R1,…,Rt
與:
- performance;
- cost;
- failure;
- replacement trigger。
形成:
LR=Method Lineage.
33. Method Lineage 與 Evaluator Lineage 必須分離
如果 Rt 與 Et 同時變,不能只保存 final outcome。
否則無法知道:
是方法變好,還是 evaluator 變寬鬆?
因此至少需要:
LR∥LE.
34. Deferred Counterfactual Worlds
某些世界不是被否定,而是:
現在太貴,先不跑。
定義:
WiD
為 deferred world。
保存:
- hypothesis;
- required resources;
- expected information gain;
- reason deferred。
當資源條件滿足:
WiD→WiE.
這避免把「尚未驗證」誤判為「不值得研究」。
35. 可重建研究世界不是單一 Knowledge Graph
Knowledge Graph 通常重點在:
entity+relation.
研究世界還需要:
- temporal state;
- branch;
- experiment;
- provenance;
- evaluator;
- receipt;
- uncertainty;
- actionability。
因此:
Knowledge Graph⊂Reconstructible Research World.
36. 也不是單一 Vector Database
Vector DB 擅長 semantic retrieval,但不天然表示:
- causality;
- lineage;
- exact state;
- branch identity;
- evaluator version。
所以:
Similarity Memory=Research World.
37. 也不是超長 Context Window
即使:
Lcontext→107,
也不代表 research continuity 成立。
Raw context 可能:
- 重複;
- 衝突;
- 無 canonical identity;
- 無 lifecycle;
- 無 provenance graph。
所以:
More Context=Better Research Memory.
38. Research World Compiler
可以定義:
CR:Gt×Task→Wtwork
即根據任務,從完整研究世界編譯出當前工作態。
例如研究 routing,只載入:
- relevant failures;
- current evaluator;
- prior routing branches;
- cost curves;
- open hypotheses。
避免 context explosion。
39. Working Research World
Wtwork=Πtask(Gt).
所以:
Full Research World→Task-Conditioned Projection.
研究 agent 不需要一次看完整宇宙,只需要當前任務所需的精確投影。
40. Research Commit
研究完成後,不應把整段對話直接存起來。
而應產生:
Ctresearch=(ΔK+,ΔK−,ΔH,ΔB,ΔE,ΔL).
因此一輪研究真正的輸出是:
state transition of the research world.
而不只是文字報告。
41. Conversation Log 不等於 Research Commit
對話 log 很重要,但它包含:
- 重複;
- tentative reasoning;
- discarded ideas;
- formatting noise。
所以:
Conversation Log=Canonical Research State.
Canonical commit 應經過結構化整理。
42. Research World 與 AI Self-Science
當 AI 自動維持:
- experiment history;
- failed branches;
- theories;
- evaluators;
- open problems;
- lineage;
它就開始具有:
Persistent Scientific State.
這比單次 autonomous scientist 更高一層。
研究不再跟著 session 結束。
43. Science Survives the Scientist
假設:
M1
被:
M2
替換。
若研究世界獨立於模型:
M2←Load(G)
即可接續。
因此:
science survives the scientist.
這是長期 AI Self-Science 的核心基礎。
44. 可證偽命題
命題一:保存負面知識會降低重複失敗率
若 Kt− 可檢索,則:
P(repeat known failed experiment)↓.
命題二:完整 lineage 會降低 regression root-cause cost
若 L 完整,則:
Cdiagnosis↓.
命題三:Task-conditioned research world compilation 優於直接載入全部 history
在相同 context budget 下:
Qcompiled>Qraw−history
應在長期研究任務中成立。
命題四:保存 evaluator lineage 會提高跨代 metric comparability
即:
Error(Compare(Qt,Qt+k))↓.
命題五:可重建 research state 會提高跨模型 handoff 成功率
有 G 的情況應比只有 summary 更能恢復 open problems、decision context 與失敗史。
45. 本文不主張
本文不主張:
- 所有實驗 log 都應永久保存;
- 失敗知識永遠有效;
- Knowledge Graph 足以實作完整研究世界;
- Vector memory 足以取代 lineage;
- 超長 context 等於 research continuity;
- 所有 branch 都值得 replay;
- 完整 provenance 可以消除所有錯誤;
- Research World 必須是一個中央資料庫;
- AI 可以任意決定所有 retention policy;
- 本文已解決所有長期記憶治理問題。
本文真正主張:
若 RSI 要跨多代持續進步, 就不能只保存最新答案與最新模型, 而必須保存足以重建研究因果史的世界狀態。
46. 與前五篇的關係
第 1 篇:
Rt=Rt+1
建立方法演化。
第 2 篇:
Verification-Seeking Attractor
建立證據壓力。
第 3 篇:
Cexperiment≲Creasoning
建立低成本實驗。
第 4 篇:
Executable Counterfactual Worlds
建立世界分支。
第 5 篇:
Stable / Exploratory Separation
建立 promotion、rollback 與 lineage。
本文則回答:
這些成功、失敗、世界分支與決策如何跨代保存。
47. 通往第 7 篇
到目前為止,RSI 主要仍在 digital research world 中運作。
下一篇將把視野擴大到:
Capability Graph.
也就是:
AI 不只修改模型與研究方法,還開始修改支撐下一輪 AI 的算力、晶片、能源、實驗室、製造、機器人與基礎設施。
下一篇:
《從直接 RSI 到能力圖自我編輯:AI 如何改變支撐自身的世界》。
48. 結論
真正長期的 RSI 不只是:
Mt→Mt+1.
它必須同時維持:
Gt
即一個可重建研究世界。
這個世界保存的不只是:
what worked,
還包括:
what failed+what was never tested+what was rejected+why it was rejected+which evaluator judged it+which branch it came from.
真正有效的 research memory 因此應是:
Knowledge+Negative Knowledge+Counterfactuals+Verification+Lineage+Open Unknowns.
如果下一代 AI 只能看到:
現在的最佳模型。
那它繼承的是產品。
如果它還能重建:
我們怎麼知道它是最佳、哪些替代路徑失敗、哪些假設仍未解決、哪些 evaluator 曾經出錯。
那它繼承的才是:
science.
因此 AI Self-Science 真正需要的不是無限大的 memory,而是:
可追溯、可重播、可壓縮、可重開、可跨模型重建的研究世界。
這使 RSI 從「一代比一代強」進一步變成:
一代比一代更知道自己為什麼變強、在哪裡失敗,以及下一步不必再浪費什麼。
既有 EveMissLab 前置
本篇主要承接:
RMCMA Extra B|當記憶不再是記憶:從認知記憶場到可重建世界與未來 AI 基礎設施
Reconstructible Cognitive World、Persistent Cognitive Infrastructure、Working-State Reconstruction。
CTCL-ITR|時間因果自我史與 Decision Receipt
decision provenance、因果可追溯性、上下文壓縮後的歷史連續性。
ANWIS-01|World State 作為 Canonical Substrate
canonical identity、temporal addressability、provenance、branch-aware identity。
ANWIS-08|反事實理論世界與分岔世界 Runtime
branch runtime、counterfactual world lineage。
小模型結構編譯與反身雙生研究計畫
stable / reflexive branches、failure retention、regression / transfer verification、lineage receipt。
本系列第 1–5 篇
evolving RSI、Verification-Seeking、Computer-Native Experimentation、Executable Counterfactual Worlds、Reflexive Twin RSI。
Canonical Source Note
本文件之 UTF-8 Markdown 原始碼為正式 source artifact。所有數學原始碼僅使用 $...$ 與 $$...$$ 作為 canonical delimiter;不使用 Unicode 數學字元替代 LaTeX source,不進行 unicode escape round-trip,不自行美化反斜線、空白或 delimiter,不以聊天介面渲染內容取代正式原稿。