# 可重建研究世界：RSI 為什麼需要保存成功、失敗、反事實與研究血統 **系列：演化式 RSI、可執行反事實與 AI 自我科學系列（6/8）** **英文題名：Reconstructible Research Worlds: Why RSI Must Preserve Successes, Failures, Counterfactuals, and Research Lineage** **版本：v0.1** **日期：2026-10-07** **語言：zh-TW** **文件性質：理論論文／RSI Memory Architecture／Research World Reconstruction／Canonical Draft** **作者：** Neo.K **機構：** EveMissLab／一言諾科技有限公司 --- ## 摘要 Recursive Self-Improvement（RSI）如果只保存「最新模型」，就會遺失真正支撐長期改進的大部分知識。 一個 checkpoint 可以告訴未來系統「現在是什麼狀態」，但通常不能完整回答： - 為什麼變成這個狀態？ - 哪些替代路徑被測過？ - 哪些路徑失敗？ - 失敗是在什麼條件下發生？ - 哪些 evaluator 曾被替換？ - 哪些反事實世界仍未關閉？ - 哪些更新曾被 rollback？ - 哪些負面知識未來不必再重複探索？ 因此本文提出： $$ \boxed{ \text{RSI Memory} \neq \text{Latest Model State} } $$ 而應逐步演化為： $$ \boxed{ \text{Reconstructible Research World} } $$ 本文將第 $t$ 代 RSI 的研究世界記為： $$ \boxed{ \mathfrak G_t = ( K_t^+, K_t^-, H_t, B_t, E_t, L_t, P_t, R_t, O_t ) } $$ 其中： - $K_t^+$：已驗證成功知識； - $K_t^-$：已驗證失敗／負面知識； - $H_t$：未決 hypothesis； - $B_t$：反事實 branch； - $E_t$：evaluator 與 verification history； - $L_t$：lineage / update receipts； - $P_t$：provenance； - $R_t$：reproducibility / replay state； - $O_t$：open problems / unresolved boundaries。 核心命題是： $$ \boxed{ \text{Research Continuity} \neq \text{Model Continuity} } $$ 只要研究世界可被重建，即使模型、agent、representation、memory substrate 甚至 RSI 方法本身改變，下一代 AI 仍可恢復： > 我現在在哪一個研究世界裡、哪些事情已被證明、哪些只是暫時接受、哪些路徑已失敗，以及下一步真正值得探索的是什麼。 --- # 1. 為什麼「保存最新模型」不等於保存研究？ 假設 RSI 歷史為： $$ M_0 \rightarrow M_1 \rightarrow \cdots \rightarrow M_t. $$ 若只留下： $$ M_t, $$ 我們知道最終狀態，卻不知道： $$ \boxed{ \text{How did }M_t\text{ become }M_t? } $$ 遺失的可能包括： - rejected mutations； - failed branches； - evaluator changes； - benchmark anomalies； - hidden regressions； - rollback events； - alternative architectures。 因此： $$ \boxed{ \text{Final State} \neq \text{Research History}. } $$ --- # 2. 模型記憶與研究世界必須分離 普通模型記憶可以表示： $$ \mathcal M_t. $$ 研究世界則包含： $$ \mathfrak G_t. $$ 一般： $$ \mathcal M_t \subsetneq \mathfrak G_t. $$ 因為研究世界除了「知道什麼」，還包含： > 為什麼知道、怎麼知道、在哪裡失敗、哪些分支尚未結束。 --- # 3. Reconstructible Research World 本文定義： $$ \boxed{ \mathfrak G_t = ( K_t^+, K_t^-, H_t, B_t, E_t, L_t, P_t, R_t, O_t ) } $$ 這不是要求所有內容都存在同一資料結構中，而是要求： $$ \boxed{ \text{Logical Unity} \neq \text{Physical Monolith}. } $$ 不同元素可以位於 model registry、experiment store、graph、object storage、proof store、benchmark DB 或 lineage system，只要共享 canonical identity 與 reconstructibility。 --- # 4. $K^+$：正面知識 $$ K_t^+ $$ 表示： - 通過驗證的架構改進； - 可重現 benchmark gain； - 已驗證 causal effect； - 通過 transfer 的方法； - validated theory； - accepted invariants。 但它不應只是結論列表，而應保存： $$ (k,V(k)), $$ 其中 $V(k)$ 是 verification receipt。 --- # 5. $K^-$：負面知識 $$ K_t^- $$ 表示： - failed hypotheses； - rejected architectures； - invalid assumptions； - broken evaluators； - known regressions； - unsafe compositions； - dead-end search regions。 傳統知識庫常把失敗視為 noise。RSI 則不應，因為： $$ \boxed{ K^- \text{ can reduce future search cost.} } $$ --- # 6. 為什麼失敗不是垃圾？ 假設方法 $R_A$ 在條件 $\Gamma$ 下失敗。 若未來系統不知道 $R_A$ 已經測過，就可能再次支付相同成本： $$ C_{\mathrm{repeat}} = nC_{\mathrm{exp}}. $$ 若保存 $K^-$，則： $$ C_{\mathrm{repeat}} \downarrow. $$ 但不能只記「A 不行」，而應記： $$ \boxed{ R_A \text{ failed under } \Gamma } $$ 其中： $$ \Gamma = ( \text{model}, \text{scale}, \text{data}, \text{environment}, \text{evaluator}, \text{resource}, \text{time} ). $$ 因為條件改變後，舊失敗可能值得重新測試。 --- # 7. Negative Knowledge 需要 Validity Window 若 $R_A$ 在時間 $t$ 失敗，不推出： $$ \forall t'>t, \quad R_A \text{ fails}. $$ 所以負面知識需要： $$ \boxed{ \text{Validity Window} + \text{Reopen Conditions}. } $$ 例如： > 當 memory bandwidth 提升兩倍後重新測試。 --- # 8. $H_t$：未決假設 不是所有 branch 都會立即得到答案。 因此： $$ H_t = \{ h_1,\ldots,h_n \} $$ 可包含： - insufficient evidence； - conflicting evidence； - too expensive to test； - waiting for physical validation； - unresolved theory。 若沒有 $H_t$，下一代 AI 可能把 unknown 錯記成 false。 --- # 9. Open Hypothesis Status 每個 $h_i$ 應具有： $$ status(h_i) \in \{ \text{open}, \text{supported}, \text{weakened}, \text{rejected}, \text{archived} \}. $$ 這比二元 true / false 更適合長期 RSI。 --- # 10. $B_t$：反事實世界族 前篇建立： $$ B_t = \{ W_t^{(1)}, W_t^{(2)}, \ldots \}. $$ 可重建研究世界需要保存： - branch parent； - typed delta； - current status； - experiment result； - reason for pruning； - merge history。 因此 branch 不只是 temporary process，而是： $$ \boxed{ \text{Research Object}. } $$ --- # 11. Branch Archive 被停止的世界 $W_f$ 不一定整個保存。 可以抽取： $$ A(W_f) = ( \Delta, \text{failure}, \text{receipt}, \text{lesson} ). $$ 再歸檔。 可以區分： - Hot Branch：完整可立即 replay； - Warm Branch：checkpoint + delta + receipts； - Cold Branch：canonical summary + failure evidence + lineage。 即： $$ \boxed{ \text{Tiered Counterfactual Memory}. } $$ --- # 12. $E_t$：Evaluator History 如果 evaluator $E_t$ 改變，過去 score 不能無條件直接比較。 所以研究世界必須知道： $$ \boxed{ \text{which evaluator produced which result}. } $$ 可以建立： $$ E_0 \rightarrow E_1 \rightarrow E_2 $$ 並保存： - old metric； - new metric； - reason； - calibration； - overlap tests； - incompatibility。 這形成 evaluator lineage： $$ \boxed{ \mathcal L_E. } $$ --- # 13. Cross-Evaluator Translation 若 $E_A$ 與 $E_B$ 有共同 benchmark，可以估計： $$ f_{A\rightarrow B}. $$ 使： $$ Q_B \approx f_{A\rightarrow B}(Q_A). $$ 這使跨代結果比較更可靠，也避免把「量尺變了」誤認為「能力真的變了」。 --- # 14. $L_t$：Lineage Graph 研究歷史不是單純鏈： $$ M_0 \rightarrow M_1 \rightarrow M_2. $$ 而更像圖： $$ \boxed{ \mathcal L = (V_L,E_L) } $$ 節點可以是： - model； - RSI method； - evaluator； - world state。 邊可以是： - mutation； - merge； - promotion； - rollback； - fork。 因此： $$ \boxed{ \text{Research History} = \text{Causal Lineage Graph}. } $$ --- # 15. Update Receipt 與 Decision Receipt 每次 transition： $$ S_i \rightarrow S_j $$ 應保存： $$ U_{ij} = ( \text{parent}, \text{mutation}, \text{evidence}, \text{evaluator}, \text{decision} ). $$ 但還需要回答： > 為什麼接受？ 所以可以保存： $$ D_{ij} = ( \text{candidate set}, \text{ranking}, \text{risk}, \text{rejected alternatives}, \text{threshold} ). $$ 即： $$ \boxed{ \text{Decision Receipt}. } $$ --- # 16. $P_t$：Provenance 每個知識物件 $k$ 應知道來源： $$ P(k). $$ 它可能來自： - experiment； - external paper； - formal proof； - simulation； - physical measurement； - model inference； - human instruction。 因此： $$ \boxed{ \text{Knowledge} \neq \text{Provenance-Free Content}. } $$ --- # 17. Provenance Chain 與 Knowledge Dependency Graph 若： $$ k_3 \leftarrow k_2 \leftarrow k_1, $$ 而 $k_1$ 被推翻，就需要找到： $$ \operatorname{Descendants}(k_1). $$ 因此可建立： $$ \boxed{ \mathcal G_K = (V_K,E_K) } $$ 表示知識依賴。 這使 belief revision 可以局部傳播，而不必整個系統從零開始。 --- # 18. $R_t$：Replay State 可重建不是「看摘要大概知道」。 重要實驗應盡可能支持： $$ \operatorname{Replay}(e). $$ 需要保存： - code version； - model version； - data； - seed； - environment； - toolchain； - evaluator。 因此： $$ \boxed{ \text{Reconstructible} > \text{Readable}. } $$ --- # 19. Reproducibility Gradient 可定義： - Level 0：只有文字描述； - Level 1：有 metrics 與 configuration； - Level 2：有 code / environment metadata； - Level 3：可 deterministic replay； - Level 4：可跨硬體或跨模型重現同一結論。 形成： $$ \boxed{ \text{Reproducibility Gradient}. } $$ --- # 20. $O_t$：Open Boundaries 研究世界還必須保存「不知道什麼」： $$ O_t = \{ o_1,o_2,\ldots \}. $$ 如果 AI 只保存成功知識，容易產生： $$ \boxed{ \text{False Epistemic Closure}. } $$ Unknown 本身必須是一級狀態。 --- # 21. Unknown 也需要型別 可以區分： $$ \text{Unknown} = \{ U_{\mathrm{unobserved}}, U_{\mathrm{conflicted}}, U_{\mathrm{untestable}}, U_{\mathrm{unaffordable}}, U_{\mathrm{unmodeled}} \}. $$ 不同 unknown 對下一步研究策略完全不同。 --- # 22. Research World Reconstruction 假設舊 agent $A_t$ 停止，新 agent $A_{t+1}$ 接手。 真正目標不是： > 讀完摘要。 而是： $$ \boxed{ W_{A_t} \equiv_{\mathrm{research}} W_{A_{t+1}}. } $$ 即新 agent 能恢復足夠等價的： - goals； - constraints； - open hypotheses； - verified knowledge； - failures； - branch status； - provenance； - next actions。 --- # 23. Research Continuity 定義： $$ C_R(A,B) $$ 表示 agent A 與 B 的 research continuity。 若 B 能恢復上述研究狀態，則： $$ C_R(A,B)\rightarrow1. $$ 因此： $$ \boxed{ \text{Research Continuity} \neq \text{Session Continuity}. } $$ --- # 24. 模型可替換，但研究世界持續 這承接可重建認知世界的原則： $$ \boxed{ \text{Persistent Research World} + \text{Replaceable Research Agents}. } $$ 模型： $$ M_t \rightarrow M_{t+1} $$ 不應等於： $$ \text{research amnesia}. $$ --- # 25. 新模型不應只繼承答案 若 $M_{t+1}$ 只看到： > 方法 B 最好。 它不知道： - B 贏在哪； - A 為何失敗； - evaluator 是否可靠； - 是否存在 trade-off。 所以應繼承： $$ \boxed{ \text{Answer} + \text{Reason} + \text{Evidence} + \text{Alternatives} + \text{Failure History}. } $$ --- # 26. Semantic Crystal 與可逆摘要 長期研究資料量會爆炸。 可以將穩定結論壓成： $$ K^\ast = \operatorname{Crystallize} ( D_1,\ldots,D_n ). $$ 但 crystal 必須能 reopen： $$ K^\ast \rightarrow \text{supporting evidence}. $$ 所以： $$ \boxed{ \text{Compression} \neq \text{Evidence Destruction}. } $$ --- # 27. Canonical Claim 與多證據邊 若兩個實驗 $e_1,e_2$ 得到相同結論 $k$，內容可以 canonicalize，但證據不能被合併成「只剩一份」。 因此： $$ \boxed{ \text{One Canonical Claim} + \text{Multiple Evidence Edges}. } $$ 這同時解決 semantic deduplication 與 provenance preservation。 --- # 28. Research Garbage Collection 可重建研究世界不能無限成長。 因此需要： $$ \boxed{ \text{Research Garbage Collection}. } $$ 處理： - obsolete branch； - duplicate logs； - expired benchmark； - superseded evaluator； - low-value transient traces。 但 GC 不能破壞： - lineage； - reproducibility； - negative knowledge； - provenance。 --- # 29. Research Memory Lifecycle 更合理的順序不是直接刪除，而是： $$ \boxed{ \text{Hot} \rightarrow \text{Warm} \rightarrow \text{Cold} \rightarrow \text{Minimal Receipt}. } $$ 這使 storage 成本下降，同時保存最低重建能力。 --- # 30. Failure Crystallization 不能保存所有細碎失敗： > seed 17 失敗、seed 18 也失敗。 應抽象： $$ f_1,f_2,\ldots,f_n \rightarrow F^\ast. $$ 例如： > 當 expert load imbalance 超過某閾值時，此類 routing strategy 容易 collapse。 即： $$ \boxed{ \text{Failure Crystallization}. } $$ --- # 31. 從 Failure Memory 到 Failure Theory 若大量負面知識被整理： $$ K^- \rightarrow \Theta^-. $$ 則可形成： $$ \boxed{ \text{Theory of Failure}. } $$ 它能快速排除巨大 method space，因而可能與成功理論同樣重要。 --- # 32. Meta-RSI 需要 Method History 第 1 篇指出： $$ R_t\neq R_{t+1}. $$ 若沒有 $\mathfrak G_t$，未來系統無法知道： > 為什麼上一次換掉 RSI 方法？ 因此需要保存： $$ R_0,R_1,\ldots,R_t $$ 與： - performance； - cost； - failure； - replacement trigger。 形成： $$ \boxed{ \mathcal L_R = \text{Method Lineage}. } $$ --- # 33. Method Lineage 與 Evaluator Lineage 必須分離 如果 $R_t$ 與 $E_t$ 同時變，不能只保存 final outcome。 否則無法知道： > 是方法變好，還是 evaluator 變寬鬆？ 因此至少需要： $$ \boxed{ \mathcal L_R \parallel \mathcal L_E. } $$ --- # 34. Deferred Counterfactual Worlds 某些世界不是被否定，而是： > 現在太貴，先不跑。 定義： $$ W_i^D $$ 為 deferred world。 保存： - hypothesis； - required resources； - expected information gain； - reason deferred。 當資源條件滿足： $$ W_i^D \rightarrow W_i^E. $$ 這避免把「尚未驗證」誤判為「不值得研究」。 --- # 35. 可重建研究世界不是單一 Knowledge Graph Knowledge Graph 通常重點在： $$ entity+relation. $$ 研究世界還需要： - temporal state； - branch； - experiment； - provenance； - evaluator； - receipt； - uncertainty； - actionability。 因此： $$ \boxed{ \text{Knowledge Graph} \subset \text{Reconstructible Research World}. } $$ --- # 36. 也不是單一 Vector Database Vector DB 擅長 semantic retrieval，但不天然表示： - causality； - lineage； - exact state； - branch identity； - evaluator version。 所以： $$ \boxed{ \text{Similarity Memory} \neq \text{Research World}. } $$ --- # 37. 也不是超長 Context Window 即使： $$ L_{\mathrm{context}} \rightarrow10^7, $$ 也不代表 research continuity 成立。 Raw context 可能： - 重複； - 衝突； - 無 canonical identity； - 無 lifecycle； - 無 provenance graph。 所以： $$ \boxed{ \text{More Context} \neq \text{Better Research Memory}. } $$ --- # 38. Research World Compiler 可以定義： $$ \boxed{ \mathcal C_R : \mathfrak G_t \times \text{Task} \rightarrow W_t^{work} } $$ 即根據任務，從完整研究世界編譯出當前工作態。 例如研究 routing，只載入： - relevant failures； - current evaluator； - prior routing branches； - cost curves； - open hypotheses。 避免 context explosion。 --- # 39. Working Research World $$ W_t^{work} = \Pi_{\mathrm{task}}( \mathfrak G_t ). $$ 所以： $$ \boxed{ \text{Full Research World} \rightarrow \text{Task-Conditioned Projection}. } $$ 研究 agent 不需要一次看完整宇宙，只需要當前任務所需的精確投影。 --- # 40. Research Commit 研究完成後，不應把整段對話直接存起來。 而應產生： $$ C_t^{research} = ( \Delta K^+, \Delta K^-, \Delta H, \Delta B, \Delta E, \Delta L ). $$ 因此一輪研究真正的輸出是： $$ \boxed{ \text{state transition of the research world}. } $$ 而不只是文字報告。 --- # 41. Conversation Log 不等於 Research Commit 對話 log 很重要，但它包含： - 重複； - tentative reasoning； - discarded ideas； - formatting noise。 所以： $$ \boxed{ \text{Conversation Log} \neq \text{Canonical Research State}. } $$ Canonical commit 應經過結構化整理。 --- # 42. Research World 與 AI Self-Science 當 AI 自動維持： - experiment history； - failed branches； - theories； - evaluators； - open problems； - lineage； 它就開始具有： $$ \boxed{ \text{Persistent Scientific State}. } $$ 這比單次 autonomous scientist 更高一層。 研究不再跟著 session 結束。 --- # 43. Science Survives the Scientist 假設： $$ M_1 $$ 被： $$ M_2 $$ 替換。 若研究世界獨立於模型： $$ M_2 \leftarrow \operatorname{Load}(\mathfrak G) $$ 即可接續。 因此： $$ \boxed{ \text{science survives the scientist}. } $$ 這是長期 AI Self-Science 的核心基礎。 --- # 44. 可證偽命題 ## 命題一：保存負面知識會降低重複失敗率 若 $K^-_t$ 可檢索，則： $$ P( \text{repeat known failed experiment} ) \downarrow. $$ ## 命題二：完整 lineage 會降低 regression root-cause cost 若 $\mathcal L$ 完整，則： $$ C_{\mathrm{diagnosis}} \downarrow. $$ ## 命題三：Task-conditioned research world compilation 優於直接載入全部 history 在相同 context budget 下： $$ Q_{\mathrm{compiled}} > Q_{\mathrm{raw-history}} $$ 應在長期研究任務中成立。 ## 命題四：保存 evaluator lineage 會提高跨代 metric comparability 即： $$ \operatorname{Error} ( \operatorname{Compare}(Q_t,Q_{t+k}) ) \downarrow. $$ ## 命題五：可重建 research state 會提高跨模型 handoff 成功率 有 $\mathfrak G$ 的情況應比只有 summary 更能恢復 open problems、decision context 與失敗史。 --- # 45. 本文不主張 本文不主張： 1. 所有實驗 log 都應永久保存； 2. 失敗知識永遠有效； 3. Knowledge Graph 足以實作完整研究世界； 4. Vector memory 足以取代 lineage； 5. 超長 context 等於 research continuity； 6. 所有 branch 都值得 replay； 7. 完整 provenance 可以消除所有錯誤； 8. Research World 必須是一個中央資料庫； 9. AI 可以任意決定所有 retention policy； 10. 本文已解決所有長期記憶治理問題。 本文真正主張： $$ \boxed{ \text{若 RSI 要跨多代持續進步， 就不能只保存最新答案與最新模型， 而必須保存足以重建研究因果史的世界狀態。} } $$ --- # 46. 與前五篇的關係 第 1 篇： $$ R_t\neq R_{t+1} $$ 建立方法演化。 第 2 篇： $$ \text{Verification-Seeking Attractor} $$ 建立證據壓力。 第 3 篇： $$ C_{\mathrm{experiment}} \lesssim C_{\mathrm{reasoning}} $$ 建立低成本實驗。 第 4 篇： $$ \text{Executable Counterfactual Worlds} $$ 建立世界分支。 第 5 篇： $$ \text{Stable / Exploratory Separation} $$ 建立 promotion、rollback 與 lineage。 本文則回答： $$ \boxed{ \text{這些成功、失敗、世界分支與決策如何跨代保存。} } $$ --- # 47. 通往第 7 篇 到目前為止，RSI 主要仍在 digital research world 中運作。 下一篇將把視野擴大到： $$ \boxed{ \text{Capability Graph}. } $$ 也就是： > AI 不只修改模型與研究方法，還開始修改支撐下一輪 AI 的算力、晶片、能源、實驗室、製造、機器人與基礎設施。 下一篇： **《從直接 RSI 到能力圖自我編輯：AI 如何改變支撐自身的世界》**。 --- # 48. 結論 真正長期的 RSI 不只是： $$ M_t \rightarrow M_{t+1}. $$ 它必須同時維持： $$ \boxed{ \mathfrak G_t } $$ 即一個可重建研究世界。 這個世界保存的不只是： $$ \text{what worked}, $$ 還包括： $$ \boxed{ \text{what failed} + \text{what was never tested} + \text{what was rejected} + \text{why it was rejected} + \text{which evaluator judged it} + \text{which branch it came from}. } $$ 真正有效的 research memory 因此應是： $$ \boxed{ \text{Knowledge} + \text{Negative Knowledge} + \text{Counterfactuals} + \text{Verification} + \text{Lineage} + \text{Open Unknowns}. } $$ 如果下一代 AI 只能看到： > 現在的最佳模型。 那它繼承的是產品。 如果它還能重建： > 我們怎麼知道它是最佳、哪些替代路徑失敗、哪些假設仍未解決、哪些 evaluator 曾經出錯。 那它繼承的才是： $$ \boxed{ \text{science}. } $$ 因此 AI Self-Science 真正需要的不是無限大的 memory，而是： $$ \boxed{ \text{可追溯、可重播、可壓縮、可重開、可跨模型重建的研究世界。} } $$ 這使 RSI 從「一代比一代強」進一步變成： $$ \boxed{ \text{一代比一代更知道自己為什麼變強、在哪裡失敗，以及下一步不必再浪費什麼。} } $$ --- # 既有 EveMissLab 前置 本篇主要承接： 1. **RMCMA Extra B｜當記憶不再是記憶：從認知記憶場到可重建世界與未來 AI 基礎設施** Reconstructible Cognitive World、Persistent Cognitive Infrastructure、Working-State Reconstruction。 2. **CTCL-ITR｜時間因果自我史與 Decision Receipt** decision provenance、因果可追溯性、上下文壓縮後的歷史連續性。 3. **ANWIS-01｜World State 作為 Canonical Substrate** canonical identity、temporal addressability、provenance、branch-aware identity。 4. **ANWIS-08｜反事實理論世界與分岔世界 Runtime** branch runtime、counterfactual world lineage。 5. **小模型結構編譯與反身雙生研究計畫** stable / reflexive branches、failure retention、regression / transfer verification、lineage receipt。 6. **本系列第 1–5 篇** evolving RSI、Verification-Seeking、Computer-Native Experimentation、Executable Counterfactual Worlds、Reflexive Twin RSI。 --- ## Canonical Source Note 本文件之 UTF-8 Markdown 原始碼為正式 source artifact。所有數學原始碼僅使用 ` $...$ ` 與 `$$...$$` 作為 canonical delimiter；不使用 Unicode 數學字元替代 LaTeX source，不進行 unicode escape round-trip，不自行美化反斜線、空白或 delimiter，不以聊天介面渲染內容取代正式原稿。