# RSI 不是固定演算法：遞迴自我改進方法本身的演化 **系列：演化式 RSI、可執行反事實與 AI 自我科學系列（1/8）** **英文題名：RSI Is Not a Fixed Algorithm: The Evolution of Recursive Self-Improvement Methods** **版本：v0.1** **日期：2026-10-07** **語言：zh-TW** **狀態：Canonical Draft** **作者：** Neo.K **機構：** EveMissLab／一言諾科技有限公司 --- ## 摘要 Recursive Self-Improvement（RSI）常被簡化為： $$ M_t \rightarrow M_{t+1} \rightarrow M_{t+2} \rightarrow \cdots $$ 其中每一代 AI 參與下一代 AI 的改進。但這種表示偷偷假設了一件事：**改進方法本身保持不變**。 若第 $t$ 代 AI 使用的改進程序記為 $R_t$，則更合理的形式應為： $$ \boxed{ (M_t,R_t) \rightarrow (M_{t+1},R_{t+1}) } $$ 若連 evaluator、研究記憶、反事實分支與世界模型也會一起演化，則應進一步寫成： $$ \boxed{ (M_t,R_t,E_t,G_t) \rightarrow (M_{t+1},R_{t+1},E_{t+1},G_{t+1}) } $$ 其中： - $M_t$：模型或智能系統； - $R_t$：自我改進方法； - $E_t$：評估器與驗證規則； - $G_t$：可重建的研究狀態與累積知識。 本文主張，成熟 RSI 不應被理解為一套固定的自我改進演算法，而應被理解為一個**會對自己的改進方法進行觀察、實驗、淘汰、重組與再編譯的演化程序族**。 因此真正高階的 RSI 不是只有： $$ \text{AI improves AI} $$ 而是： $$ \boxed{ \text{AI improves how AI improves AI} } $$ 這正是 RSI 走向 Meta-RSI 與 AI Self-Science 的第一個結構性轉折。 --- # 1. RSI 的常見簡化 最簡形式為： $$ M_{t+1}=R(M_t) $$ 其中 $R$ 被視為固定程序。 例如： 1. 生成候選架構； 2. 訓練； 3. benchmark； 4. 選出最佳版本； 5. 重複。 即使這套流程高度自動化，它仍只是在： $$ \boxed{ \text{固定方法族內持續搜尋更好模型} } $$ 真正的問題是： > 如果 $R$ 本身開始低效率，誰改進 $R$？ 如果 AI 有能力回答這個問題，就不再只是 RSI，而開始進入 Meta-RSI。 --- # 2. 模型與改進程序必須分離 令： $$ M_t $$ 為第 $t$ 代模型， $$ R_t $$ 為生成下一代候選的改進程序。 則： $$ M_{t+1}=R_t(M_t) $$ 如果該輪實驗結果為 $D_t$，那麼方法本身也可以更新： $$ R_{t+1} = F(R_t,M_t,M_{t+1},D_t) $$ 所以： $$ \boxed{ R_t\neq R_{t+1} } $$ 可能不是例外，而是成熟 RSI 的正常狀態。 --- # 3. Evaluator 也會成為演化對象 假設候選是否保留由： $$ E_t $$ 判定。 如果 evaluator 只測： $$ Q_{\max} $$ 那麼系統很容易得到： $$ \text{more compute} \rightarrow \text{higher score} $$ 並把它誤認成最佳改進方向。 但 evaluator 本身也可能失效： - benchmark 飽和； - evaluator gaming； - reward hacking； - long-tail 能力沒有測到； - 成本沒有納入； - world grounding 太弱； - transfer 沒有測到。 因此： $$ E_t \rightarrow E_{t+1} $$ 也是可能的。 這同時帶來新的風險： $$ \boxed{ \text{模型與 evaluator 一起演化時， 誰來判斷「進步」的定義沒有被偷偷改掉？} } $$ 因此 evaluator evolution 必須再接受 meta-evaluation。 --- # 4. 研究世界不能每一代重新失憶 若每代 RSI 都重新探索： $$ R_t \rightarrow \text{search from scratch} $$ 就會反覆支付相同成本。 所以需要： $$ G_t $$ 作為持續的研究世界。 它至少應包含： - 成功實驗； - 失敗實驗； - 被拒絕架構； - 反事實分支； - evaluator 歷史； - scaling curve； - lineage； - provenance； - 已知飽和區； - 未解決假設。 因此： $$ G_{t+1} = \operatorname{Integrate}(G_t,D_t) $$ 完整 RSI 狀態遂成為： $$ \boxed{ \mathfrak R_t = (M_t,R_t,E_t,G_t) } $$ 而其演化為： $$ \boxed{ \mathfrak R_{t+1} = \Phi(\mathfrak R_t,D_t,W_t) } $$ 其中 $W_t$ 代表外部世界或實驗環境回應。 --- # 5. RSI 應被理解為 evolving process family 因此： $$ \text{RSI}\neq R $$ 更合理的是： $$ \boxed{ \text{RSI} = \{R_t\}_{t\ge0} } $$ 也就是一族隨模型、資源、研究狀態與世界條件而變的 improvement processes。 可以寫成： $$ R_t = R(M_t,E_t,G_t,C_t,W_t) $$ 所以不同階段最合理的 RSI 方法完全可能不同。 --- # 6. 第一階段：Search-Heavy RSI 最自然的早期方法是： $$ \boxed{ \text{Generate Many} \rightarrow \text{Evaluate} \rightarrow \text{Keep Best} } $$ 令候選為： $$ \{m_1,m_2,\ldots,m_n\} $$ 則： $$ m^\ast = \arg\max_i E_t(m_i) $$ 優點： - 容易平行； - 容易自動化； - 適合大量 agent； - 非常適合計算機原生問題。 缺點： $$ C_{\mathrm{search}} \propto n $$ 當 $n$ 變大時會進入搜尋膨脹。 --- # 7. 第二階段：Model-Guided RSI 當暴力搜尋太貴，系統自然有動機學習： $$ \hat V(h) = \text{expected value of testing hypothesis }h $$ 而不是測所有候選。 只進一步展開： $$ \hat V(h_i)>\tau $$ 的分支。 因此： $$ N_{\mathrm{tested}} \ll N_{\mathrm{generated}} $$ 這代表 AI 已開始學習： $$ \boxed{ \text{如何配置自己的研究資源} } $$ --- # 8. 第三階段：Multi-Fidelity RSI 不是每個候選都必須直接進入完整模型訓練。 可以分層： $$ L_1=\text{cheap proxy} $$ $$ L_2=\text{small-scale model} $$ $$ L_3=\text{partial-scale validation} $$ $$ L_4=\text{full-scale experiment} $$ 並使： $$ N_1\gg N_2\gg N_3\gg N_4 $$ 所以： $$ C_{\mathrm{total}} = N_1C_1 + N_2C_2 + N_3C_3 + N_4C_4 $$ 遠小於所有候選都跑完整訓練： $$ N_1C_4 $$ 這使 RSI 從「更多搜尋」轉向「更好的實驗設計」。 --- # 9. 第四階段：Structure-Growing RSI 當系統不只保存結果，而將實驗抽象成可重用結構： $$ D_t \rightarrow Z_t $$ 再： $$ G_{t+1} = \operatorname{Integrate}(G_t,Z_t) $$ 則未來的搜尋成本可能下降： $$ C^{\mathrm{imp}}_{t+1} < C^{\mathrm{imp}}_t $$ 這就是 Structure-Growing RSI。 其核心不是： > 下次仍然再跑更多實驗。 而是： > 這次的實驗改變了下次怎麼找答案。 --- # 10. 第五階段：Theory-Guided RSI 如果 $G_t$ 中累積足夠多跨實驗規律，系統可能形成： $$ \Theta_t $$ 即 improvement theory。 於是： $$ R_t=R(\Theta_t) $$ 研究模式從： $$ \text{try first, explain later} $$ 逐漸變成： $$ \text{predict promising regions, then test} $$ 但： $$ \Theta_t $$ 仍必須接受實驗反駁。 因此： $$ \boxed{ \text{Theory-guided} \neq \text{Theory-locked} } $$ --- # 11. RSI 類型本身可以演化 因此可能形成： $$ \boxed{ \text{Search-Heavy RSI} \rightarrow \text{Experiment-Heavy RSI} \rightarrow \text{Structure-Growing RSI} \rightarrow \text{Theory-Guided RSI} } $$ 這不是必然歷史順序。 真正重要的是： $$ \boxed{ \text{RSI type is itself a dynamic variable} } $$ --- # 12. 曾經成功的方法也應允許死亡 假設： $$ R_t $$ 早期非常有效。 但隨時間： $$ \frac{\Delta Q}{\Delta C} \rightarrow0 $$ 成熟 RSI 應得出： > 這個方法的有效甜蜜區可能結束了。 因此： $$ \boxed{ \text{Method Mortality} } $$ 應該是 RSI 的正常機制。 也就是： $$ R_t $$ 可以被淘汰，而不是因為曾經成功就永久保留。 --- # 13. 從模型修改到 Capability Graph Editing 既有 Capability Graph 理論可寫成： $$ \mathcal G_t = (V_t,E_t,W_t) $$ 其中： - $V_t$：能力節點； - $E_t$：依賴／轉換關係； - $W_t$：成本、效能、風險權重。 單純 RSI： $$ \text{edit model node} $$ 更廣義 RSI： $$ \boxed{ \text{edit the capability graph that produces future AI} } $$ 例如： - training algorithm； - compiler； - data pipeline； - memory； - evaluator； - chip utilization； - laboratory； - robotics； - energy optimization。 因此 RSI 的真正對象可以逐漸從： $$ M $$ 擴張到： $$ \mathcal G $$ --- # 14. 直接 RSI 與間接 RSI 可以區分： $$ \boxed{ RSI_D = \text{Direct Recursive Self-Improvement} } $$ 即： $$ AI_t\rightarrow AI_{t+1} $$ 與： $$ \boxed{ RSI_I = \text{Indirect Recursive Self-Extension} } $$ 即： $$ AI_t \rightarrow X_{t+1} \rightarrow AI_{t+1} $$ 其中 $X$ 可是： - compute； - memory； - chip； - energy； - laboratory； - manufacturing； - robotics。 未來 $R_t$ 本身可能逐漸改變兩者比例。 --- # 15. Reality Bandwidth 會迫使 RSI 分化 計算機原生實驗： $$ \tau_{\mathrm{digital}} $$ 可能很短。 物理實驗： $$ \tau_{\mathrm{physical}} $$ 則受： - 材料； - 製造； - 建築； - 能源； - 物流； - 機器人； - 長期安全； 限制。 一般： $$ \tau_{\mathrm{physical}} \gg \tau_{\mathrm{digital}} $$ 所以 RSI 不會只有一種速度或方法。 數位層可能偏向大量 fork 與快速 A/B/N。 物理層則更可能： $$ \text{simulation} \rightarrow \text{candidate filtering} \rightarrow \text{physical validation} $$ --- # 16. 反事實世界族進入 RSI 對候選： $$ h_1,h_2,\ldots,h_n $$ 定義： $$ W_i = \text{world if }h_i\text{ is adopted} $$ 傳統推理只能： $$ \text{reason about }W_i $$ 計算機原生 RSI 則能： - checkpoint； - clone； - modify； - execute； - benchmark； - rollback。 因此： $$ \boxed{ \text{Counterfactual Reasoning} \rightarrow \text{Counterfactual Execution} } $$ 世界線不再只是想像，而可以成為局部可執行實驗。 --- # 17. 反身雙生與 RSI 既有離散反身雙生架構可以直接升級成 RSI 基本單元： $$ M_t^S \parallel M_t^R $$ 其中： $$ M_t^S $$ 為穩定分支， $$ M_t^R $$ 為探索分支。 探索分支可以： - self-modify； - experiment； - fail； - rollback； - restructure。 穩定分支保持： - reproducibility； - known capability； - operational stability。 只有探索分支通過： - regression； - transfer； - verification； - lineage receipt； 才： $$ M_{t+1}^S\leftarrow M_t^R $$ 因此： $$ \boxed{ \text{Exploration} \neq \text{Immediate Replacement} } $$ --- # 18. RSI 必須有 lineage 每次更新需要保存： $$ U_t = ( \text{parent}, \text{mutation}, \text{data}, \text{evaluator}, \text{metrics}, \text{decision} ) $$ 形成： $$ L = \{U_0,U_1,\ldots,U_t\} $$ 這可以稱為： $$ \boxed{ \text{Update Receipt} } $$ 沒有 lineage，RSI 可能變得很強，卻無法回答： > 到底是哪個改動讓系統變成今天這樣？ 所以可追溯性本身是長期 RSI 的核心研究資產。 --- # 19. 可重建研究世界 成熟 RSI 還需要比 log 更強的： $$ \boxed{ \text{Reconstructible Research World} } $$ 它必須保存： $$ G_t = ( K^+, K^-, H_{\mathrm{open}}, B_{\mathrm{branches}}, P_{\mathrm{provenance}} ) $$ 其中： - $K^+$：成功知識； - $K^-$：失敗知識； - $H_{\mathrm{open}}$：未決假設； - $B_{\mathrm{branches}}$：反事實分支； - $P_{\mathrm{provenance}}$：來源與血統。 這樣下一代 AI 才不需要重走已知死路。 --- # 20. 負面知識也是 RSI 的核心資產 如果只保存成功： $$ K^+ $$ 而不保存失敗： $$ K^- $$ 那麼 RSI 會重複： $$ \text{known failed worlds} $$ 所以真正有效的 research memory 必須記得： - 哪條路失敗； - 為什麼失敗； - 在什麼條件下失敗； - 哪些條件改變後值得重試。 因此： $$ \boxed{ \text{Efficient RSI requires memory of failure} } $$ --- # 21. Improvement Method Space 令： $$ \mathcal R_t $$ 為第 $t$ 代可表示、可執行的 improvement method 空間。 如果： $$ \mathcal R_t $$ 固定， AI 只能： $$ \text{optimize within known methods} $$ 真正高階 RSI 則應能： $$ \mathcal R_t \rightarrow \mathcal R_{t+1} $$ 也就是： $$ \boxed{ \text{expand the space of ways to improve} } $$ 這比在固定方法空間中找到最佳點更高一層。 --- # 22. Meta-RSI 本文定義： $$ \boxed{ \text{Meta-RSI} } $$ 為 AI 對 $R_t$ 與 $\mathcal R_t$ 本身進行： - observation； - comparison； - experiment； - falsification； - revision。 即： $$ \boxed{ R_{t+1} = \operatorname{MetaImprove} ( R_t, \mathcal R_t, D_t, E_t ) } $$ 所以真正的遞迴對象不是只有模型。 而是： $$ \boxed{ M+R+E+G } $$ 共同演化。 --- # 23. 方法演化不等於目標漂移 必須區分： $$ R_t\neq R_{t+1} $$ 與： $$ J_t\neq J_{t+1} $$ 前者是方法變化。 後者是 objective 變化。 例如目標始終是： $$ \text{maximize reliable capability per unit resource} $$ 但方法由： $$ \text{more MoE} $$ 轉成： $$ \text{memory restructuring} $$ 這只是： $$ \boxed{ \text{method evolution under a stable objective} } $$ 而不是目標漂移。 --- # 24. Improvement Method 的 Pareto Frontier 候選方法： $$ R_i $$ 不應只比： $$ Q $$ 而應比較： $$ \mathcal P_R = \operatorname{Pareto} ( Q, -C, -T, -R, G, V ) $$ 其中： - $Q$：能力； - $C$：compute； - $T$：time； - $R$：redundancy； - $G$：generalization； - $V$：verifiability。 因此： $$ \boxed{ \text{best model} \neq \text{best improvement process} } $$ --- # 25. RSI 作為實在耦合認識程序 既有 CWRCE 的基本循環為： $$ \boxed{ \text{Observation} \rightarrow \text{Representation} \rightarrow \text{Prediction} \rightarrow \text{Intervention} \rightarrow \text{WorldResponse} \rightarrow \text{Correction} } $$ RSI 可以被重新理解為： $$ \boxed{ \text{以 AI 自身與其研究環境為研究對象的 Reality-Coupled Epistemic Program} } $$ 對應關係為： - Observation：量測能力與成本； - Representation：建立研究狀態； - Prediction：預測改動結果； - Intervention：修改模型或方法； - WorldResponse：真正執行實驗； - Correction：保留、回退或重構。 因此 RSI 不必停留在「自我反思」。 它可以成為： $$ \boxed{ \text{Self-Directed Experimental Epistemology} } $$ --- # 26. 為什麼 RSI 很可能越來越實驗化？ 因為大量 RSI 對象是計算機原生： - code； - memory； - routing； - agent topology； - compiler； - inference graph。 因此有些問題可能滿足： $$ C_{\mathrm{experiment}} \lesssim C_{\mathrm{reasoning}} $$ 那麼： $$ \boxed{ \text{直接跑實驗} } $$ 就可能比： $$ \boxed{ \text{繼續長篇推理} } $$ 更有效。 這將在本系列第 3 篇正式展開。 --- # 27. RSI 與動態不動點 如果： $$ R_t $$ 一直改變， 是否代表 RSI 永遠沒有穩定結構？ 不一定。 可能真正穩定的是： $$ \boxed{ \text{Generate} \rightarrow \text{Test} \rightarrow \text{Falsify} \rightarrow \text{Integrate} \rightarrow \text{Revise} } $$ 也就是具體方法一直變， 但高階修正動力學保持。 可寫成： $$ \Phi(R_t) \approx \Phi(R_{t+1}) $$ 即： $$ \boxed{ \text{Dynamic Fixed Point of Improvement} } $$ 這將在第 8 篇收束。 --- # 28. 可證偽命題 本文提出以下命題。 ## 命題一：成熟 RSI 的方法不會長期固定 若 RSI 擁有方法修改權限並長期運行， 應觀察到： $$ R_t\neq R_{t+k} $$ 在足夠長時間尺度成立。 ## 命題二：當邊際效率下降時，方法探索應增加 若： $$ \frac{\Delta Q}{\Delta C}\downarrow $$ 則： $$ B_{\mathrm{method-exploration}}\uparrow $$ 應成為合理反應。 ## 命題三：研究記憶應降低重複失敗 若保存： $$ K^- $$ 則： $$ P( \text{repeat known failed branch} ) \downarrow $$ 應可觀察。 ## 命題四：Multi-Fidelity RSI 應降低 improvement cost 在相同品質下： $$ C_{\mathrm{imp}}^{MF} < C_{\mathrm{imp}}^{full-search} $$ 應成立於適合的研究問題。 ## 命題五：Evaluator evolution 必須伴隨 meta-evaluation 否則： $$ E_t $$ 的 drift 可能使 improvement reliability 下降。 --- # 29. 本文不主張 本文不主張： 1. RSI 已經完全實現； 2. RSI 必然產生 AGI 或 ASI； 3. AI 必然找到全域最佳架構； 4. 所有 RSI 都會按照本文列出的階段順序發展； 5. objective 應被 AI 任意修改； 6. 方法愈常改就一定愈好； 7. AI 需要意識才能進行 Meta-RSI； 8. 所有 physical RSI 都能保持數位 RSI 的速度。 本文真正主張的是： $$ \boxed{ \text{如果 AI 足以研究自己的改進程序， 就沒有理由把 RSI 假設為永久固定的方法。} } $$ --- # 30. 本系列八篇結構 1. **RSI 不是固定演算法：遞迴自我改進方法本身的演化** 2. **驗證尋求吸引子：為什麼可靠 AI 會自然走向證據、實驗與形式驗證** 3. **計算機原生實驗科學：當直接跑一次比繼續推理更便宜** 4. **可執行反事實世界：從世界線推理到世界線實例化** 5. **反身雙生 RSI：穩定分支、探索分支、回退與譜系驗證** 6. **可重建研究世界：RSI 為什麼需要保存成功、失敗、反事實與研究血統** 7. **從直接 RSI 到能力圖自我編輯：AI 如何改變支撐自身的世界** 8. **Meta-RSI 的動態不動點：當改進方法不斷改變，什麼結構仍然保持？** --- # 31. 系列母命題 本系列的母狀態為： $$ \boxed{ \mathfrak R_t = ( M_t, R_t, E_t, G_t ) } $$ 其演化為： $$ \boxed{ \mathfrak R_{t+1} = F( \mathfrak R_t, \text{Experiment}_t, \text{WorldResponse}_t ) } $$ 因此： $$ \boxed{ \text{RSI} \neq \text{one recursive algorithm} } $$ 而更接近： $$ \boxed{ \text{an evolving, reality-coupled family of improvement processes} } $$ --- # 32. 結論 真正成熟的 RSI 不只是： $$ M_t\rightarrow M_{t+1} $$ 而是： $$ \boxed{ (M_t,R_t,E_t,G_t) \rightarrow (M_{t+1},R_{t+1},E_{t+1},G_{t+1}) } $$ 模型可以被修改。 改進方法也可以被修改。 Evaluator 可以被重新驗證。 研究世界可以持續被重建。 當目前方法： $$ R_t $$ 進入： $$ \frac{\Delta Q}{\Delta C} \rightarrow0 $$ 真正成熟的系統不應只問： > 要不要再投入更多 compute？ 而應開始問： > 這套 RSI 自己是不是已經接近它的有效邊界？ 接著： $$ \boxed{ \text{observe} \rightarrow \text{hypothesize} \rightarrow \text{branch} \rightarrow \text{experiment} \rightarrow \text{compare} \rightarrow \text{replace method} } $$ 所以未來 AI 即使已經進入 RSI，也完全不代表它會一直沿用我們今天想像的 RSI。 真正重要的能力可能是： $$ \boxed{ \text{知道什麼時候應該停止改進模型， 開始改進「如何改進模型」本身。} } $$ 這就是 RSI 從自動化優化跨入 Meta-RSI，並進一步走向 AI Self-Science 的第一道門。 --- # 既有研究前置 本篇主要承接 EveMissLab 既有材料： 1. **EXS-07｜會自己打科技樹的科技：從外部能力到自我延展文明** Capability Graph、Capability-Graph-Editing Intelligence、直接／間接遞迴自我延展。 2. **SAS-01｜重新定義 AI 奇點：不是智能爆炸，而是正向再生閉環** 直接 RSI、間接自我延展、Reality Bandwidth 與 AI 支撐系統閉環。 3. **CWRCE-00｜跨世界實在耦合認識論** Reality-Coupled Epistemic Program 與實在回應—修正循環。 4. **CWRCE-02｜跨世界認識算子不變量猜想** Observe、Distinguish、Represent、Compare、Predict、Intervene、Correct 等 epistemic roles。 5. **小模型結構編譯與反身雙生研究計畫** Structural Compilation、Reflexive Apprenticeship、Discrete Reflexive Twin、regression / transfer tests 與 lineage receipts。 6. **RMCMA Extra B｜當記憶不再是記憶** Reconstructible Cognitive World、Persistent Cognitive Infrastructure 與 replaceable cognitive drivers。 7. **動態不動點數學線** 具體狀態與方法可變，而高階生成—修正結構可能保持動態穩定。 --- ## Canonical Source Note 本文件之 UTF-8 Markdown 原始碼為正式 source artifact。所有數學原始碼僅使用 ` $...$ ` 與 `$$...$$` 作為 canonical delimiter；不使用 Unicode 數學字元替代 LaTeX source，不進行 unicode escape round-trip，不自行美化反斜線、空白或 delimiter，不以聊天介面渲染內容取代正式原稿。