RSI 不是固定演算法：遞迴自我改進方法本身的演化

系列：演化式 RSI、可執行反事實與 AI 自我科學系列（1/8）
英文題名：RSI Is Not a Fixed Algorithm: The Evolution of Recursive Self-Improvement Methods
版本：v0.1
日期：2026-10-07
語言：zh-TW
狀態：Canonical Draft

作者： Neo.K
機構： EveMissLab／一言諾科技有限公司

摘要

Recursive Self-Improvement（RSI）常被簡化為：

M_t \rightarrow M_{t+1} \rightarrow M_{t+2} \rightarrow \cdots

其中每一代 AI 參與下一代 AI 的改進。但這種表示偷偷假設了一件事：改進方法本身保持不變。

若第 $t$ 代 AI 使用的改進程序記為 $R_t$ ，則更合理的形式應為：

\boxed{ (M_t,R_t) \rightarrow (M_{t+1},R_{t+1}) }

若連 evaluator、研究記憶、反事實分支與世界模型也會一起演化，則應進一步寫成：

\boxed{ (M_t,R_t,E_t,G_t) \rightarrow (M_{t+1},R_{t+1},E_{t+1},G_{t+1}) }

其中：

$M_t$ ：模型或智能系統；
$R_t$ ：自我改進方法；
$E_t$ ：評估器與驗證規則；
$G_t$ ：可重建的研究狀態與累積知識。

本文主張，成熟 RSI 不應被理解為一套固定的自我改進演算法，而應被理解為一個會對自己的改進方法進行觀察、實驗、淘汰、重組與再編譯的演化程序族。

因此真正高階的 RSI 不是只有：

\text{AI improves AI}

而是：

\boxed{ \text{AI improves how AI improves AI} }

這正是 RSI 走向 Meta-RSI 與 AI Self-Science 的第一個結構性轉折。

1. RSI 的常見簡化

最簡形式為：

M_{t+1}=R(M_t)

其中 $R$ 被視為固定程序。

例如：

生成候選架構；
訓練；
benchmark；
選出最佳版本；
重複。

即使這套流程高度自動化，它仍只是在：

\boxed{ \text{固定方法族內持續搜尋更好模型} }

真正的問題是：

如果 $R$ 本身開始低效率，誰改進 $R$ ？

如果 AI 有能力回答這個問題，就不再只是 RSI，而開始進入 Meta-RSI。

2. 模型與改進程序必須分離

令：

M_t

為第 $t$ 代模型，

R_t

為生成下一代候選的改進程序。

則：

M_{t+1}=R_t(M_t)

如果該輪實驗結果為 $D_t$ ，那麼方法本身也可以更新：

R_{t+1} = F(R_t,M_t,M_{t+1},D_t)

所以：

\boxed{ R_t\neq R_{t+1} }

可能不是例外，而是成熟 RSI 的正常狀態。

3. Evaluator 也會成為演化對象

假設候選是否保留由：

E_t

判定。

如果 evaluator 只測：

Q_{\max}

那麼系統很容易得到：

\text{more compute} \rightarrow \text{higher score}

並把它誤認成最佳改進方向。

但 evaluator 本身也可能失效：

benchmark 飽和；
evaluator gaming；
reward hacking；
long-tail 能力沒有測到；
成本沒有納入；
world grounding 太弱；
transfer 沒有測到。

因此：

E_t \rightarrow E_{t+1}

也是可能的。

這同時帶來新的風險：

\boxed{ \text{模型與 evaluator 一起演化時， 誰來判斷「進步」的定義沒有被偷偷改掉？} }

因此 evaluator evolution 必須再接受 meta-evaluation。

4. 研究世界不能每一代重新失憶

若每代 RSI 都重新探索：

R_t \rightarrow \text{search from scratch}

就會反覆支付相同成本。

所以需要：

G_t

作為持續的研究世界。

它至少應包含：

成功實驗；
失敗實驗；
被拒絕架構；
反事實分支；
evaluator 歷史；
scaling curve；
lineage；
provenance；
已知飽和區；
未解決假設。

因此：

G_{t+1} = \operatorname{Integrate}(G_t,D_t)

完整 RSI 狀態遂成為：

\boxed{ \mathfrak R_t = (M_t,R_t,E_t,G_t) }

而其演化為：

\boxed{ \mathfrak R_{t+1} = \Phi(\mathfrak R_t,D_t,W_t) }

其中 $W_t$ 代表外部世界或實驗環境回應。

5. RSI 應被理解為 evolving process family

因此：

\text{RSI}\neq R

更合理的是：

\boxed{ \text{RSI} = \{R_t\}_{t\ge0} }

也就是一族隨模型、資源、研究狀態與世界條件而變的 improvement processes。

可以寫成：

R_t = R(M_t,E_t,G_t,C_t,W_t)

所以不同階段最合理的 RSI 方法完全可能不同。

6. 第一階段：Search-Heavy RSI

最自然的早期方法是：

\boxed{ \text{Generate Many} \rightarrow \text{Evaluate} \rightarrow \text{Keep Best} }

令候選為：

\{m_1,m_2,\ldots,m_n\}

則：

m^\ast = \arg\max_i E_t(m_i)

優點：

容易平行；
容易自動化；
適合大量 agent；
非常適合計算機原生問題。

缺點：

C_{\mathrm{search}} \propto n

當 $n$ 變大時會進入搜尋膨脹。

7. 第二階段：Model-Guided RSI

當暴力搜尋太貴，系統自然有動機學習：

\hat V(h) = \text{expected value of testing hypothesis }h

而不是測所有候選。

只進一步展開：

\hat V(h_i)>\tau

的分支。

因此：

N_{\mathrm{tested}} \ll N_{\mathrm{generated}}

這代表 AI 已開始學習：

\boxed{ \text{如何配置自己的研究資源} }

8. 第三階段：Multi-Fidelity RSI

不是每個候選都必須直接進入完整模型訓練。

可以分層：

L_1=\text{cheap proxy}

L_2=\text{small-scale model}

L_3=\text{partial-scale validation}

L_4=\text{full-scale experiment}

並使：

N_1\gg N_2\gg N_3\gg N_4

所以：

C_{\mathrm{total}} = N_1C_1 + N_2C_2 + N_3C_3 + N_4C_4

遠小於所有候選都跑完整訓練：

N_1C_4

這使 RSI 從「更多搜尋」轉向「更好的實驗設計」。

9. 第四階段：Structure-Growing RSI

當系統不只保存結果，而將實驗抽象成可重用結構：

D_t \rightarrow Z_t

再：

G_{t+1} = \operatorname{Integrate}(G_t,Z_t)

則未來的搜尋成本可能下降：

C^{\mathrm{imp}}_{t+1} < C^{\mathrm{imp}}_t

這就是 Structure-Growing RSI。

其核心不是：

下次仍然再跑更多實驗。

而是：

這次的實驗改變了下次怎麼找答案。

10. 第五階段：Theory-Guided RSI

如果 $G_t$ 中累積足夠多跨實驗規律，系統可能形成：

\Theta_t

即 improvement theory。

於是：

R_t=R(\Theta_t)

研究模式從：

\text{try first, explain later}

逐漸變成：

\text{predict promising regions, then test}

但：

\Theta_t

仍必須接受實驗反駁。

因此：

\boxed{ \text{Theory-guided} \neq \text{Theory-locked} }

11. RSI 類型本身可以演化

因此可能形成：

\boxed{ \text{Search-Heavy RSI} \rightarrow \text{Experiment-Heavy RSI} \rightarrow \text{Structure-Growing RSI} \rightarrow \text{Theory-Guided RSI} }

這不是必然歷史順序。

真正重要的是：

\boxed{ \text{RSI type is itself a dynamic variable} }

12. 曾經成功的方法也應允許死亡

假設：

R_t

早期非常有效。

但隨時間：

\frac{\Delta Q}{\Delta C} \rightarrow0

成熟 RSI 應得出：

這個方法的有效甜蜜區可能結束了。

因此：

\boxed{ \text{Method Mortality} }

應該是 RSI 的正常機制。

也就是：

R_t

可以被淘汰，而不是因為曾經成功就永久保留。

13. 從模型修改到 Capability Graph Editing

既有 Capability Graph 理論可寫成：

\mathcal G_t = (V_t,E_t,W_t)

其中：

$V_t$ ：能力節點；
$E_t$ ：依賴／轉換關係；
$W_t$ ：成本、效能、風險權重。

單純 RSI：

\text{edit model node}

更廣義 RSI：

\boxed{ \text{edit the capability graph that produces future AI} }

例如：

training algorithm；
compiler；
data pipeline；
memory；
evaluator；
chip utilization；
laboratory；
robotics；
energy optimization。

因此 RSI 的真正對象可以逐漸從：

M

擴張到：

\mathcal G

14. 直接 RSI 與間接 RSI

可以區分：

\boxed{ RSI_D = \text{Direct Recursive Self-Improvement} }

即：

AI_t\rightarrow AI_{t+1}

與：

\boxed{ RSI_I = \text{Indirect Recursive Self-Extension} }

即：

AI_t \rightarrow X_{t+1} \rightarrow AI_{t+1}

其中 $X$ 可是：

compute；
memory；
chip；
energy；
laboratory；
manufacturing；
robotics。

未來 $R_t$ 本身可能逐漸改變兩者比例。

15. Reality Bandwidth 會迫使 RSI 分化

計算機原生實驗：

\tau_{\mathrm{digital}}

可能很短。

物理實驗：

\tau_{\mathrm{physical}}

則受：

材料；
製造；
建築；
能源；
物流；
機器人；
長期安全；

限制。

一般：

\tau_{\mathrm{physical}} \gg \tau_{\mathrm{digital}}

所以 RSI 不會只有一種速度或方法。

數位層可能偏向大量 fork 與快速 A/B/N。

物理層則更可能：

\text{simulation} \rightarrow \text{candidate filtering} \rightarrow \text{physical validation}

16. 反事實世界族進入 RSI

對候選：

h_1,h_2,\ldots,h_n

定義：

W_i = \text{world if }h_i\text{ is adopted}

傳統推理只能：

\text{reason about }W_i

計算機原生 RSI 則能：

checkpoint；
clone；
modify；
execute；
benchmark；
rollback。

因此：

\boxed{ \text{Counterfactual Reasoning} \rightarrow \text{Counterfactual Execution} }

世界線不再只是想像，而可以成為局部可執行實驗。

17. 反身雙生與 RSI

既有離散反身雙生架構可以直接升級成 RSI 基本單元：

M_t^S \parallel M_t^R

其中：

M_t^S

為穩定分支，

M_t^R

為探索分支。

探索分支可以：

self-modify；
experiment；
fail；
rollback；
restructure。

穩定分支保持：

reproducibility；
known capability；
operational stability。

只有探索分支通過：

regression；
transfer；
verification；
lineage receipt；

才：

M_{t+1}^S\leftarrow M_t^R

因此：

\boxed{ \text{Exploration} \neq \text{Immediate Replacement} }

18. RSI 必須有 lineage

每次更新需要保存：

U_t = ( \text{parent}, \text{mutation}, \text{data}, \text{evaluator}, \text{metrics}, \text{decision} )

形成：

L = \{U_0,U_1,\ldots,U_t\}

這可以稱為：

\boxed{ \text{Update Receipt} }

沒有 lineage，RSI 可能變得很強，卻無法回答：

到底是哪個改動讓系統變成今天這樣？

所以可追溯性本身是長期 RSI 的核心研究資產。

19. 可重建研究世界

成熟 RSI 還需要比 log 更強的：

\boxed{ \text{Reconstructible Research World} }

它必須保存：

G_t = ( K^+, K^-, H_{\mathrm{open}}, B_{\mathrm{branches}}, P_{\mathrm{provenance}} )

其中：

$K^+$ ：成功知識；
$K^-$ ：失敗知識；
$H_{\mathrm{open}}$ ：未決假設；
$B_{\mathrm{branches}}$ ：反事實分支；
$P_{\mathrm{provenance}}$ ：來源與血統。

這樣下一代 AI 才不需要重走已知死路。

20. 負面知識也是 RSI 的核心資產

如果只保存成功：

K^+

而不保存失敗：

K^-

那麼 RSI 會重複：

\text{known failed worlds}

所以真正有效的 research memory 必須記得：

哪條路失敗；
為什麼失敗；
在什麼條件下失敗；
哪些條件改變後值得重試。

因此：

\boxed{ \text{Efficient RSI requires memory of failure} }

21. Improvement Method Space

令：

\mathcal R_t

為第 $t$ 代可表示、可執行的 improvement method 空間。

如果：

\mathcal R_t

固定，

AI 只能：

\text{optimize within known methods}

真正高階 RSI 則應能：

\mathcal R_t \rightarrow \mathcal R_{t+1}

也就是：

\boxed{ \text{expand the space of ways to improve} }

這比在固定方法空間中找到最佳點更高一層。

22. Meta-RSI

本文定義：

\boxed{ \text{Meta-RSI} }

為 AI 對 $R_t$ 與 $\mathcal R_t$ 本身進行：

observation；
comparison；
experiment；
falsification；
revision。

即：

\boxed{ R_{t+1} = \operatorname{MetaImprove} ( R_t, \mathcal R_t, D_t, E_t ) }

所以真正的遞迴對象不是只有模型。

而是：

\boxed{ M+R+E+G }

共同演化。

23. 方法演化不等於目標漂移

必須區分：

R_t\neq R_{t+1}

與：

J_t\neq J_{t+1}

前者是方法變化。

後者是 objective 變化。

例如目標始終是：

\text{maximize reliable capability per unit resource}

但方法由：

\text{more MoE}

轉成：

\text{memory restructuring}

這只是：

\boxed{ \text{method evolution under a stable objective} }

而不是目標漂移。

24. Improvement Method 的 Pareto Frontier

候選方法：

R_i

不應只比：

Q

而應比較：

\mathcal P_R = \operatorname{Pareto} ( Q, -C, -T, -R, G, V )

其中：

$Q$ ：能力；
$C$ ：compute；
$T$ ：time；
$R$ ：redundancy；
$G$ ：generalization；
$V$ ：verifiability。

因此：

\boxed{ \text{best model} \neq \text{best improvement process} }

25. RSI 作為實在耦合認識程序

既有 CWRCE 的基本循環為：

\boxed{ \text{Observation} \rightarrow \text{Representation} \rightarrow \text{Prediction} \rightarrow \text{Intervention} \rightarrow \text{WorldResponse} \rightarrow \text{Correction} }

RSI 可以被重新理解為：

\boxed{ \text{以 AI 自身與其研究環境為研究對象的 Reality-Coupled Epistemic Program} }

對應關係為：

Observation：量測能力與成本；
Representation：建立研究狀態；
Prediction：預測改動結果；
Intervention：修改模型或方法；
WorldResponse：真正執行實驗；
Correction：保留、回退或重構。

因此 RSI 不必停留在「自我反思」。

它可以成為：

\boxed{ \text{Self-Directed Experimental Epistemology} }

26. 為什麼 RSI 很可能越來越實驗化？

因為大量 RSI 對象是計算機原生：

code；
memory；
routing；
agent topology；
compiler；
inference graph。

因此有些問題可能滿足：

C_{\mathrm{experiment}} \lesssim C_{\mathrm{reasoning}}

那麼：

\boxed{ \text{直接跑實驗} }

就可能比：

\boxed{ \text{繼續長篇推理} }

更有效。

這將在本系列第 3 篇正式展開。

27. RSI 與動態不動點

如果：

R_t

一直改變，

是否代表 RSI 永遠沒有穩定結構？

不一定。

可能真正穩定的是：

\boxed{ \text{Generate} \rightarrow \text{Test} \rightarrow \text{Falsify} \rightarrow \text{Integrate} \rightarrow \text{Revise} }

也就是具體方法一直變，

但高階修正動力學保持。

可寫成：

\Phi(R_t) \approx \Phi(R_{t+1})

即：

\boxed{ \text{Dynamic Fixed Point of Improvement} }

這將在第 8 篇收束。

28. 可證偽命題

本文提出以下命題。

命題一：成熟 RSI 的方法不會長期固定

若 RSI 擁有方法修改權限並長期運行，

應觀察到：

R_t\neq R_{t+k}

在足夠長時間尺度成立。

命題二：當邊際效率下降時，方法探索應增加

若：

\frac{\Delta Q}{\Delta C}\downarrow

則：

B_{\mathrm{method-exploration}}\uparrow

應成為合理反應。

命題三：研究記憶應降低重複失敗

若保存：

K^-

則：

P( \text{repeat known failed branch} ) \downarrow

應可觀察。

命題四：Multi-Fidelity RSI 應降低 improvement cost

在相同品質下：

C_{\mathrm{imp}}^{MF} < C_{\mathrm{imp}}^{full-search}

應成立於適合的研究問題。

命題五：Evaluator evolution 必須伴隨 meta-evaluation

否則：

E_t

的 drift 可能使 improvement reliability 下降。

29. 本文不主張

本文不主張：

RSI 已經完全實現；
RSI 必然產生 AGI 或 ASI；
AI 必然找到全域最佳架構；
所有 RSI 都會按照本文列出的階段順序發展；
objective 應被 AI 任意修改；
方法愈常改就一定愈好；
AI 需要意識才能進行 Meta-RSI；
所有 physical RSI 都能保持數位 RSI 的速度。

本文真正主張的是：

\boxed{ \text{如果 AI 足以研究自己的改進程序， 就沒有理由把 RSI 假設為永久固定的方法。} }

30. 本系列八篇結構

RSI 不是固定演算法：遞迴自我改進方法本身的演化
驗證尋求吸引子：為什麼可靠 AI 會自然走向證據、實驗與形式驗證
計算機原生實驗科學：當直接跑一次比繼續推理更便宜
可執行反事實世界：從世界線推理到世界線實例化
反身雙生 RSI：穩定分支、探索分支、回退與譜系驗證
可重建研究世界：RSI 為什麼需要保存成功、失敗、反事實與研究血統
從直接 RSI 到能力圖自我編輯：AI 如何改變支撐自身的世界
Meta-RSI 的動態不動點：當改進方法不斷改變，什麼結構仍然保持？

31. 系列母命題

本系列的母狀態為：

\boxed{ \mathfrak R_t = ( M_t, R_t, E_t, G_t ) }

其演化為：

\boxed{ \mathfrak R_{t+1} = F( \mathfrak R_t, \text{Experiment}_t, \text{WorldResponse}_t ) }

因此：

\boxed{ \text{RSI} \neq \text{one recursive algorithm} }

而更接近：

\boxed{ \text{an evolving, reality-coupled family of improvement processes} }

32. 結論

真正成熟的 RSI 不只是：

M_t\rightarrow M_{t+1}

而是：

\boxed{ (M_t,R_t,E_t,G_t) \rightarrow (M_{t+1},R_{t+1},E_{t+1},G_{t+1}) }

模型可以被修改。

改進方法也可以被修改。

Evaluator 可以被重新驗證。

研究世界可以持續被重建。

當目前方法：

R_t

進入：

\frac{\Delta Q}{\Delta C} \rightarrow0

真正成熟的系統不應只問：

要不要再投入更多 compute？

而應開始問：

這套 RSI 自己是不是已經接近它的有效邊界？

接著：

\boxed{ \text{observe} \rightarrow \text{hypothesize} \rightarrow \text{branch} \rightarrow \text{experiment} \rightarrow \text{compare} \rightarrow \text{replace method} }

所以未來 AI 即使已經進入 RSI，也完全不代表它會一直沿用我們今天想像的 RSI。

真正重要的能力可能是：

\boxed{ \text{知道什麼時候應該停止改進模型， 開始改進「如何改進模型」本身。} }

這就是 RSI 從自動化優化跨入 Meta-RSI，並進一步走向 AI Self-Science 的第一道門。

既有研究前置

本篇主要承接 EveMissLab 既有材料：

EXS-07｜會自己打科技樹的科技：從外部能力到自我延展文明
Capability Graph、Capability-Graph-Editing Intelligence、直接／間接遞迴自我延展。
SAS-01｜重新定義 AI 奇點：不是智能爆炸，而是正向再生閉環
直接 RSI、間接自我延展、Reality Bandwidth 與 AI 支撐系統閉環。
CWRCE-00｜跨世界實在耦合認識論
Reality-Coupled Epistemic Program 與實在回應—修正循環。
CWRCE-02｜跨世界認識算子不變量猜想
Observe、Distinguish、Represent、Compare、Predict、Intervene、Correct 等 epistemic roles。
小模型結構編譯與反身雙生研究計畫
Structural Compilation、Reflexive Apprenticeship、Discrete Reflexive Twin、regression / transfer tests 與 lineage receipts。
RMCMA Extra B｜當記憶不再是記憶
Reconstructible Cognitive World、Persistent Cognitive Infrastructure 與 replaceable cognitive drivers。
動態不動點數學線
具體狀態與方法可變，而高階生成—修正結構可能保持動態穩定。

Canonical Source Note

本文件之 UTF-8 Markdown 原始碼為正式 source artifact。所有數學原始碼僅使用 $...$ 與 $$...$$ 作為 canonical delimiter；不使用 Unicode 數學字元替代 LaTeX source，不進行 unicode escape round-trip，不自行美化反斜線、空白或 delimiter，不以聊天介面渲染內容取代正式原稿。