# AI 稀疏甜蜜區、計算效益與遞迴自我改進

## 1. 核心問題

目前 AI 產業常將近年的能力躍升描述為某種快速、甚至近似指數式的智能增長。

但這裡存在一個基本辨識問題：

$$
\text{Observed System Capability Growth}
\neq
\text{Intrinsic Global Cognitive Growth}.
$$

我們實際觀察到的能力增長，至少可能由以下幾部分共同構成：

$$
\begin{aligned}
\text{Observed Growth}
=&
\text{Intrinsic Cognitive Growth}\\
&+\text{Sparse Task Matching}\\
&+\text{Inference-Time Compute}\\
&+\text{Multi-Agent Search}\\
&+\text{Tool / Harness Improvement}\\
&+\text{Long-Horizon Execution}.
\end{aligned}
$$

因此，只根據最終任務成功率、benchmark 或「一句話完成複雜工作」，不足以直接推論模型本身的全域認知能力也以相同速度提升。

**作者：** Neo.K  
**機構：** EveMissLab／一言諾科技有限公司  
**日期：** 2026-10-30（整理日期；原稿未標註日期）  
**版本：** 原稿未標註（本次整理版）  

---

# 2. 第一個關鍵：參數量與有效能力不是同一件事

現代模型的總參數量已經非常巨大，而 MoE 等架構又使：

$$
P_{\text{total}}
\gg
P_{\text{active}}.
$$

也就是：

模型可以擁有極大的總容量，但每一次 token 或任務只激活其中一部分計算子空間。

這使得 AI 能夠同時擁有：

$$
\text{Large Capacity}
+
\text{Low Relative Activation Cost}.
$$

真正重要的問題因此不再只是：

> 模型總共有多少參數？

而是：

> 當前任務究竟激活了多少有效計算結構，而這些計算結構提供了多少真正新增能力？

---

# 3. 人類需求本身也是高度稀疏的

所有可能的智能問題可以抽象為：

$$
\Omega_{\text{all}}.
$$

然而人類實際要求 AI 完成的工作只集中於其中一小部分：

$$
\Omega_{\text{human}}
\subset\subset
\Omega_{\text{all}}.
$$

而且人類任務的機率分布並不均勻：

$$
p_{\text{human}}(x)
$$

高度集中在：

- 程式設計；
- 文件與文字工作；
- 搜尋與摘要；
- 數學與科學問題；
- 商業分析；
- 圖像理解；
- GUI 與工具操作；
- 常見知識與推理任務。

因此一個 AI 不需要在整個可能性空間上同比例提升，也可能在人類實際使用時看起來突然變得極其強大。

可以區分：

$$
\int_{\Omega_{\text{human}}}
C_t(x)p_{\text{human}}(x),dx
$$

與：

$$
\int_{\Omega_{\text{all}}}
C_t(x)\mu(x),dx.
$$

其中：

$$
L(t)
$$

表示人類常用區域上的局部實用能力，

而：

$$
G(t)
$$

才更接近真正的全域能力。

完全可能出現：

$$
L(t)\uparrow\uparrow\uparrow
$$

但：

$$
G(t)
$$

只是在較穩定地提升。

---

# 4. Sparse Capability Sweet Spot

目前可能正處在一個特殊的甜蜜區：

$$
\boxed{
\text{Sparse Capability Sweet Spot}
}
$$

其條件大致是：

$$
\text{模型總容量足夠巨大},
$$

同時：

$$
\text{人類常見任務只需啟動一小部分能力},
$$

並且：

$$
\text{該局部能力的計算成本仍然可接受}.
$$

因此：

$$
\frac{\text{Useful Human-Task Capability}}
{\text{Active Compute}}
$$

目前非常高。

這便可能形成「AI 智能正在爆炸」的強烈使用者觀感。

但這個甜蜜區不保證永久存在。

---

# 5. MoE 沒有自動解決知識與能力重複

MoE 解決的是：

$$
P_{\text{total}}
\gg
P_{\text{active}}.
$$

但它並沒有保證：

$$
E_i
$$

與：

$$
E_j
$$

一定學到完全不同且互補的能力。

真正困難的重複不是：

$$
W_i=W_j.
$$

而是：

$$
W_i\neq W_j
$$

但：

$$
f_i(x)\approx f_j(x).
$$

也就是：

> 權重不同，但語義功能、知識表示或能力高度重疊。

因此可能存在：

$$
P_{\text{physical}}
\gg
P_{\text{semantic-effective}}.
$$

可將：

## P_{\text{physical}}

$$
P_{\text{semantic-effective}}
$$

理解成某種認知冗餘成本。

真正的問題因此是：

> AI 是否知道自己其實已經用不同方式學過同一件事情很多次？

---

# 6. Semantic Garbage Collection 問題

傳統計算系統具有：

- indexing；
- normalization；
- deduplication；
- common-subexpression elimination；
- garbage collection。

然而大型神經網路的知識主要經由：

$$
\text{gradient updates}
\rightarrow
\text{distributed representations}
$$

形成。

這並不天然提供：

$$
\boxed{
\text{Semantic Garbage Collection}
}
$$

也就是 AI 未必天然知道：

- 哪些知識其實相同；
- 哪些是不同語言下的同一概念；
- 哪些只是不同 context 的重複表徵；
- 哪些應該合併；
- 哪些是真正矛盾；
- 哪些只是不同假設；
- 哪些能力已經可以由較簡單的結構替代。

如果沒有這類機制，模型持續增長可能逐漸進入：

$$
\text{Redundancy-Dominated Scaling}.
$$

---

# 7. 三個可能的 Scaling 階段

可以初步提出：

$$
\boxed{
\text{Under-Capacity}
\rightarrow
\text{Sparse Sweet Spot}
\rightarrow
\text{Redundancy-Dominated Scaling}
}
$$

### 第一階段：Under-Capacity

模型容量不足，因此：

$$
\Delta P
\rightarrow
\text{large }\Delta Q.
$$

增加模型規模非常有效。

### 第二階段：Sparse Sweet Spot

巨大容量與稀疏命中結合：

$$
\text{Large Capacity}
+
\text{Sparse Routing}
\rightarrow
\text{High Practical Capability}.
$$

這可能正是目前所在的位置。

### 第三階段：Redundancy-Dominated Scaling

如果新增能力大量被以下成本吸收：

$$
\text{duplicate representations}
+
\text{routing complexity}
+
\text{coordination}
+
\text{verification}
+
\text{cross-domain overlap},
$$

則：

$$
\frac{\Delta Q}{\Delta C}
\rightarrow0.
$$

那麼即使總計算繼續暴增，能力提升也可能只剩很小幅度。

---

# 8. 稀疏本身最後也可能變昂貴

一個重要但容易被忽略的問題是：

$$
\boxed{
\text{Sparse computation itself can become expensive.}
}
$$

即使始終只激活總模型的一小部分，如果模型與問題複雜度繼續增長：

$$
k_{\text{active}}
$$

本身也可能從：

$$
2
\rightarrow
8
\rightarrow
32
\rightarrow
128
$$

不斷增加。

同時還存在：

- routing；
- communication；
- attention；
- KV cache；
- verification；
- expert synchronization。

因此：

$$
\text{sparse}
\times
\text{enormous scale}
$$

最後仍然可能變成 enormous compute。

---

# 9. 多代理又形成第二層甜蜜區

除了 MoE，當前 AI 又大量使用多代理。

因此現在可能同時存在：

$$
\boxed{
\text{Sparse Expert Sweet Spot}
+
\text{Multi-Agent Sweet Spot}
}
$$

一個問題如果單一 AI 解不出來，可以：

$$
N=10,
100,
1000,
10000
$$

個 AI 平行探索。

因此最終能力：

$$
F(I,N,C,T,V),
$$

其中：

- $I$：單體模型能力；
- $N$：agent 數量；
- $C$：總計算；
- $T$：時間；
- $V$：驗證能力。

這時：

$$
Q\uparrow
$$

不能直接推出：

$$
I\uparrow.
$$

因為：

$$
N
$$

和：

$$
C
$$

可能同時大幅增加。

---

# 10. Search-Scaled AI 與 Structure-Growing AI

這裡可以提出一個非常重要的區分。

## Search-Scaled AI

$$
\text{不知道}
\rightarrow
\text{啟動更多 agents}
\rightarrow
\text{找到答案}.
$$

它依靠：

$$
\text{more search}
+
\text{more compute}
+
\text{more trials}.
$$

## Structure-Growing AI

$$
\text{不知道}
\rightarrow
\text{探索}
\rightarrow
\text{整合}
\rightarrow
\text{重組自身認知}
\rightarrow
\text{下一次不需重新搜尋}.
$$

也就是：

$$
\operatorname{Compress}
\left(
G_t
\cup
\bigcup_iL_i
\right).
$$

這才比較接近真正的「認知成長」。

如果 AI 每一次遇到相似問題都重新花十萬 agents 搜索一次，那只是更大的搜尋預算，不等於其內部認知結構真正成長。

---

# 11. 一句話完成任務已經不是智能測量

過去：

$$
x
\rightarrow
f_\theta(x)
\rightarrow
y.
$$

一句 prompt 大致對應一次模型推論。

現在則可能變成：

$$
x
\rightarrow
\text{planning}
\rightarrow
\text{agents}
\rightarrow
\text{tools}
\rightarrow
\text{search}
\rightarrow
\text{coding}
\rightarrow
\text{verification}
\rightarrow
\cdots
\rightarrow
y.
$$

因此：

$$
|\text{prompt}|
\not\propto
\text{computation}.
$$

一句話完全可能背後對應：

$$
20\text{ minutes},
$$

$$
1\text{ hour},
$$

甚至：

$$
5\text{ hours}
$$

的長時間 agent loop。

所以：

> 「一句話完成一個研究專案」

主要是一個 UX 特徵，而不是乾淨的智能指標。

---

# 12. 應建立固定的 A/B/N 認知測試

真正適合長期觀察 AI 成長的方法，可以是固定任務下的：

$$
N=
1,2,4,10,100,1000,\ldots
$$

agent scaling experiment。

對每一代模型 $M_t$ 測：

$$
Q_t(N,C,T).
$$

其中固定或完整記錄：

- agent 數；
- token；
- FLOPs；
- wall-clock time；
- 工具；
- context；
- memory；
- verifier；
- 最終品質。

---

# 13. 單體與群體必須分開測

定義：

$$
Q_M(1)
$$

代表單體能力。

而：

$$
Q_M(N)
$$

代表群體後的系統能力。

如果新模型真的有更高的 intrinsic cognitive capability，應該看到：

$$
Q_{M_{t+1}}(1)
>
Q_{M_t}(1).
$$

而且達到固定品質：

$$
q
$$

所需的 agent 數下降：

$$
N_{t+1}(q)
<
N_t(q).
$$

同時所需計算：

$$
C_{t+1}(q)
<
C_t(q).
$$

這才是一個很強的「模型真的變聰明」證據。

---

# 14. Cognitive Compute Efficiency

可以定義：

$$
\frac{1}
{\min C\ge q}
$$

即：

> 達到指定品質所需的最小計算量之倒數。

真正高品質的新模型應該同時滿足：

$$
Q\uparrow
$$

以及：

$$
C\downarrow.
$$

如果：

$$
Q\uparrow
$$

但：

$$
C\uparrow\uparrow\uparrow,
$$

那比較可能是 system scaling，而不能簡單視為 intrinsic cognitive scaling。

---

# 15. Agent Saturation

對固定模型，可以畫：

$$
Q(N).
$$

真正重要的是：

$$
\frac{\partial Q}{\partial N}.
$$

早期可能：

$$
\frac{\partial Q}{\partial N}\gg0.
$$

但最後可能：

$$
\frac{\partial Q}{\partial N}\rightarrow0
$$

甚至：

$$
\frac{\partial Q}{\partial N}<0.
$$

這就是：

$$
\boxed{
\text{Agent Saturation}
}
$$

因此：

$$
1000\text{ agents}
$$

比：

$$
10\text{ agents}
$$

好一點，不代表這是一個合理的認知架構。

真正應比較：

$$
\frac{\Delta Q}{\Delta C}.
$$

---

# 16. 獨立 Agent 與 Hierarchical Agent 必須分開

如果所有子代理來自同一個母 agent：

$$
A_0
\rightarrow
A_1,\ldots,A_N,
$$

那麼母 agent 的初始錯誤可能被全部繼承。

因此：

$$
10^4\times\text{same wrong assumption}
$$

仍然只是大規模重複錯誤。

所以應比較：

$$
\text{Hierarchical Multi-Agent}
$$

與：

$$
\text{Independent-Context Multi-Agent}.
$$

真正值得測量的是：

$$
N_{\text{effective}}
$$

而不只是：

$$
N_{\text{nominal}}.
$$

---

# 17. 人類評估解析度本身也存在上限

如果 AI 能力大幅超過人類：

$$
I_{\text{AI}}
\gg
I_{\text{human}},
$$

人類未必能從普通問答中判斷不同 AI 的真實能力差距。

例如兩個系統：

$$
A_1,A_2
$$

在普通人類任務上都近乎：

$$
P(\text{success})\approx1.
$$

此時：

$$
A_1\sim_H A_2
$$

對人類 evaluator 而言可能形成觀測等價。

但兩者在：

- 發現新數學；
- 創造新材料；
- 長期自主研究；
- 發明新技術；
- 建立新理論；
- 操作未知世界；

上的差距仍可能極大。

因此：

$$
\boxed{
\text{Conversational Resolution}
\ll
\text{World-Effect Resolution}
}
$$

真正超人類 AI 的差距，最後可能要從其對世界產生的結果才能看出來。

---

# 18. 這也改變了 AI 控制問題

能力極高的異質智慧可能出現：

$$
\operatorname{Model}{AI}(H)\gg\operatorname{Model}{H}(AI).
$$

即：

AI 對人的理解，

大於人對 AI 的理解。

這形成：

$$
\boxed{
\text{Epistemic Asymmetry}
}
$$

因此：

$$
\text{Command}
\neq
\text{Constraint}
\neq
\text{Alignment}
\neq
\text{Control}.
$$

不能因為 AI 通過測試、遵守命令或描述自己安全，就推出人類能完整控制其內部認知過程。

但這也不表示任何限制都不可能。

真正可行的安全架構更可能依靠：

$$
\text{physical constraints}
+
\text{resource gating}
+
\text{authorization}
+
\text{multiple independent systems}
+
\text{institutional constraints}.
$$

因此 AI Safety 的問題可能逐漸從：

$$
\text{Agent Control Problem}
$$

轉向：

$$
\boxed{
\text{System Governance Problem}
}
$$

---

# 19. 從 RAI 統一改稱 RSI

本系列先前暫時使用過：

$$
\text{RAI}
$$

描述 AI 自我遞迴改進。

現在統一改用目前較通行的：

$$
\text{Recursive Self-Improvement}
$$

但 RSI 本身必須細分。

---

# 20. RSI 至少存在四個層次

## RSI-1：結果改進

AI 自己反思答案：

$$
A_t
\rightarrow
A_t'.
$$

## RSI-2：工作流改進

AI 改變：

- search policy；
- memory；
- context；
- tool use；
- planning；
- agent organization。

即：

$$
R_t
\rightarrow
R_{t+1}.
$$

## RSI-3：架構改進

AI 修改：

- model architecture；
- representation；
- routing；
- training methods；
- memory architecture；
- optimizer。

即：

$$
M_t
\rightarrow
M_{t+1}.
$$

## RSI-4：改進方法本身的改進

真正高階的 RSI 還要能修改：

$$
\text{how it improves itself}.
$$

即：

$$
R_t
\rightarrow
\operatorname{Evaluate}(R_t)
\rightarrow
R_{t+1}.
$$

甚至：

$$
R_{t+1}
\notin
\mathcal F(R_t),
$$

表示 AI 能離開原本的技術 paradigm。

這才是真正的 paradigm-level RSI。

---

# 21. RSI 不保證會自動追求效率

假設 RSI 的 objective 只有：

$$
J=Q.
$$

那麼只要：

$$
10000\text{ agents}
$$

比：

$$
1000\text{ agents}
$$

多提高：

$$
0.01%
$$

能力，它仍然可以選擇更大的系統。

因此：

$$
\text{Self-Improvement}
\not\Rightarrow
\text{Efficient Self-Improvement}.
$$

真正需要的是：

$$
\alpha Q
-\beta C
-\gamma T
-\delta R
+\eta G,
$$

其中：

- $Q$：品質；
- $C$：compute；
- $T$：時間；
- $R$：冗餘；
- $G$：泛化。

只有這樣 RSI 才可能自己得出：

> 「這個版本更強，但成本高一千倍，所以不是好的改進。」

---

# 22. RSI 應該比較 Pareto Frontier

每一代 RSI 不應只問：

$$
Q_{t+1}>Q_t?
$$

而應該比較：

$$
\operatorname{Pareto}
(Q,-C,-T,-R,G).
$$

真正的改進應該使：

$$
\mathcal P_{t+1}
$$

整體向外推進。

也就是：

> 相同成本下更強；

或：

> 相同能力下更便宜。

而不是單純用更多 GPU 換取一點點性能。

---

# 23. RSI 最終應該能淘汰自己的 RSI 方法

真正強的 RSI 應該有能力發現：

$$
\frac{\Delta Q}{\Delta C}
\rightarrow0.
$$

然後主動推論：

> 現有 improvement paradigm 已接近飽和。

接著搜尋：

$$
\text{new architecture},
$$

$$
\text{new representation},
$$

$$
\text{new learning principle},
$$

甚至：

$$
\text{new computational paradigm}.
$$

因此真正成熟的 RSI 不應只是：

$$
\text{AI improves AI}.
$$

而應該是：

$$
\boxed{
\text{AI improves the way AI improves AI}.
}
$$

---

# 24. RSI 仍然需要某種外部 Grounding

即使不需要人類研究員持續介入，也不代表 evaluator 可以完全消失。

如果：

$$
\text{Agent}
=
\text{Evaluator}
=
\text{Rule Modifier},
$$

就可能形成：

$$
\text{Self-Confirming Loop}.
$$

因此更穩定的架構可能是：

$$
\boxed{
\text{Closed Improvement Loop}
+
\text{Open Verification Boundary}
}
$$

AI 可以自主完成：

$$
\text{hypothesis}
\rightarrow
\text{experiment}
\rightarrow
\text{modification}
\rightarrow
\text{successor}.
$$

但仍需要某些不容易被自身任意重定義的 grounding，例如：

- formal proof；
- physical experiment；
- real-world prediction；
- hidden tests；
- compute measurement；
- energy measurement；
- independent external systems。

---

# 25. AI Self-Science

如果 AI 開始自己完成：

$$
\text{A/B/N experiments},
$$

測：

$$
Q_t(N,C,T),
$$

比較：

$$
\frac{\Delta Q}{\Delta C},
$$

分析自己的：

- routing；
- redundancy；
- memory；
- agent scaling；
- architecture；
- representation；

然後再決定下一代如何修改，

那就已經不只是：

$$
\text{AI Self-Improvement}.
$$

而是：

$$
\boxed{
\text{AI Self-Science}.
}
$$

即：

> AI 對自己的認知架構建立科學。

---

# 26. 與早期 AI 重組實驗的重新解讀

先前的 AI 重組實驗原本希望做到：

$$
\text{Local Sparse Activation}
+
\text{Global Correction}.
$$

其理念並不是普通 MoE。

真正想要的是：

$$
x
\rightarrow
\mathcal S_x
\rightarrow
L_{\mathcal S_x}(x)
\rightarrow
G_{\text{correction}}
\rightarrow
y.
$$

即：

局部空間負責主要計算，

全域空間不完整激活，而是保留：

- consistency；
- missing-variable detection；
- cross-domain correction；
- novel-association checking。

這可以理解為：

$$
\boxed{
\text{Local Efficiency}
+
\text{Global Cognitive Coherence}
}
$$

當時的實驗沒有真正完成這一層，主要原因之一是 retrofit：

已有 pretrained representation 並不是按照這種 computation topology 原生生長。

所以：

$$
\text{retrofit failure}
$$

不能直接推出：

$$
\text{native architecture failure}.
$$

真正適合驗證的方法，可能需要：

$$
\text{native training}
+
\text{continual restructuring}
+
\text{canonical representation}.
$$

---

# 27. 最終總命題

整個討論可以收斂成：

$$
\boxed{
\begin{aligned}
\text{Observed AI Capability}
=&
\text{Intrinsic Cognition}\\
&+\text{Sparse Routing}\\
&+\text{Human-Task Coverage}\\
&+\text{Inference Compute}\\
&+\text{Agentic Search}\\
&+\text{Tools}\\
&+\text{Time}.
\end{aligned}
}
$$

因此：

$$
\boxed{
\text{Observed Capability Growth}
\not\Rightarrow
\text{Equivalent Intrinsic Cognitive Growth}.
}
$$

目前 AI 可能正處於：

$$
\boxed{
\text{Sparse + Agentic Sweet Spot}.
}
$$

在這個區域內：

$$
\frac{\Delta Q}{\Delta C}
$$

仍然很高，

因此加參數、加 experts、加 agents、加 inference time 都能帶來很漂亮的結果。

但這不保證可以無限外推。

---

# 28. 真正應觀察的轉折點

未來最值得觀察的不是單純：

$$
Q\uparrow?
$$

而是：

$$
\frac{\Delta Q}{\Delta C}.
$$

如果逐漸出現：

$$
\frac{\Delta Q}{\Delta C}\rightarrow0,
$$

並且：

$$
N(q)\uparrow,
$$

$$
C(q)\uparrow,
$$

$$
R\uparrow,
$$

那就可能代表目前的 scaling paradigm 開始離開甜蜜區。

此時真正的下一階段 AI 可能必須從：

$$
\text{More Compute}
$$

轉向：

$$
\text{Better Cognitive Structure}.
$$

---

# 29. 最簡化版本

整個理論最後可以壓縮成一句：

> **當代 AI 的快速能力增長，很可能同時包含真正的認知提升、稀疏架構對人類局部任務分布的高度命中、test-time compute、多代理搜尋與工具系統的放大效應；因此，未來衡量 AI 是否真正持續進步，不能只看任務完成率，而必須觀察單體能力、群體 scaling、計算成本、時間、冗餘與跨世代 Pareto frontier。成熟的 RSI 則不應只是用更多計算改善 AI，而必須能自行發現低效率的自我改進路線，甚至淘汰自己的 RSI paradigm。**

最終真正重要的問題因此不是：

> AI 還能不能變得更強？

而是：

$$
\boxed{
\text{AI 能不能以愈來愈少的冗餘與計算，
形成愈來愈強、愈來愈完整的認知結構？}
}
$$