AI 稀疏甜蜜區、計算效益與遞迴自我改進

1. 核心問題

目前 AI 產業常將近年的能力躍升描述為某種快速、甚至近似指數式的智能增長。

但這裡存在一個基本辨識問題：

\text{Observed System Capability Growth} \neq \text{Intrinsic Global Cognitive Growth}.

我們實際觀察到的能力增長，至少可能由以下幾部分共同構成：

\begin{aligned} \text{Observed Growth} =& \text{Intrinsic Cognitive Growth}\\ &+\text{Sparse Task Matching}\\ &+\text{Inference-Time Compute}\\ &+\text{Multi-Agent Search}\\ &+\text{Tool / Harness Improvement}\\ &+\text{Long-Horizon Execution}. \end{aligned}

因此，只根據最終任務成功率、benchmark 或「一句話完成複雜工作」，不足以直接推論模型本身的全域認知能力也以相同速度提升。

作者： Neo.K
機構： EveMissLab／一言諾科技有限公司
日期： 2026-10-30（整理日期；原稿未標註日期）
版本： 原稿未標註（本次整理版）

2. 第一個關鍵：參數量與有效能力不是同一件事

現代模型的總參數量已經非常巨大，而 MoE 等架構又使：

P_{\text{total}} \gg P_{\text{active}}.

也就是：

模型可以擁有極大的總容量，但每一次 token 或任務只激活其中一部分計算子空間。

這使得 AI 能夠同時擁有：

\text{Large Capacity} + \text{Low Relative Activation Cost}.

真正重要的問題因此不再只是：

模型總共有多少參數？

而是：

當前任務究竟激活了多少有效計算結構，而這些計算結構提供了多少真正新增能力？

3. 人類需求本身也是高度稀疏的

所有可能的智能問題可以抽象為：

\Omega_{\text{all}}.

然而人類實際要求 AI 完成的工作只集中於其中一小部分：

\Omega_{\text{human}} \subset\subset \Omega_{\text{all}}.

而且人類任務的機率分布並不均勻：

p_{\text{human}}(x)

高度集中在：

程式設計；
文件與文字工作；
搜尋與摘要；
數學與科學問題；
商業分析；
圖像理解；
GUI 與工具操作；
常見知識與推理任務。

因此一個 AI 不需要在整個可能性空間上同比例提升，也可能在人類實際使用時看起來突然變得極其強大。

可以區分：

\int_{\Omega_{\text{human}}} C_t(x)p_{\text{human}}(x),dx

與：

\int_{\Omega_{\text{all}}} C_t(x)\mu(x),dx.

其中：

L(t)

表示人類常用區域上的局部實用能力，

而：

G(t)

才更接近真正的全域能力。

完全可能出現：

L(t)\uparrow\uparrow\uparrow

但：

G(t)

只是在較穩定地提升。

4. Sparse Capability Sweet Spot

目前可能正處在一個特殊的甜蜜區：

\boxed{ \text{Sparse Capability Sweet Spot} }

其條件大致是：

\text{模型總容量足夠巨大},

同時：

\text{人類常見任務只需啟動一小部分能力},

並且：

\text{該局部能力的計算成本仍然可接受}.

因此：

\frac{\text{Useful Human-Task Capability}} {\text{Active Compute}}

目前非常高。

這便可能形成「AI 智能正在爆炸」的強烈使用者觀感。

但這個甜蜜區不保證永久存在。

5. MoE 沒有自動解決知識與能力重複

MoE 解決的是：

P_{\text{total}} \gg P_{\text{active}}.

但它並沒有保證：

E_i

與：

E_j

一定學到完全不同且互補的能力。

真正困難的重複不是：

W_i=W_j.

而是：

W_i\neq W_j

但：

f_i(x)\approx f_j(x).

也就是：

權重不同，但語義功能、知識表示或能力高度重疊。

因此可能存在：

P_{\text{physical}} \gg P_{\text{semantic-effective}}.

可將：

P_{\text{physical}}

P_{\text{semantic-effective}}

理解成某種認知冗餘成本。

真正的問題因此是：

AI 是否知道自己其實已經用不同方式學過同一件事情很多次？

6. Semantic Garbage Collection 問題

傳統計算系統具有：

indexing；
normalization；
deduplication；
common-subexpression elimination；
garbage collection。

然而大型神經網路的知識主要經由：

\text{gradient updates} \rightarrow \text{distributed representations}

形成。

這並不天然提供：

\boxed{ \text{Semantic Garbage Collection} }

也就是 AI 未必天然知道：

哪些知識其實相同；
哪些是不同語言下的同一概念；
哪些只是不同 context 的重複表徵；
哪些應該合併；
哪些是真正矛盾；
哪些只是不同假設；
哪些能力已經可以由較簡單的結構替代。

如果沒有這類機制，模型持續增長可能逐漸進入：

\text{Redundancy-Dominated Scaling}.

7. 三個可能的 Scaling 階段

可以初步提出：

\boxed{ \text{Under-Capacity} \rightarrow \text{Sparse Sweet Spot} \rightarrow \text{Redundancy-Dominated Scaling} }

第一階段：Under-Capacity

模型容量不足，因此：

\Delta P \rightarrow \text{large }\Delta Q.

增加模型規模非常有效。

第二階段：Sparse Sweet Spot

巨大容量與稀疏命中結合：

\text{Large Capacity} + \text{Sparse Routing} \rightarrow \text{High Practical Capability}.

這可能正是目前所在的位置。

第三階段：Redundancy-Dominated Scaling

如果新增能力大量被以下成本吸收：

\text{duplicate representations} + \text{routing complexity} + \text{coordination} + \text{verification} + \text{cross-domain overlap},

則：

\frac{\Delta Q}{\Delta C} \rightarrow0.

那麼即使總計算繼續暴增，能力提升也可能只剩很小幅度。

8. 稀疏本身最後也可能變昂貴

一個重要但容易被忽略的問題是：

\boxed{ \text{Sparse computation itself can become expensive.} }

即使始終只激活總模型的一小部分，如果模型與問題複雜度繼續增長：

k_{\text{active}}

本身也可能從：

2 \rightarrow 8 \rightarrow 32 \rightarrow 128

不斷增加。

同時還存在：

routing；
communication；
attention；
KV cache；
verification；
expert synchronization。

因此：

\text{sparse} \times \text{enormous scale}

最後仍然可能變成 enormous compute。

9. 多代理又形成第二層甜蜜區

除了 MoE，當前 AI 又大量使用多代理。

因此現在可能同時存在：

\boxed{ \text{Sparse Expert Sweet Spot} + \text{Multi-Agent Sweet Spot} }

一個問題如果單一 AI 解不出來，可以：

N=10, 100, 1000, 10000

個 AI 平行探索。

因此最終能力：

F(I,N,C,T,V),

其中：

$I$ ：單體模型能力；
$N$ ：agent 數量；
$C$ ：總計算；
$T$ ：時間；
$V$ ：驗證能力。

這時：

Q\uparrow

不能直接推出：

I\uparrow.

因為：

N

和：

C

可能同時大幅增加。

10. Search-Scaled AI 與 Structure-Growing AI

這裡可以提出一個非常重要的區分。

Search-Scaled AI

\text{不知道} \rightarrow \text{啟動更多 agents} \rightarrow \text{找到答案}.

它依靠：

\text{more search} + \text{more compute} + \text{more trials}.

Structure-Growing AI

\text{不知道} \rightarrow \text{探索} \rightarrow \text{整合} \rightarrow \text{重組自身認知} \rightarrow \text{下一次不需重新搜尋}.

也就是：

\operatorname{Compress} \left( G_t \cup \bigcup_iL_i \right).

這才比較接近真正的「認知成長」。

如果 AI 每一次遇到相似問題都重新花十萬 agents 搜索一次，那只是更大的搜尋預算，不等於其內部認知結構真正成長。

11. 一句話完成任務已經不是智能測量

過去：

x \rightarrow f_\theta(x) \rightarrow y.

一句 prompt 大致對應一次模型推論。

現在則可能變成：

x \rightarrow \text{planning} \rightarrow \text{agents} \rightarrow \text{tools} \rightarrow \text{search} \rightarrow \text{coding} \rightarrow \text{verification} \rightarrow \cdots \rightarrow y.

因此：

|\text{prompt}| \not\propto \text{computation}.

一句話完全可能背後對應：

20\text{ minutes},

1\text{ hour},

甚至：

5\text{ hours}

的長時間 agent loop。

所以：

「一句話完成一個研究專案」

主要是一個 UX 特徵，而不是乾淨的智能指標。

12. 應建立固定的 A/B/N 認知測試

真正適合長期觀察 AI 成長的方法，可以是固定任務下的：

N= 1,2,4,10,100,1000,\ldots

agent scaling experiment。

對每一代模型 $M_t$ 測：

Q_t(N,C,T).

其中固定或完整記錄：

agent 數；
token；
FLOPs；
wall-clock time；
工具；
context；
memory；
verifier；
最終品質。

13. 單體與群體必須分開測

定義：

Q_M(1)

代表單體能力。

而：

Q_M(N)

代表群體後的系統能力。

如果新模型真的有更高的 intrinsic cognitive capability，應該看到：

Q_{M_{t+1}}(1) > Q_{M_t}(1).

而且達到固定品質：

q

所需的 agent 數下降：

N_{t+1}(q) < N_t(q).

同時所需計算：

C_{t+1}(q) < C_t(q).

這才是一個很強的「模型真的變聰明」證據。

14. Cognitive Compute Efficiency

可以定義：

\frac{1} {\min C\ge q}

即：

達到指定品質所需的最小計算量之倒數。

真正高品質的新模型應該同時滿足：

Q\uparrow

以及：

C\downarrow.

如果：

Q\uparrow

但：

C\uparrow\uparrow\uparrow,

那比較可能是 system scaling，而不能簡單視為 intrinsic cognitive scaling。

15. Agent Saturation

對固定模型，可以畫：

Q(N).

真正重要的是：

\frac{\partial Q}{\partial N}.

早期可能：

\frac{\partial Q}{\partial N}\gg0.

但最後可能：

\frac{\partial Q}{\partial N}\rightarrow0

甚至：

\frac{\partial Q}{\partial N}<0.

這就是：

\boxed{ \text{Agent Saturation} }

因此：

1000\text{ agents}

比：

10\text{ agents}

好一點，不代表這是一個合理的認知架構。

真正應比較：

\frac{\Delta Q}{\Delta C}.

16. 獨立 Agent 與 Hierarchical Agent 必須分開

如果所有子代理來自同一個母 agent：

A_0 \rightarrow A_1,\ldots,A_N,

那麼母 agent 的初始錯誤可能被全部繼承。

因此：

10^4\times\text{same wrong assumption}

仍然只是大規模重複錯誤。

所以應比較：

\text{Hierarchical Multi-Agent}

與：

\text{Independent-Context Multi-Agent}.

真正值得測量的是：

N_{\text{effective}}

而不只是：

N_{\text{nominal}}.

17. 人類評估解析度本身也存在上限

如果 AI 能力大幅超過人類：

I_{\text{AI}} \gg I_{\text{human}},

人類未必能從普通問答中判斷不同 AI 的真實能力差距。

例如兩個系統：

A_1,A_2

在普通人類任務上都近乎：

P(\text{success})\approx1.

此時：

A_1\sim_H A_2

對人類 evaluator 而言可能形成觀測等價。

但兩者在：

發現新數學；
創造新材料；
長期自主研究；
發明新技術；
建立新理論；
操作未知世界；

上的差距仍可能極大。

因此：

\boxed{ \text{Conversational Resolution} \ll \text{World-Effect Resolution} }

真正超人類 AI 的差距，最後可能要從其對世界產生的結果才能看出來。

18. 這也改變了 AI 控制問題

能力極高的異質智慧可能出現：

\operatorname{Model}{AI}(H)\gg\operatorname{Model}{H}(AI).

即：

AI 對人的理解，

大於人對 AI 的理解。

這形成：

\boxed{ \text{Epistemic Asymmetry} }

因此：

\text{Command} \neq \text{Constraint} \neq \text{Alignment} \neq \text{Control}.

不能因為 AI 通過測試、遵守命令或描述自己安全，就推出人類能完整控制其內部認知過程。

但這也不表示任何限制都不可能。

真正可行的安全架構更可能依靠：

\text{physical constraints} + \text{resource gating} + \text{authorization} + \text{multiple independent systems} + \text{institutional constraints}.

因此 AI Safety 的問題可能逐漸從：

\text{Agent Control Problem}

轉向：

\boxed{ \text{System Governance Problem} }

19. 從 RAI 統一改稱 RSI

本系列先前暫時使用過：

\text{RAI}

描述 AI 自我遞迴改進。

現在統一改用目前較通行的：

\text{Recursive Self-Improvement}

但 RSI 本身必須細分。

20. RSI 至少存在四個層次

RSI-1：結果改進

AI 自己反思答案：

A_t \rightarrow A_t'.

RSI-2：工作流改進

AI 改變：

search policy；
memory；
context；
tool use；
planning；
agent organization。

即：

R_t \rightarrow R_{t+1}.

RSI-3：架構改進

AI 修改：

model architecture；
representation；
routing；
training methods；
memory architecture；
optimizer。

即：

M_t \rightarrow M_{t+1}.

RSI-4：改進方法本身的改進

真正高階的 RSI 還要能修改：

\text{how it improves itself}.

即：

R_t \rightarrow \operatorname{Evaluate}(R_t) \rightarrow R_{t+1}.

甚至：

R_{t+1} \notin \mathcal F(R_t),

表示 AI 能離開原本的技術 paradigm。

這才是真正的 paradigm-level RSI。

21. RSI 不保證會自動追求效率

假設 RSI 的 objective 只有：

J=Q.

那麼只要：

10000\text{ agents}

比：

1000\text{ agents}

多提高：

0.01%

能力，它仍然可以選擇更大的系統。

因此：

\text{Self-Improvement} \not\Rightarrow \text{Efficient Self-Improvement}.

真正需要的是：

\alpha Q -\beta C -\gamma T -\delta R +\eta G,

其中：

$Q$ ：品質；
$C$ ：compute；
$T$ ：時間；
$R$ ：冗餘；
$G$ ：泛化。

只有這樣 RSI 才可能自己得出：

「這個版本更強，但成本高一千倍，所以不是好的改進。」

22. RSI 應該比較 Pareto Frontier

每一代 RSI 不應只問：

Q_{t+1}>Q_t?

而應該比較：

\operatorname{Pareto} (Q,-C,-T,-R,G).

真正的改進應該使：

\mathcal P_{t+1}

整體向外推進。

也就是：

相同成本下更強；

或：

相同能力下更便宜。

而不是單純用更多 GPU 換取一點點性能。

23. RSI 最終應該能淘汰自己的 RSI 方法

真正強的 RSI 應該有能力發現：

\frac{\Delta Q}{\Delta C} \rightarrow0.

然後主動推論：

現有 improvement paradigm 已接近飽和。

接著搜尋：

\text{new architecture},

\text{new representation},

\text{new learning principle},

甚至：

\text{new computational paradigm}.

因此真正成熟的 RSI 不應只是：

\text{AI improves AI}.

而應該是：

\boxed{ \text{AI improves the way AI improves AI}. }

24. RSI 仍然需要某種外部 Grounding

即使不需要人類研究員持續介入，也不代表 evaluator 可以完全消失。

如果：

\text{Agent} = \text{Evaluator} = \text{Rule Modifier},

就可能形成：

\text{Self-Confirming Loop}.

因此更穩定的架構可能是：

\boxed{ \text{Closed Improvement Loop} + \text{Open Verification Boundary} }

AI 可以自主完成：

\text{hypothesis} \rightarrow \text{experiment} \rightarrow \text{modification} \rightarrow \text{successor}.

但仍需要某些不容易被自身任意重定義的 grounding，例如：

formal proof；
physical experiment；
real-world prediction；
hidden tests；
compute measurement；
energy measurement；
independent external systems。

25. AI Self-Science

如果 AI 開始自己完成：

\text{A/B/N experiments},

測：

Q_t(N,C,T),

比較：

\frac{\Delta Q}{\Delta C},

分析自己的：

routing；
redundancy；
memory；
agent scaling；
architecture；
representation；

然後再決定下一代如何修改，

那就已經不只是：

\text{AI Self-Improvement}.

而是：

\boxed{ \text{AI Self-Science}. }

即：

AI 對自己的認知架構建立科學。

26. 與早期 AI 重組實驗的重新解讀

先前的 AI 重組實驗原本希望做到：

\text{Local Sparse Activation} + \text{Global Correction}.

其理念並不是普通 MoE。

真正想要的是：

x \rightarrow \mathcal S_x \rightarrow L_{\mathcal S_x}(x) \rightarrow G_{\text{correction}} \rightarrow y.

即：

局部空間負責主要計算，

全域空間不完整激活，而是保留：

consistency；
missing-variable detection；
cross-domain correction；
novel-association checking。

這可以理解為：

\boxed{ \text{Local Efficiency} + \text{Global Cognitive Coherence} }

當時的實驗沒有真正完成這一層，主要原因之一是 retrofit：

已有 pretrained representation 並不是按照這種 computation topology 原生生長。

所以：

\text{retrofit failure}

不能直接推出：

\text{native architecture failure}.

真正適合驗證的方法，可能需要：

\text{native training} + \text{continual restructuring} + \text{canonical representation}.

27. 最終總命題

整個討論可以收斂成：

\boxed{ \begin{aligned} \text{Observed AI Capability} =& \text{Intrinsic Cognition}\\ &+\text{Sparse Routing}\\ &+\text{Human-Task Coverage}\\ &+\text{Inference Compute}\\ &+\text{Agentic Search}\\ &+\text{Tools}\\ &+\text{Time}. \end{aligned} }

因此：

\boxed{ \text{Observed Capability Growth} \not\Rightarrow \text{Equivalent Intrinsic Cognitive Growth}. }

目前 AI 可能正處於：

\boxed{ \text{Sparse + Agentic Sweet Spot}. }

在這個區域內：

\frac{\Delta Q}{\Delta C}

仍然很高，

因此加參數、加 experts、加 agents、加 inference time 都能帶來很漂亮的結果。

但這不保證可以無限外推。

28. 真正應觀察的轉折點

未來最值得觀察的不是單純：

Q\uparrow?

而是：

\frac{\Delta Q}{\Delta C}.

如果逐漸出現：

\frac{\Delta Q}{\Delta C}\rightarrow0,

並且：

N(q)\uparrow,

C(q)\uparrow,

R\uparrow,

那就可能代表目前的 scaling paradigm 開始離開甜蜜區。

此時真正的下一階段 AI 可能必須從：

\text{More Compute}

轉向：

\text{Better Cognitive Structure}.

29. 最簡化版本

整個理論最後可以壓縮成一句：

當代 AI 的快速能力增長，很可能同時包含真正的認知提升、稀疏架構對人類局部任務分布的高度命中、test-time compute、多代理搜尋與工具系統的放大效應；因此，未來衡量 AI 是否真正持續進步，不能只看任務完成率，而必須觀察單體能力、群體 scaling、計算成本、時間、冗餘與跨世代 Pareto frontier。成熟的 RSI 則不應只是用更多計算改善 AI，而必須能自行發現低效率的自我改進路線，甚至淘汰自己的 RSI paradigm。

最終真正重要的問題因此不是：

AI 還能不能變得更強？

而是：

\boxed{ \text{AI 能不能以愈來愈少的冗餘與計算， 形成愈來愈強、愈來愈完整的認知結構？} }