AI 能力增長錯覺：系統能力不等於內在認知增長

系列：AI 認知成長與計算甜蜜區系列（1/7）
英文題名：The AI Capability Growth Illusion: System-Level Performance Is Not Equivalent to Intrinsic Cognitive Growth
版本：v0.1
日期：2026-10-06
語言：zh-TW

作者： Neo.K
機構： EveMissLab／一言諾科技有限公司

摘要

近年大型語言模型與代理系統的能力呈現極快速提升。從數學、程式、研究、搜尋到長時間自主任務，前沿 AI 的表現已不再能以早期「單次提示—單次回答」的形式充分描述。然而，本文提出一個需要被明確區分的基本命題：

\text{Observed System Capability Growth} \neq \text{Intrinsic Cognitive Growth}.

使用者或 benchmark 所觀察到的最終能力，已逐漸成為基礎模型、推理時間計算、工具、搜尋、外部記憶、多代理協作、上下文管理、驗證器與執行時間等多種因素的複合產物。當這些因素同時快速擴張時，系統層級表現可以呈現遠高於單體模型內在認知提升速度的增長曲線。

本文將這一現象稱為「AI 能力增長錯覺」。此處的「錯覺」並非指 AI 沒有真正進步，而是指：若直接由最終任務成功率推論模型本體的認知增長幅度，便可能發生測量層級錯置。本文提出一個能力分解框架，將觀察到的 AI 系統能力拆解為內在認知能力、稀疏任務命中、test-time compute、多代理搜尋、工具與 harness、長時程執行等因素，並提出跨模型、跨代理數量、跨計算預算的可驗證實驗設計。

本文是「AI 認知成長與計算甜蜜區系列」的第一篇，目的不是否定 scaling、MoE、多代理或 test-time compute，而是建立後續討論所需的測量基礎：我們究竟是在測量一個更聰明的 AI，還是一個投入了更多計算與外部結構的 AI 系統？

1. 問題背景：今天的 AI 已不再是單一函數呼叫

早期大型語言模型的典型使用方式可以粗略表示為：

x \rightarrow f_\theta(x) \rightarrow y,

其中 $x$ 是輸入， $f_\theta$ 是固定模型， $y$ 是一次生成結果。

在這個時代，雖然 prompt、sampling、temperature 等設定仍會影響表現，但將「模型能力」與「一次推論結果」近似對應，至少仍具有一定合理性。

然而，現代前沿 AI 系統逐漸變成：

x \rightarrow \text{planning} \rightarrow \text{reasoning} \rightarrow \text{tools} \rightarrow \text{search} \rightarrow \text{memory} \rightarrow \text{subagents} \rightarrow \text{verification} \rightarrow \text{revision} \rightarrow y.

同一句自然語言要求，例如「完成這個研究問題」，背後可能對應完全不同的實際計算：

20\text{ 秒},

20\text{ 分鐘},

1\text{ 小時},

甚至：

5\text{ 小時以上}.

因此，輸入長度：

|x|

已幾乎不能作為認知計算量的代理變數。

一句很短的 prompt，可以觸發極長時間的搜尋、測試、重試、工具調用與代理協作。

由此產生第一個基本問題：

當最終輸出能力提升時，究竟是基礎模型本身變得更有認知能力，還是系統給了它更多時間、更多搜尋路徑、更多工具與更多代理？

這兩者都是真實的工程進步，但它們不是同一種進步。

2. 核心區分：系統能力與內在認知能力

本文將「觀察到的系統能力」記為：

Q_{\text{sys}}.

而將「在標準化條件下，單一模型本體所具有的內在認知能力」記為：

I_{\text{intrinsic}}.

最簡單的錯誤假設是：

Q_{\text{sys}} \approx I_{\text{intrinsic}}.

這在現代 agentic AI 中已愈來愈不可靠。

更合理的表示為：

Q_{\text{sys}} = F( I_{\text{intrinsic}}, S, C, N, H, U, T, V ),

其中：

$I_{\text{intrinsic}}$ ：單體模型內在認知能力；
$S$ ：稀疏路由與任務子空間命中；
$C$ ：test-time / inference-time compute；
$N$ ：代理或獨立採樣數量；
$H$ ：harness、context management 與 orchestration；
$U$ ：外部工具、搜尋、程式執行與記憶系統；
$T$ ：允許執行的時間與迭代長度；
$V$ ：驗證器、評分器與結果選擇機制。

因此：

\Delta Q_{\text{sys}}

可以在：

\Delta I_{\text{intrinsic}}

很小的情況下仍然非常大。

反過來說，一個真正大幅提升內在認知能力的模型，也可能因 harness 不佳、時間不足或工具限制而被低估。

所以本文並不主張系統層能力「不算能力」，而是主張：

\boxed{ \text{System Capability} \text{ 與 } \text{Intrinsic Cognition} \text{ 必須分開測量。} }

3. 為什麼這個區分現在才變得特別重要

3.1 Test-time compute 已成為能力的一部分

近年的研究已明確顯示，同一個基礎模型若獲得更多測試時計算，可以顯著提高推理表現。

因此：

Q = Q(M,C)

比：

Q=Q(M)

更合理。

這意味著「模型 A 得分高於模型 B」本身，若沒有同時說明推理預算，就無法直接判斷：

I_A>I_B.

3.2 Agentic harness 可以改變同一模型的可觀察能力

現代模型的表現愈來愈依賴模型之外的 harness，包括工具使用、狀態保存、錯誤恢復、context compaction、重試與 budget。

因此，同一模型在不同 harness 下可能呈現不同能力：

Q(M,H_1) \neq Q(M,H_2).

若 $H_2$ 能讓模型維持更長的有效上下文、重試失敗行動並調用更好的工具，那麼：

Q(M,H_2)>Q(M,H_1)

不代表模型權重本身已改變。

這是一種真實的系統能力增長，但不是模型內部認知架構的直接增長。

3.3 多代理可以用更多計算換取更高能力

多代理系統可以透過平行探索、角色分工、候選生成與交叉驗證，提高最終任務成功率。

因此：

N\uparrow \Rightarrow C\uparrow \Rightarrow Q_{\text{sys}}\uparrow

可以在：

I_{\text{intrinsic}}

不變的情況下發生。

所以，如果下一代產品比上一代產品使用更多代理、更長 reasoning、更高採樣數與更強 verifier，最終 benchmark 提升不能被全部歸因為「單體模型更聰明」。

4. 「一句話完成」已經失去作為能力測量的資訊密度

當代 AI 產品常以「一句話完成一個複雜任務」呈現能力。

這對使用者體驗非常重要，但對研究 AI 認知增長而言，資訊量愈來愈低。

設 prompt 為：

p.

兩個系統都收到完全相同的：

p.

第一個系統的計算成本為：

C_1.

第二個系統則為：

C_2,

且：

C_2\gg C_1.

如果第二個系統在背後執行大量搜尋、代理討論、測試與驗證，即使兩者表面上都是：

一句話輸入，一個答案輸出，

它們仍然不是相同的認知實驗。

因此：

\text{Prompt Simplicity} \neq \text{Cognitive Simplicity}.

更進一步：

\text{Prompt Length} \not\propto \text{Inference Effort}.

「一句話生成」主要是一種 interface compression：

\text{complex orchestration} \rightarrow \text{simple human interface}.

它證明系統 orchestration 已經高度自動化，但不能單獨證明單體智能同比例增長。

5. 能力增長錯覺不是「AI 沒有變強」

本文使用「錯覺」一詞，需要特別排除一個誤解。

本文不是主張：

I_{\text{intrinsic}} \approx \text{constant}.

也不是主張近年的 AI 進步全部只是暴力計算。

更合理的命題是：

\Delta Q_{\text{observed}} = \Delta I_{\text{intrinsic}} + \Delta A_{\text{amplification}} + \Delta \epsilon,

其中：

A_{\text{amplification}}

代表模型之外與模型周圍的能力放大機制。

因此問題不是：

AI 到底有沒有真正進步？

而是：

最終觀察到的進步中，有多少來自模型本體，有多少來自計算與系統放大？

若不做分解，就可能把：

5\times

的系統能力增長全部誤解成：

5\times

的內在認知增長。

這就是本文所稱的「能力增長錯覺」。

6. 一個更完整的能力分解式

本文提出以下概念分解：

\boxed{ Q_{\text{obs}} = F( I, L, C, N, H, U, T, V ) }

其中：

6.1 內在認知能力 $I$

代表在固定外部條件下，模型對表示、抽象、推理、規劃、學習與問題分解的能力。

6.2 局部任務命中 $L$

代表模型架構對某個任務所需能力子空間的有效選擇能力。

對 MoE 或其他稀疏結構而言：

x \rightarrow \mathcal S_x,

其中：

\mathcal S_x \subset \mathcal S_{\text{global}}.

只要：

\mathcal S_x

剛好覆蓋大量人類高頻任務，使用者感受到的能力便可以快速提高，而不要求所有認知子空間同比例提升。

6.3 推理計算 $C$

包括：

reasoning tokens；
sampling；
search；
tree expansion；
self-consistency；
reflection；
retry。

因此：

C

本身就是可被 scaling 的變數。

6.4 代理數量 $N$

包括：

N=1,2,10,100,1000,\ldots

個獨立或半獨立推理單位。

多代理使系統能增加平行搜尋寬度，但不必然增加單體智能。

6.5 Harness $H$

包括：

context compression；
state persistence；
task decomposition；
error recovery；
message routing；
orchestration；
scheduler。

6.6 工具 $U$

包括：

web search；
code execution；
database；
calculators；
theorem provers；
simulators；
external memory。

6.7 時間 $T$

同一模型若被允許：

10\text{ 秒}

或：

5\text{ 小時},

不是同一個推理 regime。

6.8 驗證器 $V$

系統若能生成：

k

個候選並由強 verifier 選出最佳結果，其最終成功率可以高於單次直接生成。

這是一種 inference architecture improvement，而不是必然的基礎模型能力改變。

7. 「更強的系統」與「更強的模型」是不同研究問題

假設有兩個版本：

S_A=(M_A,H_A,C_A,N_A,U_A)

以及：

S_B=(M_B,H_B,C_B,N_B,U_B).

若：

Q(S_B)>Q(S_A),

只能推出：

系統 B 在該條件下表現較好。

不能立即推出：

I(M_B)>I(M_A).

若希望測試模型本體，至少需要控制：

H_A=H_B,

C_A=C_B,

N_A=N_B,

U_A=U_B,

以及相同或可比較的時間與驗證條件。

這就是 controlled comparison。

相反，如果研究目的本來就是：

在現實世界裡，哪一個完整 AI 系統能做更多事？

那麼使用最好的 harness、更多工具與更高 budget 完全合理。

兩種評測都重要。

錯誤只發生在：

\text{System Evaluation}

被當成：

\text{Intrinsic Model Evaluation}.

8. 從單點分數轉向能力—資源曲線

對任一模型 $M$ ，我們應測量：

Q_M(C),

而不是只取一個：

Q_M(C_0).

對 agent system，則應測量：

Q_M(N,C,T).

進一步可以固定目標品質：

q.

然後定義達到品質 $q$ 所需的最小成本：

C_M(q) = \min \left\{ C: Q_M(C)\ge q \right\}.

如果新模型真正更有效率，應看到：

C_{M_{t+1}}(q) < C_{M_t}(q).

同理，所需代理數可以定義：

N_M(q) = \min \left\{ N: Q_M(N)\ge q \right\}.

如果：

N_{M_{t+1}}(q) < N_{M_t}(q),

那麼新模型至少能以更少的平行認知單元達成相同成果。

這是一種比單一 benchmark score 更接近「認知效率」的測量。

9. 一個可長期執行的 A/B/N 測試框架

對固定任務集合：

\mathcal T = \{T_1,T_2,\ldots,T_m\},

針對每一代模型：

M_t

執行：

N \in \{1,2,4,10,32,100,1000,\ldots\}.

同時測試不同：

C

與：

T.

得到：

Q_t(N,C,T).

至少記錄：

最終成功率；
任務品質；
總 token；
FLOPs 或可替代 compute 指標；
wall-clock time；
agent 數；
tool calls；
重試次數；
context 使用量；
verifier 成本；
最終人工或外部真值驗證。

這樣每一代模型不再只有一個分數，而是一個能力曲面。

10. 真正的模型進步應該讓曲線向左上移

若：

M_2

比：

M_1

真正更有內在認知效率，我們預期：

Q_{M_2}(C) > Q_{M_1}(C)

在大量相同 budget 區間內成立。

而且達到固定品質：

q

需要：

C_{M_2}(q) < C_{M_1}(q).

也就是整條曲線向左上方移動。

這比：

Q_{M_2}(C_2) > Q_{M_1}(C_1)

有意義得多，因為後者可能只是：

C_2\gg C_1.

因此，未來談「某一代 AI 比上一代強多少」時，真正應問的是：

在相同資源下強多少？

以及：

達到相同能力時節省多少資源？

11. Cognitive Compute Efficiency 的初步定義

本文先提出一個簡單指標：

\boxed{ CCE(q) = \frac{1} {\min C:Q\ge q} }

其中 $CCE$ 為 Cognitive Compute Efficiency。

它表示：

達到指定品質門檻 $q$ 時，每單位認知成果所需計算的反向效率。

若：

CCE_{t+1}(q) > CCE_t(q),

則下一代系統在該品質要求下具有更好的計算認知效率。

未來此指標可進一步加入：

N, T, E, R

等項，其中：

$N$ ：代理數；
$T$ ：時間；
$E$ ：能源；
$R$ ：冗餘。

形成多維 Pareto frontier，而不是強行壓縮成單一數字。

12. 如何重新理解「指數成長」

假設外部觀察者看到：

Q_{\text{obs}}(t) \approx e^{kt}.

一般敘事容易寫成：

I_{\text{intrinsic}}(t) \approx e^{kt}.

但實際上可能是：

Q_{\text{obs}}(t) = F( I(t), C(t), N(t), H(t), U(t) ).

如果：

C(t),N(t),H(t),U(t)

本身也快速增長，那麼：

Q_{\text{obs}}(t)

呈現近似指數曲線，並不足以證明：

I(t)

具有完全相同的指數。

這並不表示 $I(t)$ 沒有快速上升。

而是：

\boxed{ \text{Observed Exponential Growth} \not\Rightarrow \text{Equivalent Intrinsic Exponential Growth}. }

這是一個測量論命題，而不是反 scaling 宣言。

13. 可證偽性：什麼結果會削弱本文命題？

若未來在嚴格控制：

C,N,H,U,T,V

之後，仍發現：

Q_{M_{t+1}}

長期呈現與完整系統 benchmark 幾乎相同的高速增長，也就是：

\frac{ \Delta Q_{\text{controlled}} }{ \Delta Q_{\text{full-system}} } \approx1,

則表示大部分觀察到的能力增長確實主要來自：

I_{\text{intrinsic}}.

這會削弱「系統放大造成重大觀測錯置」的強版本。

反之，如果：

\Delta Q_{\text{full-system}} \gg \Delta Q_{\text{controlled}},

則本文提出的分解得到支持。

因此這不是不可驗證的哲學主張，而是可以用固定 benchmark、固定 harness 與固定 compute 做跨世代測量。

14. 本文不處理但後續必須處理的問題

本文只建立第一層分解。

14.1 為什麼現在的 sparse AI 特別有效？

這涉及：

\Omega_{\text{human}}

與 AI 已學得能力子空間之間的高度重疊。

此問題將在系列第二篇「稀疏能力甜蜜區」中處理。

14.2 模型內部是否正在累積大量重複能力？

這涉及 neural representation、expert redundancy、semantic deduplication 與 semantic garbage collection。

將在系列第三篇處理。

14.3 多代理能否無限擴張？

這涉及：

Q(N)

的飽和、coordination cost 與 agent inflation。

將在系列第四篇處理。

14.4 如何建立真正可長期比較的 AI 成長 benchmark？

將在系列第五篇正式定義 A/B/N 測試與 Cognitive Compute Efficiency。

14.5 搜尋更多次是否等於 AI 真正學會？

將在系列第六篇區分 Search-Scaled AI 與 Structure-Growing AI。

14.6 RSI 如何避免只會增加更多算力與代理？

將在系列第七篇處理 Efficient RSI 與 AI Self-Science。

15. 結論

當代 AI 能力確實正在快速提升。

但今天的「AI」已經不是一個孤立的神經模型，而越來越像：

\boxed{ \text{Model} + \text{Compute} + \text{Agents} + \text{Tools} + \text{Memory} + \text{Harness} + \text{Time} + \text{Verification}. }

因此我們必須停止將：

\text{System Capability}

與：

\text{Intrinsic Cognitive Capability}

視為天然等價。

更準確的基本式是：

\boxed{ \begin{aligned} \text{Observed AI Capability} =&\ \text{Intrinsic Cognition}\\ &+\text{Sparse Task Matching}\\ &+\text{Inference-Time Compute}\\ &+\text{Agentic Search}\\ &+\text{Tools / Harness}\\ &+\text{Long-Horizon Execution}\\ &+\text{Verification Gain}. \end{aligned} }

這些因素全部都是真正的技術進步。

但只有將它們拆開，我們才有能力回答下一個更重要的問題：

AI 究竟是在形成更好的認知結構，還是我們正在用愈來愈龐大的計算系統，把相似的認知核心放大到更高的任務完成率？

這個問題不應以直覺回答。

它應該被測量。

16. 系列核心命題

本文作為系列第一篇，提出以下起始命題：

\boxed{ \text{若不控制計算、代理、時間、工具與 harness， 便不能由系統輸出的能力增長直接推論內在認知能力的同比增長。} }

後續系列將進一步研究：為什麼目前的 AI 架構可能正處於一個特殊的「稀疏能力甜蜜區」，以及這個甜蜜區是否會隨模型、代理數與計算成本持續擴張而結束。

Canonical Source Note

本文件之 Markdown UTF-8 原始碼為正式 source artifact。數學原始碼統一使用 $...$ 與 $$...$$ 作為 canonical delimiter；聊天渲染內容不作為正式數學原稿。

AI 能力增長錯覺：系統能力不等於內在認知增長

AI 能力增長錯覺：系統能力不等於內在認知增長

摘要

1. 問題背景：今天的 AI 已不再是單一函數呼叫

2. 核心區分：系統能力與內在認知能力

3. 為什麼這個區分現在才變得特別重要

3.1 Test-time compute 已成為能力的一部分

3.2 Agentic harness 可以改變同一模型的可觀察能力

3.3 多代理可以用更多計算換取更高能力

4. 「一句話完成」已經失去作為能力測量的資訊密度

5. 能力增長錯覺不是「AI 沒有變強」

6. 一個更完整的能力分解式

6.1 內在認知能力 III

6.2 局部任務命中 LLL

6.3 推理計算 CCC

6.4 代理數量 NNN

6.5 Harness HHH

6.6 工具 UUU

6.7 時間 TTT

6.8 驗證器 VVV

7. 「更強的系統」與「更強的模型」是不同研究問題

8. 從單點分數轉向能力—資源曲線

9. 一個可長期執行的 A/B/N 測試框架

10. 真正的模型進步應該讓曲線向左上移

11. Cognitive Compute Efficiency 的初步定義

12. 如何重新理解「指數成長」

13. 可證偽性：什麼結果會削弱本文命題？

14. 本文不處理但後續必須處理的問題

14.1 為什麼現在的 sparse AI 特別有效？

14.2 模型內部是否正在累積大量重複能力？

14.3 多代理能否無限擴張？

14.4 如何建立真正可長期比較的 AI 成長 benchmark？

14.5 搜尋更多次是否等於 AI 真正學會？

14.6 RSI 如何避免只會增加更多算力與代理？

15. 結論

16. 系列核心命題

Canonical Source Note

6.1 內在認知能力 $I$

6.2 局部任務命中 $L$

6.3 推理計算 $C$

6.4 代理數量 $N$

6.5 Harness $H$

6.6 工具 $U$

6.7 時間 $T$

6.8 驗證器 $V$