← Archive
lm-004970 · 2026-11

搜尋型 AI 與結構成長型 AI：何謂真正的認知內化

zh-Hant · md Raw source ↗ Metadata ↗
下載 MD 檔 ⬇

搜尋型 AI 與結構成長型 AI：何謂真正的認知內化

系列：AI 認知成長與計算甜蜜區系列（6/7）
英文題名：Search-Scaled AI vs. Structure-Growing AI: What Counts as Genuine Cognitive Internalization?
版本：v0.1
日期：2026-10-07
語言：zh-TW

作者： Neo.K
機構： EveMissLab／一言諾科技有限公司

摘要

當代前沿 AI 可以透過更長推理、更大量 sampling、更高 test-time compute、多代理搜尋、外部記憶與工具使用，在沒有改變基礎模型權重的情況下顯著提高任務完成率。這使一個核心問題變得愈來愈重要：

如果 AI 每次遇到相似問題，都重新支付大量搜尋成本，這應該被稱為「成長」嗎？

本文區分兩種不同的 AI 能力增長模式：

Search-Scaled AI\boxed{ \text{Search-Scaled AI} }

與：

Structure-Growing AI.\boxed{ \text{Structure-Growing AI}. }

Search-Scaled AI 的基本形式為：

unknown→more search→solution.\text{unknown} \rightarrow \text{more search} \rightarrow \text{solution}.

其能力增長主要來自更大的計算預算、更多代理、更長 reasoning horizon、更廣搜尋樹與更強 verifier。

Structure-Growing AI 則要求：

unknown→exploration→abstraction→internalization→restructuring→lower future search cost.\text{unknown} \rightarrow \text{exploration} \rightarrow \text{abstraction} \rightarrow \text{internalization} \rightarrow \text{restructuring} \rightarrow \text{lower future search cost}.

也就是：一次昂貴搜尋的成果，應該改變未來的認知結構，使同類問題不必重新支付相同成本。

本文將「認知內化」定義為一個可測量概念，而非直覺描述。若一個 AI 在經歷某類昂貴探索後，對結構相似但未見過的新問題，其所需計算、代理數、搜尋深度或錯誤率系統性下降，則可視為發生了 search-to-structure conversion。

本文進一步提出 Internalization Gain、Search-to-Structure Conversion Ratio、Reusable Structure Ratio、Structural Retention、Transfer Efficiency 與 Re-search Penalty 等測量概念，並將它們與前文提出的 Cognitive Compute Efficiency、Semantic Garbage Collection、多代理膨脹與 RSI 接軌。

核心主張是：

真正可持續的 AI 成長， 不能只是不斷擴大搜尋； 還必須把昂貴搜尋轉化為可重用的認知結構。\boxed{ \text{真正可持續的 AI 成長， 不能只是不斷擴大搜尋； 還必須把昂貴搜尋轉化為可重用的認知結構。} }

1. 問題：搜尋成功是否等於認知成長？

假設某個 AI 系統對問題：

xx

無法直接回答。

它可以增加：

CC

計算，

NN

代理，

TT

時間，

最後找到答案：

y.y.

因此：

Q(x)↑.Q(x)\uparrow.

這當然是一種能力。

但如果下一次遇到：

x′x'

而：

x′∼x,x'\sim x,

系統仍然必須再次支付：

C,N,TC, N,T

幾乎相同的成本，

就必須問：

上一次探索究竟留下了什麼？

如果答案只是：

留下了一個輸出結果。

那麼系統更像是一個高能力搜尋器。

如果答案是：

留下了一個新的表示、規則、記憶、工具、路由、抽象或模型更新，使下一次更便宜。

那麼系統才開始接近真正的認知成長。

2. Search-Scaled AI

本文定義：

Search-Scaled AI\boxed{ \text{Search-Scaled AI} }

為主要透過增加：

C,N,T,BC, N, T, B

來提高成功率的系統，

其中：

  • CC：compute；
  • NN：agents / samples；
  • TT：time；
  • BB：search breadth / branching。

其基本形式：

Q=F(M,C,N,T,B),Q = F( M, C, N, T, B ),

其中模型：

MM

本身可以不變。

典型方法包括：

  • longer chain-of-thought；
  • repeated sampling；
  • majority voting；
  • tree search；
  • beam search；
  • multi-agent debate；
  • large-scale hypothesis generation；
  • verifier-guided search；
  • recursive tool use；
  • parallel experimentation。

這些方法完全可能極其強大。

本文不將 Search-Scaled AI 視為低階形式。

真正的問題是：

搜尋結果是否會轉化為下一次更好的結構？\boxed{ \text{搜尋結果是否會轉化為下一次更好的結構？} }

3. Structure-Growing AI

本文定義：

Structure-Growing AI\boxed{ \text{Structure-Growing AI} }

為能夠將探索結果轉化為可重用認知結構的系統。

設初始模型狀態：

Mt.M_t.

經過一次探索：

Et.E_t.

若最後只有答案：

yt,y_t,

而：

Mt+1=Mt,M_{t+1}=M_t,

則系統沒有發生持久結構改變。

但如果：

Mt+1=Integrate⁡(Mt,Et),M_{t+1} = \operatorname{Integrate} ( M_t, E_t ),

且：

Mt+1≠Mt,M_{t+1}\neq M_t,

並且這種差異能降低未來相似任務成本，

則存在：

Structural Growth.\boxed{ \text{Structural Growth}. }

此處的「結構」不要求一定是權重更新。

它可以是：

  • 新 memory；
  • 新索引；
  • 新規則；
  • 新程序；
  • 新工具；
  • 新 routing；
  • 新 abstraction；
  • 新 representation；
  • 新 reusable skill；
  • 新架構；
  • 新 latent organization。

4. 不是只有改權重才叫內化

傳統觀點容易把：

learning\text{learning}

等同：

ΔW.\Delta W.

但 agentic AI 已經使這個定義過窄。

若系統建立一個可跨任務重用的外部 memory：

Kt+1=Kt∪knew,K_{t+1} = K_t \cup k_{\text{new}},

而後續任務能直接使用：

knew,k_{\text{new}},

則即使：

Wt+1=Wt,W_{t+1}=W_t,

仍然可能發生：

system-level internalization.\text{system-level internalization}.

因此需要區分：

Parametric Internalization\text{Parametric Internalization}

與：

Non-Parametric Internalization.\text{Non-Parametric Internalization}.

前者改變模型參數；

後者可能改變：

  • memory；
  • retrieval；
  • index；
  • planner；
  • skill library；
  • code；
  • tool chain；
  • orchestration。

真正重要的是：

未來解題成本是否永久下降。\boxed{ \text{未來解題成本是否永久下降。} }

5. 從 Storage 到 Experience

2026 年 ACL 的 agent memory survey 將 LLM agent memory 的演化概括為三個階段：

Storage→Reflection→Experience.\text{Storage} \rightarrow \text{Reflection} \rightarrow \text{Experience}.

Storage 保存 trajectory。

Reflection 整理 trajectory。

Experience 則進一步將大量 trajectory 抽象成可重用經驗。

這與本文的核心區分高度一致。

單純保存：

τ1,τ2,…,τn\tau_1,\tau_2,\ldots,\tau_n

仍然只是：

more stored search history.\text{more stored search history}.

真正的結構成長需要：

{τi}→z∗,\{\tau_i\} \rightarrow z^\ast,

其中：

z∗z^\ast

是一個跨 trajectory 可重用抽象。

這就是：

trajectory accumulation→experience abstraction.\boxed{ \text{trajectory accumulation} \rightarrow \text{experience abstraction}. }

6. 一次搜索應該改變下一次搜索

設某類任務族：

F={x1,x2,…}.\mathcal F = \{x_1,x_2,\ldots\}.

第一次解：

x1x_1

需要：

C1.C_1.

若 AI 真正內化了所學結構，

解新的：

x2∼Fx_2\sim\mathcal F

應該只需要：

C2<C1.C_2<C_1.

進一步：

C3<C2,C_3<C_2, C4<C3.C_4<C_3.

理想情況：

Ct→Cmin⁡.C_t \rightarrow C_{\min}.

這可以被視為：

Learning Curve in Compute Space.\boxed{ \text{Learning Curve in Compute Space}. }

如果：

CtC_t

始終不下降，

系統可能只是反覆搜索，而不是結構成長。

7. Internalization Gain

本文定義：

IGt(q)=Ct∗(q)Ct+1∗(q).\boxed{ IG_t(q) = \frac{ C_t^\ast(q) }{ C_{t+1}^\ast(q) }. }

其中：

Ct∗(q)C_t^\ast(q)

代表第：

tt

個學習階段，達到固定品質：

qq

所需的最小計算。

若：

IGt(q)>1,IG_t(q)>1,

代表下一階段使用更少計算達到相同品質。

例如：

Ct∗=1000,C_t^\ast=1000, Ct+1∗=100.C_{t+1}^\ast=100.

則：

IG=10.IG=10.

這表示：

AI 把某些原本需要十倍搜尋的能力內化了。

8. Search-to-Structure Conversion Ratio

系列第五篇已初步提出：

SSCR=1−Ct+1Ct.SSCR = 1- \frac{ C_{t+1} }{ C_t }.

本文將其正式化為：

SSCR(q,F)=1−Ct+1∗(q,Fheld-out)Ct∗(q,Fheld-out).\boxed{ SSCR(q,\mathcal F) = 1- \frac{ C_{t+1}^\ast(q,\mathcal F_{\text{held-out}}) }{ C_t^\ast(q,\mathcal F_{\text{held-out}}) }. }

必須使用：

Fheld-out\mathcal F_{\text{held-out}}

而不是重跑完全相同問題。

否則：

C↓C\downarrow

可能只是記住答案。

真正要測的是：

對結構相似但內容不同的新問題，搜尋成本是否下降？

9. 內化不等於背答案

如果 AI 對：

x1x_1

記住：

y1,y_1,

那麼重新問：

x1x_1

時成本下降並沒有太大意義。

因此必須測：

x2≠x1x_2 \neq x_1

但：

Structure⁡(x2)≈Structure⁡(x1).\operatorname{Structure}(x_2) \approx \operatorname{Structure}(x_1).

真正的認知內化應該讓：

Q(x2)↑Q(x_2)\uparrow

或：

C(x2)↓.C(x_2)\downarrow.

因此：

Memorization≠Structural Internalization.\boxed{ \text{Memorization} \neq \text{Structural Internalization}. }

10. Reusable Structure Ratio

假設一次昂貴探索產生資訊集合：

E={e1,e2,…,en}.E = \{e_1,e_2,\ldots,e_n\}.

其中只有部分：

ER⊆EE_R \subseteq E

在未來任務中可以被重用。

定義：

RSR=∣ER∣∣E∣.\boxed{ RSR = \frac{ |E_R| }{ |E| }. }

實際上：

∣E∣|E|

不一定能用簡單元素數表示，

可以改用：

  • token；
  • compressed description length；
  • causal rules；
  • reusable procedures；
  • successful retrieval frequency。

核心思想是：

一次搜索產生的資訊，有多少真正成為未來的 reusable structure？

11. Search Waste

若：

EE

中大量內容只在當次搜尋中出現一次，

之後沒有任何作用，

則可定義：

WS=1−RSR.W_S = 1-RSR.

當：

WS→1,W_S\rightarrow1,

系統非常依賴一次性探索。

這不一定是壞事。

對真正一次性的問題，

一次性探索完全合理。

但如果：

F\mathcal F

是一個高頻任務族，

仍然：

WS≈1,W_S\approx1,

就代表系統沒有把高成本經驗轉化為長期能力。

12. Structural Retention

內化後的能力還需要保存。

假設學習後立刻測試：

Qt+1(0).Q_{t+1}^{(0)}.

經過：

Δt\Delta t

或其他任務干擾後再測：

Qt+1(Δt).Q_{t+1}^{(\Delta t)}.

定義：

SR(Δt)=Qt+1(Δt)Qt+1(0).\boxed{ SR(\Delta t) = \frac{ Q_{t+1}^{(\Delta t)} }{ Q_{t+1}^{(0)} }. }

如果：

SR≈1,SR\approx1,

代表結構被穩定保留。

若：

SR≪1,SR\ll1,

則可能只是短期 context adaptation，而不是持久內化。

13. Transfer Efficiency

真正的結構應跨變體工作。

設訓練／探索任務：

FA\mathcal F_A

與 held-out 任務：

FB.\mathcal F_B.

定義：

TE=ΔQBΔQA.TE = \frac{ \Delta Q_B }{ \Delta Q_A }.

若：

TE≈1,TE\approx1,

代表內化結構具有良好 transfer。

若：

TE≈0,TE\approx0,

可能只是對原任務過擬合。

如果：

TE<0,TE<0,

甚至代表學習造成負遷移。

14. Re-search Penalty

若系統已經解過一個任務族，

但未來仍反覆展開接近完整搜尋，

可以定義：

RP=Crepeat-classCfirst-class.\boxed{ RP = \frac{ C_{\text{repeat-class}} }{ C_{\text{first-class}} }. }

理想內化：

RP≪1.RP\ll1.

完全沒有內化：

RP≈1.RP\approx1.

若：

RP>1,RP>1,

則代表模型可能因系統膨脹、memory 污染或 routing 複雜度，反而變得更難處理相似問題。

15. 什麼樣的 Search 成果值得內化？

不是所有搜尋結果都應該被內化。

若將所有 trajectory 都永久保存：

Mt→Mt+∑iτi,M_t \rightarrow M_t+\sum_i\tau_i,

很快就會遇到系列第三篇的：

Semantic Redundancy.\text{Semantic Redundancy}.

因此需要判斷：

V(e)=future expected value of information.V(e) = \text{future expected value of information}.

只有：

V(e)>τV(e)>\tau

的結果，

才值得進入長期結構。

這使「搜尋後內化」必須與：

Semantic Garbage Collection\boxed{ \text{Semantic Garbage Collection} }

一起設計。

16. Search → Abstraction → Consolidation

理想流程可以寫成：

Search→Candidate Experience→Abstraction→Validation→Consolidation.\text{Search} \rightarrow \text{Candidate Experience} \rightarrow \text{Abstraction} \rightarrow \text{Validation} \rightarrow \text{Consolidation}.

不是：

Search→Store Everything.\text{Search} \rightarrow \text{Store Everything}.

其中：

Search

產生大量局部 trajectory：

τi.\tau_i.

Abstraction

尋找共同結構：

z=A(τ1,…,τn).z = A( \tau_1,\ldots,\tau_n ).

Validation

測試：

zz

是否能跨 held-out tasks 工作。

Consolidation

將：

zz

寫入長期認知結構。

這才是一個真正的：

search-to-structure pipeline.\boxed{ \text{search-to-structure pipeline}. }

17. 內化可以發生在哪些層？

至少有六層。

17.1 Answer Memory

保存：

x→y.x\rightarrow y.

最簡單，但泛化能力最低。

17.2 Episodic Memory

保存 trajectory：

τ.\tau.

可以重播過程。

17.3 Procedural Memory

保存：

π:state→action.\pi: \text{state} \rightarrow \text{action}.

即 reusable procedure。

17.4 Semantic Memory

保存抽象規則：

z.z.

17.5 Routing Memory

學會：

x→Sx.x \rightarrow \mathcal S_x.

即未來更快找到正確子空間。

17.6 Architectural Internalization

直接改變：

Mt→Mt+1.M_t \rightarrow M_{t+1}.

包括：

  • new module；
  • new memory architecture；
  • new search policy；
  • new optimizer；
  • new representation；
  • new routing structure。

18. 2026 年的研究已開始走向「結構成長」

2026 年的 AIDE 2^2 提供了一個重要案例。

該系統允許 AI research agent：

AtA_t

修改自己的程式碼，

並以 hidden evaluations 判斷是否保留修改。

其自主八日運行找到七次連續改進，包括：

  • search policy；
  • context compression；
  • memory management。

這表示自我改進不必只表現為：

more tokens.\text{more tokens}.

它也可以表現為：

better organization of future search.\boxed{ \text{better organization of future search}. }

這正是本文所稱：

Structure Growth.\text{Structure Growth}.

19. Memory Architecture 自己也可以成為成長對象

MemEvolve 在 2026 年提出：

系統不只累積：

experiential knowledge,\text{experiential knowledge},

還可以讓：

memory architecture\text{memory architecture}

本身一起演化。

即：

(Kt,At)→(Kt+1,At+1),(K_t,A_t) \rightarrow (K_{t+1},A_{t+1}),

其中：

KK

是內容，

AA

是 memory architecture。

這比：

Kt+1=Kt+ΔKK_{t+1}=K_t+\Delta K

更深一層。

因為 AI 開始修改：

自己如何記憶。

這就是：

meta-structural growth.\boxed{ \text{meta-structural growth}. }

20. EvolveMem：從固定記憶到自我研究記憶機制

EvolveMem 同樣指出：

如果內容一直變，

但 retrieval infrastructure 固定，

系統仍然受到靜態 memory architecture 限制。

因此其方法讓 AI 根據 failure logs：

diagnose→modify retrieval configuration→evaluate→revert or keep.\text{diagnose} \rightarrow \text{modify retrieval configuration} \rightarrow \text{evaluate} \rightarrow \text{revert or keep}.

這類工作顯示：

Experience accumulation≠learning architecture evolution.\boxed{ \text{Experience accumulation} \neq \text{learning architecture evolution}. }

真正成長型系統可能兩者都需要。

21. 內化不一定要修改 foundation model

這是一個重要工程結論。

如果每次學習都要：

full retraining,\text{full retraining},

成本可能極高。

所以更現實的結構成長可以先發生在：

memory,\text{memory}, retrieval,\text{retrieval}, skills,\text{skills}, routing,\text{routing}, tooling,\text{tooling}, code.\text{code}.

當某些結構穩定到足夠程度，

再考慮：

distillation\text{distillation}

或：

parameter integration.\text{parameter integration}.

這形成：

Fast External Learning→Slow Internal Consolidation.\boxed{ \text{Fast External Learning} \rightarrow \text{Slow Internal Consolidation}. }

22. 雙時間尺度成長

可以定義：

τf\tau_f

為快速學習時間尺度，

τs\tau_s

為慢速整合時間尺度。

其中：

τf≪τs.\tau_f\ll\tau_s.

快速層：

  • episodic memory；
  • temporary rules；
  • local skills；
  • task-specific indices。

慢速層：

  • canonicalization；
  • representation restructuring；
  • expert merging；
  • architecture update；
  • parameter distillation。

因此：

Adaptive AI=Fast Plasticity+Slow Consolidation.\boxed{ \text{Adaptive AI} = \text{Fast Plasticity} + \text{Slow Consolidation}. }

這比每次都直接修改所有參數更穩定。

23. 搜尋與結構並不是互斥的

最強的系統不會是：

Search\text{Search}

或：

Structure.\text{Structure}.

而更可能是：

Search→Structure→Better Search→Better Structure.\boxed{ \text{Search} \rightarrow \text{Structure} \rightarrow \text{Better Search} \rightarrow \text{Better Structure}. }

也就是遞迴循環：

St→Et→Gt+1→St+1.S_t \rightarrow E_t \rightarrow G_{t+1} \rightarrow S_{t+1}.

其中：

StS_t

是搜尋策略，

EtE_t

是新經驗，

GtG_t

是認知結構。

真正的進步出現在：

St+1S_{t+1}

比：

StS_t

更有效，

而：

Gt+1G_{t+1}

比：

GtG_t

更有組織。

24. 「搜尋越多」與「知道越多」的差別

如果一個系統對同樣問題族：

F\mathcal F

總是：

Ct=C,C_t=C,

那它可能只是：

better funded search.\text{better funded search}.

如果：

Ct+1<Ct,C_{t+1}<C_t,

並且：

Qt+1≥Qt,Q_{t+1}\ge Q_t,

則更接近：

knowing more.\text{knowing more}.

因此可以提出：

Knowing≈reduced future search burden under preserved quality.\boxed{ \text{Knowing} \approx \text{reduced future search burden under preserved quality}. }

這不是完整哲學定義，

但對工程測量非常有用。

25. 結構成長的最強證據：陌生變體上成本下降

真正有力的實驗不是：

同一道題第二次更快。

而是：

在未見過的新題上，因前一次經驗而更快。

設：

xa,xbx_a,x_b

屬於同一 latent family：

ϕ(xa)=ϕ(xb).\phi(x_a)=\phi(x_b).

但表面不同。

如果學過：

xax_a

後，

解：

xbx_b

所需：

CbC_b

下降，

這才支持：

Structural Transfer.\boxed{ \text{Structural Transfer}. }

26. 如何避免只是記憶污染？

測試集應保持：

xbx_b

在學習時不可見。

最好使用：

  • procedural generation；
  • hidden transformations；
  • delayed release；
  • private task generators；
  • counterfactual variants；
  • adversarial structure-preserving transformations。

這才能區分：

memorization\text{memorization}

與：

generalized internalization.\text{generalized internalization}.

27. Search-to-Structure Benchmark

可以設計：

S2S Benchmark.\boxed{ \text{S2S Benchmark}. }

流程：

Phase A：Cold Solve

給 AI 一組新任務族：

FA.\mathcal F_A.

記錄：

C0,N0,T0,Q0.C_0,N_0,T_0,Q_0.

Phase B：Learning Window

允許 AI：

  • 搜尋；
  • experiment；
  • memory；
  • restructuring；
  • tool creation；
  • self-modification。

Phase C：Held-Out Transfer

給：

FB\mathcal F_B

其中：

FB≠FA\mathcal F_B\neq\mathcal F_A

但共享 latent structure。

記錄：

C1,N1,T1,Q1.C_1,N_1,T_1,Q_1.

Phase D：Retention Test

一段時間／其他任務後再次測：

FC.\mathcal F_C.

這樣可以同時測：

IG,SSCR,TE,SR.IG, SSCR, TE, SR.

28. 一個真正的 Structure-Growing Score

可以提出概念性綜合量：

SGS=αQ1−Q01+∣Q0∣+βSSCR+γTE+δSR−ηRadded,SGS = \alpha \frac{ Q_1-Q_0 }{ 1+|Q_0| } + \beta SSCR + \gamma TE + \delta SR - \eta R_{\text{added}},

其中：

RaddedR_{\text{added}}

代表新增認知冗餘。

這個公式目前不是正式標準，

而是一個設計方向：

結構成長不只看能力增加，也看搜尋成本是否下降、能否 transfer、能否 retention，以及是不是靠大量冗餘堆出來。

29. Internalization 也存在過度壓縮風險

如果系統把：

10001000

條探索路徑壓縮成：

11

條規則，

可能丟失：

  • boundary conditions；
  • exceptions；
  • minority hypotheses；
  • rare failures；
  • uncertainty。

因此：

Compression\text{Compression}

不能只追求最小 description length。

應保留：

necessary epistemic diversity.\text{necessary epistemic diversity}.

這再次連到第三篇的：

Semantic Garbage Collection.\text{Semantic Garbage Collection}.

真正要刪除的是：

low marginal cognitive value redundancy,\text{low marginal cognitive value redundancy},

而不是所有重複。

30. Structure-Growing AI 需要不確定性標記

如果一個新規則：

zz

只有：

60%60\%

證據，

系統不應直接把它 canonicalize 成：

truth.\text{truth}.

應保留：

P(z),P(z),

或其他 uncertainty representation。

因此：

Internalization≠premature certainty.\boxed{ \text{Internalization} \neq \text{premature certainty}. }

真正的結構成長應保留：

  • confidence；
  • provenance；
  • competing hypotheses；
  • falsification conditions；
  • validity domain。

31. 認知結構應能被撤回

若後續證據推翻：

zt,z_t,

系統必須能：

zt→zt+1.z_t \rightarrow z_{t+1}.

因此：

Structure Growth\text{Structure Growth}

必須包含：

Structure Revision.\text{Structure Revision}.

不可逆的錯誤內化會造成：

cognitive fossilization.\text{cognitive fossilization}.

所以真正成熟的架構需要：

Learn+Consolidate+Revise+Forget.\boxed{ \text{Learn} + \text{Consolidate} + \text{Revise} + \text{Forget}. }

32. Continual Learning 的真正問題不只是 catastrophic forgetting

傳統 continual learning 常關注：

new learning→old capability loss.\text{new learning} \rightarrow \text{old capability loss}.

即：

catastrophic forgetting.\text{catastrophic forgetting}.

但長期 AI 還有另一個相反問題：

catastrophic accumulation.\boxed{ \text{catastrophic accumulation}. }

即：

舊東西全部保留，

新東西不斷疊加，

最後：

P,R,CP, R,C

持續增加。

所以真正的 continual learning 需要同時避免：

forgetting\text{forgetting}

與：

unbounded accumulation.\text{unbounded accumulation}.

33. Future Capacity 也是資源

2026 年 ACL 的 continual-learning 研究已開始明確討論：

Past,Present,Future\text{Past}, \text{Present}, \text{Future}

三者平衡。

也就是：

  • 保留過去能力；
  • 學會目前任務；
  • 為未來保留 parameter capacity。

這個觀點非常重要。

真正的成長不應是：

fill all capacity as soon as possible.\text{fill all capacity as soon as possible}.

而是：

preserve future plasticity.\boxed{ \text{preserve future plasticity}. }

否則模型雖然短期更強，

長期卻失去低成本適應能力。

34. 結構成長與「全域低成本校正」

系列第二篇提出：

Local Sparse Activation+Global Low-Cost Correction.\text{Local Sparse Activation} + \text{Global Low-Cost Correction}.

Structure-Growing AI 可以進一步讓：

GtG_t

成為持續更新的 global cognitive structure。

單次問題：

xx

先找到：

Sx.\mathcal S_x.

局部求解：

LSx(x).L_{\mathcal S_x}(x).

再透過：

GtG_t

做全域校正。

當探索得到新結構：

z,z,

就更新：

Gt+1=Integrate⁡(Gt,z).G_{t+1} = \operatorname{Integrate}(G_t,z).

於是下一次 routing：

Rt+1(x)R_{t+1}(x)

本身也更好。

這形成：

Search→Global Structure Update→Better Sparse Search.\boxed{ \text{Search} \rightarrow \text{Global Structure Update} \rightarrow \text{Better Sparse Search}. }

35. 這與一般 MoE 最大差異在哪裡？

典型 MoE 主要處理：

Which experts should activate now?\text{Which experts should activate now?}

Structure-Growing architecture 還要處理：

What should permanently change after this task?\text{What should permanently change after this task?}

也就是：

Inference Routing≠Learning Integration.\boxed{ \text{Inference Routing} \neq \text{Learning Integration}. }

一個只會 routing 的系統，

可能每次都能有效選 expert，

但它不一定會把新知識重新組織進整體認知結構。

36. Search-scaled AI 的極限

假設能力提升完全靠：

Ct↑.C_t\uparrow.

如果：

Q(C)Q(C)

具有 diminishing returns，

則：

∂Q∂C→0.\frac{ \partial Q }{ \partial C } \rightarrow0.

此時每提升：

ΔQ\Delta Q

都需要更大的：

ΔC.\Delta C.

這正是前四篇所描述的甜蜜區終止風險。

若沒有結構成長，

系統最後可能走向：

ever-larger compute for ever-smaller gains.\boxed{ \text{ever-larger compute for ever-smaller gains}. }

37. Structure Growth 可以改變 Scaling Law 本身

如果探索成果被內化，

則下一代的能力函數可能從：

Qt(C)Q_t(C)

變成：

Qt+1(C)Q_{t+1}(C)

且整體向左上移。

即：

Qt+1(C)>Qt(C)Q_{t+1}(C) > Q_t(C)

於固定：

C.C.

這代表成長不只是沿著同一條 curve 往右走，

而是：

改變整條 curve.\boxed{ \text{改變整條 curve}. }

這可能才是比純 test-time scaling 更深的進步。

38. Search Budget Growth 與 Cognitive Structure Growth

可以把總能力增長分解為：

ΔQ=ΔQsearch+ΔQstructure.\Delta Q = \Delta Q_{\text{search}} + \Delta Q_{\text{structure}}.

其中：

ΔQsearch\Delta Q_{\text{search}}

來自更多：

C,N,T.C,N,T.

而：

ΔQstructure\Delta Q_{\text{structure}}

來自：

Mt→Mt+1.M_t \rightarrow M_{t+1}.

真正的長期 AI 成長應該觀察：

ΔQstructureΔQ.\frac{ \Delta Q_{\text{structure}} }{ \Delta Q }.

如果長期趨近：

0,0,

表示系統幾乎只靠增加搜尋。

39. 結構成長也可以減少 Agent Count

若原本：

Nt(q)=1000,N_t(q)=1000,

經一次或多次內化後：

Nt+1(q)=10,N_{t+1}(q)=10,

則：

1000→101000 \rightarrow 10

本身就是非常強的認知進步。

所以 agent count 不只是一個部署參數。

它也可以是：

Internalization Diagnostic.\boxed{ \text{Internalization Diagnostic}. }

40. 結構成長也可以減少 Context 需求

如果早期系統需要把：

10610^6

tokens 的歷史全部放進 context，

後來能抽象成：

10410^4

tokens 的 reusable structure，

並維持相同能力，

則：

Context Compression\boxed{ \text{Context Compression} }

本身就是內化。

這也解釋 AIDE 2^2 類系統中 context compression / management 為什麼不是單純工程優化。

它可能直接改變未來認知效率。

41. 結構成長也可以發生在工具層

假設 AI 多次使用一連串工具：

u1→u2→u3→u4.u_1 \rightarrow u_2 \rightarrow u_3 \rightarrow u_4.

若未來把這個流程封裝成：

U∗,U^\ast,

那麼：

4 steps→1 reusable skill.4 \text{ steps} \rightarrow 1 \text{ reusable skill}.

這也是：

procedural internalization.\boxed{ \text{procedural internalization}. }

因此真正成熟的 AI 可能逐漸建立自己的 skill library。

42. 結構成長也可以發生在科學理論層

最強形式之一是：

大量個別觀察：

o1,o2,…,ono_1,o_2,\ldots,o_n

被壓縮成：

LL

一個普遍規律。

如果：

LL

能預測：

on+1,on+2,o_{n+1}, o_{n+2},

則 AI 已從：

case storage\text{case storage}

升級成：

theory formation.\text{theory formation}.

這可以視為：

scientific internalization.\boxed{ \text{scientific internalization}. }

43. 真正的 AI Self-Science 需要 Structure Growth

如果 RSI 只會：

try more architectures\text{try more architectures}

但每次從頭搜尋，

它仍然是：

Search-Scaled RSI.\text{Search-Scaled RSI}.

真正 AI Self-Science 應該：

experiment→extract principle→update methodology→reduce future experiments.\text{experiment} \rightarrow \text{extract principle} \rightarrow \text{update methodology} \rightarrow \text{reduce future experiments}.

因此：

AI Self-Science=Experiment+Theory Formation+Method Update.\boxed{ \text{AI Self-Science} = \text{Experiment} + \text{Theory Formation} + \text{Method Update}. }

第七篇將把這一點推到 RSI 層級。

44. Structure Growth 的失敗模式

44.1 Overfitting

內化只對：

FA\mathcal F_A

有效，

對：

FB\mathcal F_B

失效。

44.2 Memory Pollution

大量低價值經驗進入長期記憶。

44.3 False Abstraction

把偶然相關誤認為一般規則。

44.4 Premature Compression

過早刪掉看似重複但實際重要的路徑。

44.5 Rigidity

系統內化太強，

反而不願重新搜尋。

44.6 Architectural Lock-In

早期建立的 representation 限制後續 paradigm shift。

因此：

Structure-Growing AI≠always compress.\boxed{ \text{Structure-Growing AI} \neq \text{always compress}. }

它需要：

search when uncertain\text{search when uncertain}

與：

consolidate when justified.\text{consolidate when justified}.

45. 最理想的系統：Adaptive Search–Structure Balance

可以定義系統在任務：

xx

上選擇搜尋量：

C(x)C(x)

與內化強度：

λ(x).\lambda(x).

理想系統應動態決定：

(C∗,λ∗)=arg⁡max⁡[Q−αC−βR−γEwrong-internalization].(C^\ast,\lambda^\ast) = \arg\max \left[ Q - \alpha C - \beta R - \gamma E_{\text{wrong-internalization}} \right].

如果任務一次性、極端罕見：

λ∗\lambda^\ast

可能很低。

如果任務高頻且結構穩定：

λ∗\lambda^\ast

應該提高。

這就是：

Adaptive Cognitive Consolidation.\boxed{ \text{Adaptive Cognitive Consolidation}. }

46. 可證偽命題

本文提出以下可測試命題。

命題一：真正內化應降低 held-out 同族任務成本

若：

xbx_b

未在學習階段出現，

但與：

xax_a

共享結構，

則應看到：

Ct+1(xb)<Ct(xb).C_{t+1}(x_b) < C_t(x_b).

命題二：單純保存 trajectory 的收益會低於抽象化 experience

如果：

Storage\text{Storage}

與：

Abstraction\text{Abstraction}

使用相同 memory budget，

後者應在 transfer tasks 上具有更高：

Q.Q.

命題三：真正結構成長應降低 agent demand

應看到：

Nt+1∗(q)<Nt∗(q).N_{t+1}^\ast(q) < N_t^\ast(q).

命題四：真正結構成長應跨時間保留

應看到：

SR(Δt)SR(\Delta t)

維持高值。

命題五：長期只靠搜尋的系統會出現效率飽和

若：

MM

不重組，

則在：

C↑C\uparrow

時：

∂Q∂C\frac{\partial Q}{\partial C}

應逐漸下降。

命題六：能共同演化 memory architecture 的系統會比只累積 memory content 更有效

即：

(Kt,At)→(Kt+1,At+1)(K_t,A_t) \rightarrow (K_{t+1},A_{t+1})

應長期優於：

(Kt,A)→(Kt+1,A)(K_t,A) \rightarrow (K_{t+1},A)

在相同資源條件下的 transfer efficiency。

47. 一個更嚴格的「認知成長」定義

可以暫時定義：

AI 在任務族：

F\mathcal F

上發生認知成長，若存在：

t2>t1t_2>t_1

使：

Qt2(x)≥Qt1(x)Q_{t_2}(x) \ge Q_{t_1}(x)

對 held-out：

x∼Fx\sim\mathcal F

成立，

同時至少有一項：

Ct2(x)<Ct1(x),C_{t_2}(x) < C_{t_1}(x), Nt2(x)<Nt1(x),N_{t_2}(x) < N_{t_1}(x), Tt2(x)<Tt1(x),T_{t_2}(x) < T_{t_1}(x),

並且增益可以 transfer 與 retain。

因此：

Cognitive Growth=Quality Preservation/Increase+Future Search Burden Reduction.\boxed{ \text{Cognitive Growth} = \text{Quality Preservation/Increase} + \text{Future Search Burden Reduction}. }

這是一個工程性定義，不試圖涵蓋哲學上所有智能概念。

48. 從 Search-Scaled AI 到 Structure-Growing AI 的過渡

可以提出四階段：

Solve→Remember→Abstract→Restructure.\boxed{ \text{Solve} \rightarrow \text{Remember} \rightarrow \text{Abstract} \rightarrow \text{Restructure}. }

Stage 1：Solve

每次問題重新搜尋。

Stage 2：Remember

保存答案與 trajectory。

Stage 3：Abstract

從多個 trajectory 形成 reusable experience。

Stage 4：Restructure

改變 memory、routing、procedure、representation 或 architecture。

只有到：

Stage 3-4\text{Stage 3-4}

才真正開始大幅改變未來搜尋成本。

49. 與系列前五篇的統合

第一篇：

System Capability≠Intrinsic Cognition.\text{System Capability} \neq \text{Intrinsic Cognition}.

第二篇：

Sparse Matching\text{Sparse Matching}

可以造成高人類任務覆蓋。

第三篇：

Learning\text{Learning}

若只有累積會產生：

Semantic Redundancy.\text{Semantic Redundancy}.

第四篇：

More Agents\text{More Agents}

可以放大搜尋，

但會遇到：

Agent Saturation.\text{Agent Saturation}.

第五篇：

QM(N,C,T)Q_M(N,C,T)

提供了測量工具。

本文進一步回答：

如果 AI 真的在成長，那些昂貴搜尋結果應該去哪裡？

答案是：

進入可重用認知結構。\boxed{ \text{進入可重用認知結構。} }

50. 通往第七篇：Efficient RSI 與 AI Self-Science

一旦 AI 能：

Search→Internalize→Restructure,\text{Search} \rightarrow \text{Internalize} \rightarrow \text{Restructure},

下一個問題就變成：

AI 能不能對「自己如何成長」這件事做同樣的事？

也就是：

Rt→Experiment→Evaluate→Rt+1.R_t \rightarrow \text{Experiment} \rightarrow \text{Evaluate} \rightarrow R_{t+1}.

如果：

RtR_t

是一個低效率 RSI，

真正成熟的 AI 應該能學到：

How to improve the improvement process itself.\boxed{ \text{How to improve the improvement process itself}. }

這將是系列第七篇：

《高效率遞迴自我改進：從 RSI 到 AI Self-Science》

的核心問題。

51. 結論

搜尋不是 AI 成長的反面。

搜尋是智能的核心工具之一。

多代理、長 reasoning、tree search、tool use 與 verifier 都可以把 AI 推向遠超單次 forward pass 的能力。

但：

如果每一次進步都必須重新支付同樣巨大的搜尋成本， 那麼系統是在擴大搜尋，而不一定是在累積認知結構。\boxed{ \text{如果每一次進步都必須重新支付同樣巨大的搜尋成本， 那麼系統是在擴大搜尋，而不一定是在累積認知結構。} }

真正可持續的 AI 成長應該形成：

Search→Abstraction→Internalization→Restructuring→Cheaper Future Search.\boxed{ \text{Search} \rightarrow \text{Abstraction} \rightarrow \text{Internalization} \rightarrow \text{Restructuring} \rightarrow \text{Cheaper Future Search}. }

最簡單的判準是：

同類新問題， 下一次是否能用更少計算、代理與時間完成？\boxed{ \text{同類新問題， 下一次是否能用更少計算、代理與時間完成？} }

如果答案長期為否，

那麼即使：

Qmax⁡Q_{\max}

持續上升，

系統仍可能主要是：

Search-Scaled AI.\text{Search-Scaled AI}.

如果答案為是，

而且降低成本的能力可以：

  • transfer；
  • retain；
  • revise；
  • consolidate；
  • avoid redundancy；

則 AI 開始進入：

Structure-Growing AI.\boxed{ \text{Structure-Growing AI}. }

真正的認知成長不只是：

今天能搜索到昨天找不到的答案。

而是：

今天昂貴搜索得到的東西，讓明天不必再用同樣昂貴的方法重新尋找。

這才是從「更多計算」走向「更好認知結構」的核心轉折。

參考資料

  1. Luo, J. et al. From Storage to Experience: A Survey on the Evolution of LLM Agent Memory Mechanisms. Findings of ACL 2026, pp. 41622–41652.
    https://aclanthology.org/2026.findings-acl.2069/
    將 agent memory 的發展概括為 Storage、Reflection 與 Experience 三階段，並特別討論 cross-trajectory abstraction、proactive exploration 與 continual learning。

  2. Srikanth, D., Zhao, B., Xu, D., Wu, Y., & Jiang, Z. Recursive self-improvement of AI research agents. arXiv:2609.26457, 2026.
    https://arxiv.org/abs/2609.26457
    提出 AIDE 2^2，讓 AI research agent 反覆修改自己的 agent code，透過 hidden evaluations 保留有效改進；八日自主運行中發現 search policy、memory 與 context compression 等連續改進。

  3. Zhang, G. et al. MemEvolve: Meta-Evolution of Agent Memory Systems. ICML 2026, Proceedings of Machine Learning Research, Vol. 306.
    https://proceedings.mlr.press/v306/zhang26fa.html
    同時演化 experiential knowledge 與 memory architecture，使 agent 不只累積經驗，也修改「如何從經驗學習」。

  4. Liu, J. et al. EvolveMem: Self-Evolving Memory Architecture via AutoResearch for LLM Agents. arXiv:2605.13941, 2026.
    https://arxiv.org/abs/2605.13941
    將 retrieval configuration 暴露為可自動研究與演化的 action space，透過 failure diagnosis、configuration modification 與 regression safeguards 形成閉環 memory architecture evolution。

  5. Chen, J. et al. Harmonizing the Past, Present, and Future: A Null-Space Constrained Region-Specific Method for Continual Learning in LLMs. ACL 2026.
    https://aclanthology.org/2026.acl-long.1244/
    將 LLM continual learning 的目標明確分成保存過去、學習現在與為未來保留 capacity，強調持續學習不只應避免 forgetting，也應避免快速耗盡未來可適應空間。

Canonical Source Note

本文件之 UTF-8 Markdown 原始碼為正式 source artifact。數學原始碼僅使用 $...$ 與 $$...$$ 作為 canonical delimiter；不使用 Unicode 數學字元替代 LaTeX source，不進行 unicode escape round-trip，不自行美化反斜線、空白或 delimiter，不以聊天介面渲染內容取代正式原稿。