# 搜尋型 AI 與結構成長型 AI：何謂真正的認知內化 **系列：AI 認知成長與計算甜蜜區系列（6/7）** **英文題名：Search-Scaled AI vs. Structure-Growing AI: What Counts as Genuine Cognitive Internalization?** **版本：v0.1** **日期：2026-10-07** **語言：zh-TW** **作者：** Neo.K **機構：** EveMissLab／一言諾科技有限公司 --- ## 摘要 當代前沿 AI 可以透過更長推理、更大量 sampling、更高 test-time compute、多代理搜尋、外部記憶與工具使用，在沒有改變基礎模型權重的情況下顯著提高任務完成率。這使一個核心問題變得愈來愈重要： > 如果 AI 每次遇到相似問題，都重新支付大量搜尋成本，這應該被稱為「成長」嗎？ 本文區分兩種不同的 AI 能力增長模式： $$ \boxed{ \text{Search-Scaled AI} } $$ 與： $$ \boxed{ \text{Structure-Growing AI}. } $$ Search-Scaled AI 的基本形式為： $$ \text{unknown} \rightarrow \text{more search} \rightarrow \text{solution}. $$ 其能力增長主要來自更大的計算預算、更多代理、更長 reasoning horizon、更廣搜尋樹與更強 verifier。 Structure-Growing AI 則要求： $$ \text{unknown} \rightarrow \text{exploration} \rightarrow \text{abstraction} \rightarrow \text{internalization} \rightarrow \text{restructuring} \rightarrow \text{lower future search cost}. $$ 也就是：一次昂貴搜尋的成果，應該改變未來的認知結構，使同類問題不必重新支付相同成本。 本文將「認知內化」定義為一個可測量概念，而非直覺描述。若一個 AI 在經歷某類昂貴探索後，對結構相似但未見過的新問題，其所需計算、代理數、搜尋深度或錯誤率系統性下降，則可視為發生了 search-to-structure conversion。 本文進一步提出 Internalization Gain、Search-to-Structure Conversion Ratio、Reusable Structure Ratio、Structural Retention、Transfer Efficiency 與 Re-search Penalty 等測量概念，並將它們與前文提出的 Cognitive Compute Efficiency、Semantic Garbage Collection、多代理膨脹與 RSI 接軌。 核心主張是： $$ \boxed{ \text{真正可持續的 AI 成長， 不能只是不斷擴大搜尋； 還必須把昂貴搜尋轉化為可重用的認知結構。} } $$ --- # 1. 問題：搜尋成功是否等於認知成長？ 假設某個 AI 系統對問題： $$ x $$ 無法直接回答。 它可以增加： $$ C $$ 計算， $$ N $$ 代理， $$ T $$ 時間， 最後找到答案： $$ y. $$ 因此： $$ Q(x)\uparrow. $$ 這當然是一種能力。 但如果下一次遇到： $$ x' $$ 而： $$ x'\sim x, $$ 系統仍然必須再次支付： $$ C, N,T $$ 幾乎相同的成本， 就必須問： > 上一次探索究竟留下了什麼？ 如果答案只是： > 留下了一個輸出結果。 那麼系統更像是一個高能力搜尋器。 如果答案是： > 留下了一個新的表示、規則、記憶、工具、路由、抽象或模型更新，使下一次更便宜。 那麼系統才開始接近真正的認知成長。 --- # 2. Search-Scaled AI 本文定義： $$ \boxed{ \text{Search-Scaled AI} } $$ 為主要透過增加： $$ C, N, T, B $$ 來提高成功率的系統， 其中： - $C$：compute； - $N$：agents / samples； - $T$：time； - $B$：search breadth / branching。 其基本形式： $$ Q = F( M, C, N, T, B ), $$ 其中模型： $$ M $$ 本身可以不變。 典型方法包括： - longer chain-of-thought； - repeated sampling； - majority voting； - tree search； - beam search； - multi-agent debate； - large-scale hypothesis generation； - verifier-guided search； - recursive tool use； - parallel experimentation。 這些方法完全可能極其強大。 本文不將 Search-Scaled AI 視為低階形式。 真正的問題是： $$ \boxed{ \text{搜尋結果是否會轉化為下一次更好的結構？} } $$ --- # 3. Structure-Growing AI 本文定義： $$ \boxed{ \text{Structure-Growing AI} } $$ 為能夠將探索結果轉化為可重用認知結構的系統。 設初始模型狀態： $$ M_t. $$ 經過一次探索： $$ E_t. $$ 若最後只有答案： $$ y_t, $$ 而： $$ M_{t+1}=M_t, $$ 則系統沒有發生持久結構改變。 但如果： $$ M_{t+1} = \operatorname{Integrate} ( M_t, E_t ), $$ 且： $$ M_{t+1}\neq M_t, $$ 並且這種差異能降低未來相似任務成本， 則存在： $$ \boxed{ \text{Structural Growth}. } $$ 此處的「結構」不要求一定是權重更新。 它可以是： - 新 memory； - 新索引； - 新規則； - 新程序； - 新工具； - 新 routing； - 新 abstraction； - 新 representation； - 新 reusable skill； - 新架構； - 新 latent organization。 --- # 4. 不是只有改權重才叫內化 傳統觀點容易把： $$ \text{learning} $$ 等同： $$ \Delta W. $$ 但 agentic AI 已經使這個定義過窄。 若系統建立一個可跨任務重用的外部 memory： $$ K_{t+1} = K_t \cup k_{\text{new}}, $$ 而後續任務能直接使用： $$ k_{\text{new}}, $$ 則即使： $$ W_{t+1}=W_t, $$ 仍然可能發生： $$ \text{system-level internalization}. $$ 因此需要區分： $$ \text{Parametric Internalization} $$ 與： $$ \text{Non-Parametric Internalization}. $$ 前者改變模型參數； 後者可能改變： - memory； - retrieval； - index； - planner； - skill library； - code； - tool chain； - orchestration。 真正重要的是： $$ \boxed{ \text{未來解題成本是否永久下降。} } $$ --- # 5. 從 Storage 到 Experience 2026 年 ACL 的 agent memory survey 將 LLM agent memory 的演化概括為三個階段： $$ \text{Storage} \rightarrow \text{Reflection} \rightarrow \text{Experience}. $$ Storage 保存 trajectory。 Reflection 整理 trajectory。 Experience 則進一步將大量 trajectory 抽象成可重用經驗。 這與本文的核心區分高度一致。 單純保存： $$ \tau_1,\tau_2,\ldots,\tau_n $$ 仍然只是： $$ \text{more stored search history}. $$ 真正的結構成長需要： $$ \{\tau_i\} \rightarrow z^\ast, $$ 其中： $$ z^\ast $$ 是一個跨 trajectory 可重用抽象。 這就是： $$ \boxed{ \text{trajectory accumulation} \rightarrow \text{experience abstraction}. } $$ --- # 6. 一次搜索應該改變下一次搜索 設某類任務族： $$ \mathcal F = \{x_1,x_2,\ldots\}. $$ 第一次解： $$ x_1 $$ 需要： $$ C_1. $$ 若 AI 真正內化了所學結構， 解新的： $$ x_2\sim\mathcal F $$ 應該只需要： $$ C_21, $$ 代表下一階段使用更少計算達到相同品質。 例如： $$ C_t^\ast=1000, $$ $$ C_{t+1}^\ast=100. $$ 則： $$ IG=10. $$ 這表示： > AI 把某些原本需要十倍搜尋的能力內化了。 --- # 8. Search-to-Structure Conversion Ratio 系列第五篇已初步提出： $$ SSCR = 1- \frac{ C_{t+1} }{ C_t }. $$ 本文將其正式化為： $$ \boxed{ SSCR(q,\mathcal F) = 1- \frac{ C_{t+1}^\ast(q,\mathcal F_{\text{held-out}}) }{ C_t^\ast(q,\mathcal F_{\text{held-out}}) }. } $$ 必須使用： $$ \mathcal F_{\text{held-out}} $$ 而不是重跑完全相同問題。 否則： $$ C\downarrow $$ 可能只是記住答案。 真正要測的是： > 對結構相似但內容不同的新問題，搜尋成本是否下降？ --- # 9. 內化不等於背答案 如果 AI 對： $$ x_1 $$ 記住： $$ y_1, $$ 那麼重新問： $$ x_1 $$ 時成本下降並沒有太大意義。 因此必須測： $$ x_2 \neq x_1 $$ 但： $$ \operatorname{Structure}(x_2) \approx \operatorname{Structure}(x_1). $$ 真正的認知內化應該讓： $$ Q(x_2)\uparrow $$ 或： $$ C(x_2)\downarrow. $$ 因此： $$ \boxed{ \text{Memorization} \neq \text{Structural Internalization}. } $$ --- # 10. Reusable Structure Ratio 假設一次昂貴探索產生資訊集合： $$ E = \{e_1,e_2,\ldots,e_n\}. $$ 其中只有部分： $$ E_R \subseteq E $$ 在未來任務中可以被重用。 定義： $$ \boxed{ RSR = \frac{ |E_R| }{ |E| }. } $$ 實際上： $$ |E| $$ 不一定能用簡單元素數表示， 可以改用： - token； - compressed description length； - causal rules； - reusable procedures； - successful retrieval frequency。 核心思想是： > 一次搜索產生的資訊，有多少真正成為未來的 reusable structure？ --- # 11. Search Waste 若： $$ E $$ 中大量內容只在當次搜尋中出現一次， 之後沒有任何作用， 則可定義： $$ W_S = 1-RSR. $$ 當： $$ W_S\rightarrow1, $$ 系統非常依賴一次性探索。 這不一定是壞事。 對真正一次性的問題， 一次性探索完全合理。 但如果： $$ \mathcal F $$ 是一個高頻任務族， 仍然： $$ W_S\approx1, $$ 就代表系統沒有把高成本經驗轉化為長期能力。 --- # 12. Structural Retention 內化後的能力還需要保存。 假設學習後立刻測試： $$ Q_{t+1}^{(0)}. $$ 經過： $$ \Delta t $$ 或其他任務干擾後再測： $$ Q_{t+1}^{(\Delta t)}. $$ 定義： $$ \boxed{ SR(\Delta t) = \frac{ Q_{t+1}^{(\Delta t)} }{ Q_{t+1}^{(0)} }. } $$ 如果： $$ SR\approx1, $$ 代表結構被穩定保留。 若： $$ SR\ll1, $$ 則可能只是短期 context adaptation，而不是持久內化。 --- # 13. Transfer Efficiency 真正的結構應跨變體工作。 設訓練／探索任務： $$ \mathcal F_A $$ 與 held-out 任務： $$ \mathcal F_B. $$ 定義： $$ TE = \frac{ \Delta Q_B }{ \Delta Q_A }. $$ 若： $$ TE\approx1, $$ 代表內化結構具有良好 transfer。 若： $$ TE\approx0, $$ 可能只是對原任務過擬合。 如果： $$ TE<0, $$ 甚至代表學習造成負遷移。 --- # 14. Re-search Penalty 若系統已經解過一個任務族， 但未來仍反覆展開接近完整搜尋， 可以定義： $$ \boxed{ RP = \frac{ C_{\text{repeat-class}} }{ C_{\text{first-class}} }. } $$ 理想內化： $$ RP\ll1. $$ 完全沒有內化： $$ RP\approx1. $$ 若： $$ RP>1, $$ 則代表模型可能因系統膨脹、memory 污染或 routing 複雜度，反而變得更難處理相似問題。 --- # 15. 什麼樣的 Search 成果值得內化？ 不是所有搜尋結果都應該被內化。 若將所有 trajectory 都永久保存： $$ M_t \rightarrow M_t+\sum_i\tau_i, $$ 很快就會遇到系列第三篇的： $$ \text{Semantic Redundancy}. $$ 因此需要判斷： $$ V(e) = \text{future expected value of information}. $$ 只有： $$ V(e)>\tau $$ 的結果， 才值得進入長期結構。 這使「搜尋後內化」必須與： $$ \boxed{ \text{Semantic Garbage Collection} } $$ 一起設計。 --- # 16. Search → Abstraction → Consolidation 理想流程可以寫成： $$ \text{Search} \rightarrow \text{Candidate Experience} \rightarrow \text{Abstraction} \rightarrow \text{Validation} \rightarrow \text{Consolidation}. $$ 不是： $$ \text{Search} \rightarrow \text{Store Everything}. $$ 其中： ### Search 產生大量局部 trajectory： $$ \tau_i. $$ ### Abstraction 尋找共同結構： $$ z = A( \tau_1,\ldots,\tau_n ). $$ ### Validation 測試： $$ z $$ 是否能跨 held-out tasks 工作。 ### Consolidation 將： $$ z $$ 寫入長期認知結構。 這才是一個真正的： $$ \boxed{ \text{search-to-structure pipeline}. } $$ --- # 17. 內化可以發生在哪些層？ 至少有六層。 ## 17.1 Answer Memory 保存： $$ x\rightarrow y. $$ 最簡單，但泛化能力最低。 ## 17.2 Episodic Memory 保存 trajectory： $$ \tau. $$ 可以重播過程。 ## 17.3 Procedural Memory 保存： $$ \pi: \text{state} \rightarrow \text{action}. $$ 即 reusable procedure。 ## 17.4 Semantic Memory 保存抽象規則： $$ z. $$ ## 17.5 Routing Memory 學會： $$ x \rightarrow \mathcal S_x. $$ 即未來更快找到正確子空間。 ## 17.6 Architectural Internalization 直接改變： $$ M_t \rightarrow M_{t+1}. $$ 包括： - new module； - new memory architecture； - new search policy； - new optimizer； - new representation； - new routing structure。 --- # 18. 2026 年的研究已開始走向「結構成長」 2026 年的 AIDE $^2$ 提供了一個重要案例。 該系統允許 AI research agent： $$ A_t $$ 修改自己的程式碼， 並以 hidden evaluations 判斷是否保留修改。 其自主八日運行找到七次連續改進，包括： - search policy； - context compression； - memory management。 這表示自我改進不必只表現為： $$ \text{more tokens}. $$ 它也可以表現為： $$ \boxed{ \text{better organization of future search}. } $$ 這正是本文所稱： $$ \text{Structure Growth}. $$ --- # 19. Memory Architecture 自己也可以成為成長對象 MemEvolve 在 2026 年提出： 系統不只累積： $$ \text{experiential knowledge}, $$ 還可以讓： $$ \text{memory architecture} $$ 本身一起演化。 即： $$ (K_t,A_t) \rightarrow (K_{t+1},A_{t+1}), $$ 其中： $$ K $$ 是內容， $$ A $$ 是 memory architecture。 這比： $$ K_{t+1}=K_t+\Delta K $$ 更深一層。 因為 AI 開始修改： > 自己如何記憶。 這就是： $$ \boxed{ \text{meta-structural growth}. } $$ --- # 20. EvolveMem：從固定記憶到自我研究記憶機制 EvolveMem 同樣指出： 如果內容一直變， 但 retrieval infrastructure 固定， 系統仍然受到靜態 memory architecture 限制。 因此其方法讓 AI 根據 failure logs： $$ \text{diagnose} \rightarrow \text{modify retrieval configuration} \rightarrow \text{evaluate} \rightarrow \text{revert or keep}. $$ 這類工作顯示： $$ \boxed{ \text{Experience accumulation} \neq \text{learning architecture evolution}. } $$ 真正成長型系統可能兩者都需要。 --- # 21. 內化不一定要修改 foundation model 這是一個重要工程結論。 如果每次學習都要： $$ \text{full retraining}, $$ 成本可能極高。 所以更現實的結構成長可以先發生在： $$ \text{memory}, $$ $$ \text{retrieval}, $$ $$ \text{skills}, $$ $$ \text{routing}, $$ $$ \text{tooling}, $$ $$ \text{code}. $$ 當某些結構穩定到足夠程度， 再考慮： $$ \text{distillation} $$ 或： $$ \text{parameter integration}. $$ 這形成： $$ \boxed{ \text{Fast External Learning} \rightarrow \text{Slow Internal Consolidation}. } $$ --- # 22. 雙時間尺度成長 可以定義： $$ \tau_f $$ 為快速學習時間尺度， $$ \tau_s $$ 為慢速整合時間尺度。 其中： $$ \tau_f\ll\tau_s. $$ 快速層： - episodic memory； - temporary rules； - local skills； - task-specific indices。 慢速層： - canonicalization； - representation restructuring； - expert merging； - architecture update； - parameter distillation。 因此： $$ \boxed{ \text{Adaptive AI} = \text{Fast Plasticity} + \text{Slow Consolidation}. } $$ 這比每次都直接修改所有參數更穩定。 --- # 23. 搜尋與結構並不是互斥的 最強的系統不會是： $$ \text{Search} $$ 或： $$ \text{Structure}. $$ 而更可能是： $$ \boxed{ \text{Search} \rightarrow \text{Structure} \rightarrow \text{Better Search} \rightarrow \text{Better Structure}. } $$ 也就是遞迴循環： $$ S_t \rightarrow E_t \rightarrow G_{t+1} \rightarrow S_{t+1}. $$ 其中： $$ S_t $$ 是搜尋策略， $$ E_t $$ 是新經驗， $$ G_t $$ 是認知結構。 真正的進步出現在： $$ S_{t+1} $$ 比： $$ S_t $$ 更有效， 而： $$ G_{t+1} $$ 比： $$ G_t $$ 更有組織。 --- # 24. 「搜尋越多」與「知道越多」的差別 如果一個系統對同樣問題族： $$ \mathcal F $$ 總是： $$ C_t=C, $$ 那它可能只是： $$ \text{better funded search}. $$ 如果： $$ C_{t+1} 同一道題第二次更快。 而是： > 在未見過的新題上，因前一次經驗而更快。 設： $$ x_a,x_b $$ 屬於同一 latent family： $$ \phi(x_a)=\phi(x_b). $$ 但表面不同。 如果學過： $$ x_a $$ 後， 解： $$ x_b $$ 所需： $$ C_b $$ 下降， 這才支持： $$ \boxed{ \text{Structural Transfer}. } $$ --- # 26. 如何避免只是記憶污染？ 測試集應保持： $$ x_b $$ 在學習時不可見。 最好使用： - procedural generation； - hidden transformations； - delayed release； - private task generators； - counterfactual variants； - adversarial structure-preserving transformations。 這才能區分： $$ \text{memorization} $$ 與： $$ \text{generalized internalization}. $$ --- # 27. Search-to-Structure Benchmark 可以設計： $$ \boxed{ \text{S2S Benchmark}. } $$ 流程： ### Phase A：Cold Solve 給 AI 一組新任務族： $$ \mathcal F_A. $$ 記錄： $$ C_0,N_0,T_0,Q_0. $$ ### Phase B：Learning Window 允許 AI： - 搜尋； - experiment； - memory； - restructuring； - tool creation； - self-modification。 ### Phase C：Held-Out Transfer 給： $$ \mathcal F_B $$ 其中： $$ \mathcal F_B\neq\mathcal F_A $$ 但共享 latent structure。 記錄： $$ C_1,N_1,T_1,Q_1. $$ ### Phase D：Retention Test 一段時間／其他任務後再次測： $$ \mathcal F_C. $$ 這樣可以同時測： $$ IG, SSCR, TE, SR. $$ --- # 28. 一個真正的 Structure-Growing Score 可以提出概念性綜合量： $$ SGS = \alpha \frac{ Q_1-Q_0 }{ 1+|Q_0| } + \beta SSCR + \gamma TE + \delta SR - \eta R_{\text{added}}, $$ 其中： $$ R_{\text{added}} $$ 代表新增認知冗餘。 這個公式目前不是正式標準， 而是一個設計方向： > 結構成長不只看能力增加，也看搜尋成本是否下降、能否 transfer、能否 retention，以及是不是靠大量冗餘堆出來。 --- # 29. Internalization 也存在過度壓縮風險 如果系統把： $$ 1000 $$ 條探索路徑壓縮成： $$ 1 $$ 條規則， 可能丟失： - boundary conditions； - exceptions； - minority hypotheses； - rare failures； - uncertainty。 因此： $$ \text{Compression} $$ 不能只追求最小 description length。 應保留： $$ \text{necessary epistemic diversity}. $$ 這再次連到第三篇的： $$ \text{Semantic Garbage Collection}. $$ 真正要刪除的是： $$ \text{low marginal cognitive value redundancy}, $$ 而不是所有重複。 --- # 30. Structure-Growing AI 需要不確定性標記 如果一個新規則： $$ z $$ 只有： $$ 60\% $$ 證據， 系統不應直接把它 canonicalize 成： $$ \text{truth}. $$ 應保留： $$ P(z), $$ 或其他 uncertainty representation。 因此： $$ \boxed{ \text{Internalization} \neq \text{premature certainty}. } $$ 真正的結構成長應保留： - confidence； - provenance； - competing hypotheses； - falsification conditions； - validity domain。 --- # 31. 認知結構應能被撤回 若後續證據推翻： $$ z_t, $$ 系統必須能： $$ z_t \rightarrow z_{t+1}. $$ 因此： $$ \text{Structure Growth} $$ 必須包含： $$ \text{Structure Revision}. $$ 不可逆的錯誤內化會造成： $$ \text{cognitive fossilization}. $$ 所以真正成熟的架構需要： $$ \boxed{ \text{Learn} + \text{Consolidate} + \text{Revise} + \text{Forget}. } $$ --- # 32. Continual Learning 的真正問題不只是 catastrophic forgetting 傳統 continual learning 常關注： $$ \text{new learning} \rightarrow \text{old capability loss}. $$ 即： $$ \text{catastrophic forgetting}. $$ 但長期 AI 還有另一個相反問題： $$ \boxed{ \text{catastrophic accumulation}. } $$ 即： 舊東西全部保留， 新東西不斷疊加， 最後： $$ P, R,C $$ 持續增加。 所以真正的 continual learning 需要同時避免： $$ \text{forgetting} $$ 與： $$ \text{unbounded accumulation}. $$ --- # 33. Future Capacity 也是資源 2026 年 ACL 的 continual-learning 研究已開始明確討論： $$ \text{Past}, \text{Present}, \text{Future} $$ 三者平衡。 也就是： - 保留過去能力； - 學會目前任務； - 為未來保留 parameter capacity。 這個觀點非常重要。 真正的成長不應是： $$ \text{fill all capacity as soon as possible}. $$ 而是： $$ \boxed{ \text{preserve future plasticity}. } $$ 否則模型雖然短期更強， 長期卻失去低成本適應能力。 --- # 34. 結構成長與「全域低成本校正」 系列第二篇提出： $$ \text{Local Sparse Activation} + \text{Global Low-Cost Correction}. $$ Structure-Growing AI 可以進一步讓： $$ G_t $$ 成為持續更新的 global cognitive structure。 單次問題： $$ x $$ 先找到： $$ \mathcal S_x. $$ 局部求解： $$ L_{\mathcal S_x}(x). $$ 再透過： $$ G_t $$ 做全域校正。 當探索得到新結構： $$ z, $$ 就更新： $$ G_{t+1} = \operatorname{Integrate}(G_t,z). $$ 於是下一次 routing： $$ R_{t+1}(x) $$ 本身也更好。 這形成： $$ \boxed{ \text{Search} \rightarrow \text{Global Structure Update} \rightarrow \text{Better Sparse Search}. } $$ --- # 35. 這與一般 MoE 最大差異在哪裡？ 典型 MoE 主要處理： $$ \text{Which experts should activate now?} $$ Structure-Growing architecture 還要處理： $$ \text{What should permanently change after this task?} $$ 也就是： $$ \boxed{ \text{Inference Routing} \neq \text{Learning Integration}. } $$ 一個只會 routing 的系統， 可能每次都能有效選 expert， 但它不一定會把新知識重新組織進整體認知結構。 --- # 36. Search-scaled AI 的極限 假設能力提升完全靠： $$ C_t\uparrow. $$ 如果： $$ Q(C) $$ 具有 diminishing returns， 則： $$ \frac{ \partial Q }{ \partial C } \rightarrow0. $$ 此時每提升： $$ \Delta Q $$ 都需要更大的： $$ \Delta C. $$ 這正是前四篇所描述的甜蜜區終止風險。 若沒有結構成長， 系統最後可能走向： $$ \boxed{ \text{ever-larger compute for ever-smaller gains}. } $$ --- # 37. Structure Growth 可以改變 Scaling Law 本身 如果探索成果被內化， 則下一代的能力函數可能從： $$ Q_t(C) $$ 變成： $$ Q_{t+1}(C) $$ 且整體向左上移。 即： $$ Q_{t+1}(C) > Q_t(C) $$ 於固定： $$ C. $$ 這代表成長不只是沿著同一條 curve 往右走， 而是： $$ \boxed{ \text{改變整條 curve}. } $$ 這可能才是比純 test-time scaling 更深的進步。 --- # 38. Search Budget Growth 與 Cognitive Structure Growth 可以把總能力增長分解為： $$ \Delta Q = \Delta Q_{\text{search}} + \Delta Q_{\text{structure}}. $$ 其中： $$ \Delta Q_{\text{search}} $$ 來自更多： $$ C,N,T. $$ 而： $$ \Delta Q_{\text{structure}} $$ 來自： $$ M_t \rightarrow M_{t+1}. $$ 真正的長期 AI 成長應該觀察： $$ \frac{ \Delta Q_{\text{structure}} }{ \Delta Q }. $$ 如果長期趨近： $$ 0, $$ 表示系統幾乎只靠增加搜尋。 --- # 39. 結構成長也可以減少 Agent Count 若原本： $$ N_t(q)=1000, $$ 經一次或多次內化後： $$ N_{t+1}(q)=10, $$ 則： $$ 1000 \rightarrow 10 $$ 本身就是非常強的認知進步。 所以 agent count 不只是一個部署參數。 它也可以是： $$ \boxed{ \text{Internalization Diagnostic}. } $$ --- # 40. 結構成長也可以減少 Context 需求 如果早期系統需要把： $$ 10^6 $$ tokens 的歷史全部放進 context， 後來能抽象成： $$ 10^4 $$ tokens 的 reusable structure， 並維持相同能力， 則： $$ \boxed{ \text{Context Compression} } $$ 本身就是內化。 這也解釋 AIDE $^2$ 類系統中 context compression / management 為什麼不是單純工程優化。 它可能直接改變未來認知效率。 --- # 41. 結構成長也可以發生在工具層 假設 AI 多次使用一連串工具： $$ u_1 \rightarrow u_2 \rightarrow u_3 \rightarrow u_4. $$ 若未來把這個流程封裝成： $$ U^\ast, $$ 那麼： $$ 4 \text{ steps} \rightarrow 1 \text{ reusable skill}. $$ 這也是： $$ \boxed{ \text{procedural internalization}. } $$ 因此真正成熟的 AI 可能逐漸建立自己的 skill library。 --- # 42. 結構成長也可以發生在科學理論層 最強形式之一是： 大量個別觀察： $$ o_1,o_2,\ldots,o_n $$ 被壓縮成： $$ L $$ 一個普遍規律。 如果： $$ L $$ 能預測： $$ o_{n+1}, o_{n+2}, $$ 則 AI 已從： $$ \text{case storage} $$ 升級成： $$ \text{theory formation}. $$ 這可以視為： $$ \boxed{ \text{scientific internalization}. } $$ --- # 43. 真正的 AI Self-Science 需要 Structure Growth 如果 RSI 只會： $$ \text{try more architectures} $$ 但每次從頭搜尋， 它仍然是： $$ \text{Search-Scaled RSI}. $$ 真正 AI Self-Science 應該： $$ \text{experiment} \rightarrow \text{extract principle} \rightarrow \text{update methodology} \rightarrow \text{reduce future experiments}. $$ 因此： $$ \boxed{ \text{AI Self-Science} = \text{Experiment} + \text{Theory Formation} + \text{Method Update}. } $$ 第七篇將把這一點推到 RSI 層級。 --- # 44. Structure Growth 的失敗模式 ## 44.1 Overfitting 內化只對： $$ \mathcal F_A $$ 有效， 對： $$ \mathcal F_B $$ 失效。 ## 44.2 Memory Pollution 大量低價值經驗進入長期記憶。 ## 44.3 False Abstraction 把偶然相關誤認為一般規則。 ## 44.4 Premature Compression 過早刪掉看似重複但實際重要的路徑。 ## 44.5 Rigidity 系統內化太強， 反而不願重新搜尋。 ## 44.6 Architectural Lock-In 早期建立的 representation 限制後續 paradigm shift。 因此： $$ \boxed{ \text{Structure-Growing AI} \neq \text{always compress}. } $$ 它需要： $$ \text{search when uncertain} $$ 與： $$ \text{consolidate when justified}. $$ --- # 45. 最理想的系統：Adaptive Search–Structure Balance 可以定義系統在任務： $$ x $$ 上選擇搜尋量： $$ C(x) $$ 與內化強度： $$ \lambda(x). $$ 理想系統應動態決定： $$ (C^\ast,\lambda^\ast) = \arg\max \left[ Q - \alpha C - \beta R - \gamma E_{\text{wrong-internalization}} \right]. $$ 如果任務一次性、極端罕見： $$ \lambda^\ast $$ 可能很低。 如果任務高頻且結構穩定： $$ \lambda^\ast $$ 應該提高。 這就是： $$ \boxed{ \text{Adaptive Cognitive Consolidation}. } $$ --- # 46. 可證偽命題 本文提出以下可測試命題。 ## 命題一：真正內化應降低 held-out 同族任務成本 若： $$ x_b $$ 未在學習階段出現， 但與： $$ x_a $$ 共享結構， 則應看到： $$ C_{t+1}(x_b) < C_t(x_b). $$ --- ## 命題二：單純保存 trajectory 的收益會低於抽象化 experience 如果： $$ \text{Storage} $$ 與： $$ \text{Abstraction} $$ 使用相同 memory budget， 後者應在 transfer tasks 上具有更高： $$ Q. $$ --- ## 命題三：真正結構成長應降低 agent demand 應看到： $$ N_{t+1}^\ast(q) < N_t^\ast(q). $$ --- ## 命題四：真正結構成長應跨時間保留 應看到： $$ SR(\Delta t) $$ 維持高值。 --- ## 命題五：長期只靠搜尋的系統會出現效率飽和 若： $$ M $$ 不重組， 則在： $$ C\uparrow $$ 時： $$ \frac{\partial Q}{\partial C} $$ 應逐漸下降。 --- ## 命題六：能共同演化 memory architecture 的系統會比只累積 memory content 更有效 即： $$ (K_t,A_t) \rightarrow (K_{t+1},A_{t+1}) $$ 應長期優於： $$ (K_t,A) \rightarrow (K_{t+1},A) $$ 在相同資源條件下的 transfer efficiency。 --- # 47. 一個更嚴格的「認知成長」定義 可以暫時定義： AI 在任務族： $$ \mathcal F $$ 上發生認知成長，若存在： $$ t_2>t_1 $$ 使： $$ Q_{t_2}(x) \ge Q_{t_1}(x) $$ 對 held-out： $$ x\sim\mathcal F $$ 成立， 同時至少有一項： $$ C_{t_2}(x) < C_{t_1}(x), $$ $$ N_{t_2}(x) < N_{t_1}(x), $$ $$ T_{t_2}(x) < T_{t_1}(x), $$ 並且增益可以 transfer 與 retain。 因此： $$ \boxed{ \text{Cognitive Growth} = \text{Quality Preservation/Increase} + \text{Future Search Burden Reduction}. } $$ 這是一個工程性定義，不試圖涵蓋哲學上所有智能概念。 --- # 48. 從 Search-Scaled AI 到 Structure-Growing AI 的過渡 可以提出四階段： $$ \boxed{ \text{Solve} \rightarrow \text{Remember} \rightarrow \text{Abstract} \rightarrow \text{Restructure}. } $$ ### Stage 1：Solve 每次問題重新搜尋。 ### Stage 2：Remember 保存答案與 trajectory。 ### Stage 3：Abstract 從多個 trajectory 形成 reusable experience。 ### Stage 4：Restructure 改變 memory、routing、procedure、representation 或 architecture。 只有到： $$ \text{Stage 3-4} $$ 才真正開始大幅改變未來搜尋成本。 --- # 49. 與系列前五篇的統合 第一篇： $$ \text{System Capability} \neq \text{Intrinsic Cognition}. $$ 第二篇： $$ \text{Sparse Matching} $$ 可以造成高人類任務覆蓋。 第三篇： $$ \text{Learning} $$ 若只有累積會產生： $$ \text{Semantic Redundancy}. $$ 第四篇： $$ \text{More Agents} $$ 可以放大搜尋， 但會遇到： $$ \text{Agent Saturation}. $$ 第五篇： $$ Q_M(N,C,T) $$ 提供了測量工具。 本文進一步回答： > 如果 AI 真的在成長，那些昂貴搜尋結果應該去哪裡？ 答案是： $$ \boxed{ \text{進入可重用認知結構。} } $$ --- # 50. 通往第七篇：Efficient RSI 與 AI Self-Science 一旦 AI 能： $$ \text{Search} \rightarrow \text{Internalize} \rightarrow \text{Restructure}, $$ 下一個問題就變成： > AI 能不能對「自己如何成長」這件事做同樣的事？ 也就是： $$ R_t \rightarrow \text{Experiment} \rightarrow \text{Evaluate} \rightarrow R_{t+1}. $$ 如果： $$ R_t $$ 是一個低效率 RSI， 真正成熟的 AI 應該能學到： $$ \boxed{ \text{How to improve the improvement process itself}. } $$ 這將是系列第七篇： **《高效率遞迴自我改進：從 RSI 到 AI Self-Science》** 的核心問題。 --- # 51. 結論 搜尋不是 AI 成長的反面。 搜尋是智能的核心工具之一。 多代理、長 reasoning、tree search、tool use 與 verifier 都可以把 AI 推向遠超單次 forward pass 的能力。 但： $$ \boxed{ \text{如果每一次進步都必須重新支付同樣巨大的搜尋成本， 那麼系統是在擴大搜尋，而不一定是在累積認知結構。} } $$ 真正可持續的 AI 成長應該形成： $$ \boxed{ \text{Search} \rightarrow \text{Abstraction} \rightarrow \text{Internalization} \rightarrow \text{Restructuring} \rightarrow \text{Cheaper Future Search}. } $$ 最簡單的判準是： $$ \boxed{ \text{同類新問題， 下一次是否能用更少計算、代理與時間完成？} } $$ 如果答案長期為否， 那麼即使： $$ Q_{\max} $$ 持續上升， 系統仍可能主要是： $$ \text{Search-Scaled AI}. $$ 如果答案為是， 而且降低成本的能力可以： - transfer； - retain； - revise； - consolidate； - avoid redundancy； 則 AI 開始進入： $$ \boxed{ \text{Structure-Growing AI}. } $$ 真正的認知成長不只是： > 今天能搜索到昨天找不到的答案。 而是： > 今天昂貴搜索得到的東西，讓明天不必再用同樣昂貴的方法重新尋找。 這才是從「更多計算」走向「更好認知結構」的核心轉折。 --- # 參考資料 1. Luo, J. et al. **From Storage to Experience: A Survey on the Evolution of LLM Agent Memory Mechanisms.** Findings of ACL 2026, pp. 41622–41652. https://aclanthology.org/2026.findings-acl.2069/ 將 agent memory 的發展概括為 Storage、Reflection 與 Experience 三階段，並特別討論 cross-trajectory abstraction、proactive exploration 與 continual learning。 2. Srikanth, D., Zhao, B., Xu, D., Wu, Y., & Jiang, Z. **Recursive self-improvement of AI research agents.** arXiv:2609.26457, 2026. https://arxiv.org/abs/2609.26457 提出 AIDE $^2$，讓 AI research agent 反覆修改自己的 agent code，透過 hidden evaluations 保留有效改進；八日自主運行中發現 search policy、memory 與 context compression 等連續改進。 3. Zhang, G. et al. **MemEvolve: Meta-Evolution of Agent Memory Systems.** ICML 2026, Proceedings of Machine Learning Research, Vol. 306. https://proceedings.mlr.press/v306/zhang26fa.html 同時演化 experiential knowledge 與 memory architecture，使 agent 不只累積經驗，也修改「如何從經驗學習」。 4. Liu, J. et al. **EvolveMem: Self-Evolving Memory Architecture via AutoResearch for LLM Agents.** arXiv:2605.13941, 2026. https://arxiv.org/abs/2605.13941 將 retrieval configuration 暴露為可自動研究與演化的 action space，透過 failure diagnosis、configuration modification 與 regression safeguards 形成閉環 memory architecture evolution。 5. Chen, J. et al. **Harmonizing the Past, Present, and Future: A Null-Space Constrained Region-Specific Method for Continual Learning in LLMs.** ACL 2026. https://aclanthology.org/2026.acl-long.1244/ 將 LLM continual learning 的目標明確分成保存過去、學習現在與為未來保留 capacity，強調持續學習不只應避免 forgetting，也應避免快速耗盡未來可適應空間。 --- ## Canonical Source Note 本文件之 UTF-8 Markdown 原始碼為正式 source artifact。數學原始碼僅使用 ` $...$ ` 與 `$$...$$` 作為 canonical delimiter；不使用 Unicode 數學字元替代 LaTeX source，不進行 unicode escape round-trip，不自行美化反斜線、空白或 delimiter，不以聊天介面渲染內容取代正式原稿。