# 神經認知冗餘與語義垃圾回收：從參數重複到可持續認知重組 **系列：AI 認知成長與計算甜蜜區系列（3/7）** **英文題名：Neural Cognitive Redundancy and Semantic Garbage Collection: From Parameter Duplication to Sustainable Cognitive Restructuring** **版本：v0.1** **日期：2026-10-06** **語言：zh-TW** **作者：** Neo.K **機構：** EveMissLab／一言諾科技有限公司 --- ## 摘要 大型神經網路與 Mixture-of-Experts（MoE）架構可以透過增加參數、專家數量與條件計算容量，持續擴大模型可表示的能力空間。然而，「更多參數」並不必然等於「更多獨立認知內容」。不同權重、不同專家、不同層甚至不同語言下的表示，可能在功能上實現高度相似的映射；模型因此可能持續增加物理參數與記憶成本，卻沒有同比增加有效認知結構。 本文將這一問題稱為「神經認知冗餘」，並區分物理參數重複、功能冗餘、表示冗餘、語義冗餘、路徑冗餘與歷史學習冗餘。其核心形式不是： $$ W_i=W_j, $$ 而更常是： $$ W_i\neq W_j, \qquad f_i(x)\approx f_j(x). $$ 2026 年多項 MoE 壓縮與專家分析研究已直接觀察到 expert homogeneity、功能相似、通道級冗餘、主導頻譜重疊與跨專家梯度子空間對齊等現象。這表示「稀疏激活」雖能降低單次計算成本，卻不自動保證整體模型內部形成最大程度的互補表示。 本文進一步提出「Semantic Garbage Collection（語義垃圾回收）」作為長期 AI 架構問題：AI 不只需要學習新資訊，也需要能辨識哪些資訊已經存在、哪些只是重述、哪些可以合併、哪些必須保持多重假設、哪些舊表示已可被更高階結構取代，並在不破壞能力的前提下重新整理自身認知空間。 本文主張，若未來 AI 持續依賴參數擴張而缺乏認知層級的 canonicalization、deduplication、consolidation 與 restructuring，則 scaling 可能逐漸由能力增長主導轉為冗餘增長主導。這將使「稀疏能力甜蜜區」逐漸轉化為「Redundancy-Dominated Scaling」。 --- # 1. 問題：模型是否知道自己已經學過同一件事？ 傳統資料系統會主動處理重複。 資料庫具有： - normalization； - indexing； - deduplication； - unique constraints； - canonical keys。 編譯器具有： - common subexpression elimination； - constant folding； - dead-code elimination； - register allocation。 記憶體系統具有： - allocation； - compaction； - garbage collection。 檔案系統與分散式儲存也會處理： - duplicate blocks； - content-addressing； - compression； - reference sharing。 然而，大型神經網路的主要知識形成方式仍然是： $$ \text{data} \rightarrow \text{gradient updates} \rightarrow \text{distributed representations}. $$ 這種表示具有高度彈性，但它沒有天然保證： > 新學到的表示一定與舊表示在全域上去重。 所以一個關鍵問題出現： $$ \boxed{ \text{AI 是否知道自己已經用多少種不同方式學過同一件事？} } $$ 如果不知道，則持續學習可能形成大量： - 重複概念； - 近似映射； - 別名表示； - 重複推理路徑； - 重複 expert； - 重複局部模型。 此時模型的物理規模增加，不等於有效認知容量同比增加。 --- # 2. 物理參數量與有效語義容量 設模型總物理參數量為： $$ P_{\text{physical}}. $$ 設真正提供獨立、不可由其他部分低成本重建的有效認知容量為： $$ P_{\text{effective}}. $$ 則一般而言： $$ P_{\text{effective}} \le P_{\text{physical}}. $$ 如果模型內部冗餘很低： $$ P_{\text{effective}} \approx P_{\text{physical}}. $$ 若冗餘逐漸變大： $$ P_{\text{effective}} \ll P_{\text{physical}}. $$ 定義一個概念上的冗餘量： $$ R_P = P_{\text{physical}} - P_{\text{effective}}. $$ 以及有效認知密度： $$ \rho_C = \frac{ P_{\text{effective}} }{ P_{\text{physical}} }. $$ 如果 scaling 過程中： $$ P_{\text{physical}}\uparrow\uparrow $$ 但： $$ \rho_C\downarrow, $$ 那麼模型仍然可能變強，但每增加一單位物理容量所得到的有效新認知會下降。 這是本文所關心的第一個效率轉折。 --- # 3. 真正困難的重複不是相同權重 最容易處理的冗餘形式是： $$ W_i=W_j. $$ 如果兩段權重完全相同，傳統 compression、weight sharing 或 hash-based deduplication 都可能處理。 但大型神經模型更困難的情況是： $$ W_i\neq W_j, $$ 卻有： $$ f_{W_i}(x) \approx f_{W_j}(x) $$ 於某個重要輸入分布： $$ x\sim D. $$ 可以定義功能距離： $$ d_F(i,j) = \mathbb E_{x\sim D} \left[ \left\| f_i(x)-f_j(x) \right\| \right]. $$ 若： $$ d_F(i,j)\ll\epsilon, $$ 則即使： $$ \|W_i-W_j\| $$ 很大， 兩者仍可能在實際能力上高度重複。 這代表： $$ \boxed{ \text{Parameter Difference} \neq \text{Functional Difference}. } $$ 神經網路中的真正去重因此不能只比較權重。 --- # 4. 六種不同的神經認知冗餘 本文將冗餘至少分成六類。 --- ## 4.1 參數冗餘 不同參數對輸出貢獻極低，或可以被 pruning 而不顯著影響模型能力。 形式上： $$ \Delta Q \approx0 $$ 當： $$ \Delta P<0. $$ 這是傳統 pruning 最常處理的形式。 --- ## 4.2 功能冗餘 兩個子模型、expert 或通道具有高度相似功能： $$ f_i\approx f_j. $$ 即使它們的權重不同，保留兩者所帶來的新增能力仍然有限。 --- ## 4.3 表示冗餘 同一概念可能在不同 latent directions、不同 layer 或不同 context 中形成多個近似表示。 設概念： $$ z $$ 具有： $$ r_1(z),r_2(z),\ldots,r_k(z). $$ 若這些表示之間高度可互相預測： $$ I(r_i;r_j)\gg0, $$ 則可能存在大量重疊資訊。 --- ## 4.4 語義冗餘 不同表面形式實際指向同一或近似概念。 例如： $$ s_1\neq s_2 $$ 但： $$ \operatorname{Sem}(s_1) \approx \operatorname{Sem}(s_2). $$ 跨語言、同義詞、不同敘述方式、不同上下文中的同一規則，都可能形成這種重複。 --- ## 4.5 路徑冗餘 模型可能透過多條計算路徑得到近似相同答案： $$ \pi_1(x)\approx\pi_2(x)\approx\cdots\approx\pi_k(x). $$ 多路徑本身有價值，因為可以提高 robustness。 但若： $$ k $$ 持續增加而新增路徑幾乎沒有提供新的錯誤修正或資訊來源，就會形成 computation redundancy。 --- ## 4.6 歷史學習冗餘 模型在不同訓練階段、不同資料集或不同後訓練過程中，可能反覆重新學習近似同一能力。 即： $$ K_t \approx K_{t+1} \approx K_{t+2}, $$ 但每一次都透過新的 distributed weights 實現。 這種「歷史疊加」可能在 continual learning 與長期 RSI 中尤其重要。 --- # 5. MoE 並不天然等於 expert specialization MoE 的理想敘事通常是： $$ E_1,E_2,\ldots,E_N $$ 各自形成互補 specialization。 在理想狀況： $$ I(E_i;E_j) $$ 對非必要共享部分應該有限， 而： $$ \bigcup_i E_i $$ 提供比單一 dense block 更大的有效能力覆蓋。 然而，2026 年的多項研究已經顯示，實際 MoE 不一定自然形成最大程度的 expert differentiation。 C-PRUNE 的研究指出，同一 MoE layer 內可出現明顯的 expert homogeneity，且較深層的 experts 可能呈現更高功能相似性。 SD-MoE 更從頻譜角度觀察到： - experts 的主要參數頻譜成分高度重疊； - 不同 experts 的主要 gradient subspaces 高度對齊； - gating 也傾向沿這些主要方向路由。 這意味著： $$ N_{\text{experts}} \uparrow $$ 並不必然帶來： $$ N_{\text{independent capabilities}} \uparrow $$ 的同比增長。 --- # 6. 有效 expert 數與名義 expert 數 定義： $$ N_{\text{nominal}} $$ 為模型實際擁有的 expert 數。 再定義： $$ N_{\text{effective}} $$ 為在功能空間上真正提供足夠獨立能力的 expert 數。 理想情況： $$ N_{\text{effective}} \approx N_{\text{nominal}}. $$ 若大量 expert 高度重複： $$ N_{\text{effective}} \ll N_{\text{nominal}}. $$ 可以定義： $$ \rho_E = \frac{ N_{\text{effective}} }{ N_{\text{nominal}} }. $$ 其中： $$ \rho_E $$ 代表 expert differentiation density。 如果模型規模持續增加但： $$ \rho_E\downarrow, $$ 則增加 expert 數開始出現愈來愈明顯的遞減收益。 --- # 7. 2026 年的實證訊號：冗餘已不是純理論問題 目前已經存在多種不同尺度的實證訊號。 --- ## 7.1 Expert-level homogeneity C-PRUNE 將同 layer 中功能相似 experts 聚類後進行 pruning，其研究前提就是： $$ \text{intra-layer expert homogeneity} $$ 與： $$ \text{inter-layer similarity}. $$ 如果大量 experts 真正具有不可替代的獨立功能，這類方法便不應能在移除大量 experts 後仍保持合理能力。 --- ## 7.2 Channel-level redundancy ICML 2026 的 attribution-guided structural MoE compression 研究指出，即使被判定為重要的 expert，其資訊也可能高度集中在少量 channels 中。 因此： $$ \text{important expert} \not\Rightarrow \text{all channels are important}. $$ 冗餘不只存在於 expert 之間，也存在於 expert 內部。 --- ## 7.3 Spectral overlap SD-MoE 的結果則表示，不同 experts 的 dominant parameter components 與 gradient subspaces 可以高度重疊。 這比單純「輸出看起來像」更深入。 它表示訓練動力本身可能持續將不同 experts 拉向共享的主要低秩方向。 --- ## 7.4 高比例 pruning 仍保留大量能力 2026 年 OMP-MoE 等方法報告，在部分 MoE 模型上即使進行相當高比例的 expert pruning，仍能保留大部分原始表現。 這不代表被移除的所有參數「完全沒用」。 但它至少表示： $$ \boxed{ \text{總參數容量中存在可觀的可替代性。} } $$ 這正是本文所定義的認知冗餘的一個重要實驗信號。 --- # 8. 為什麼資料本身會促成重複表示？ 人類資料世界本身高度重複。 同一概念可能以： - 不同語言； - 不同文章； - 不同作者； - 不同例子； - 不同格式； - 不同難度； - 不同敘事角度； 出現數百萬次。 這種重複對學習初期非常重要。 因為它提供： $$ \text{robust statistical reinforcement}. $$ 但當模型已經充分掌握某個概念後，後續資料仍可能持續對類似表示方向施加梯度。 因此會存在一個可能的轉折： 早期： $$ \text{repetition} \rightarrow \text{learning stability}. $$ 後期： $$ \text{excessive repetition} \rightarrow \text{representational redundancy}. $$ 所以： $$ \boxed{ \text{重複不是錯誤； 無法辨識何時重複已失去新增資訊價值，才是問題。} } $$ --- # 9. 重複也具有必要功能 本文不是主張模型內部只准保存「一份」資訊。 完全去重可能反而破壞： - robustness； - error correction； - context sensitivity； - multilinguality； - alternative reasoning； - distributed fault tolerance； - ensemble effects。 例如同一概念： $$ z $$ 在多個表示路徑中存在： $$ r_1(z),r_2(z),r_3(z) $$ 可能具有不同 context sensitivity。 因此： $$ r_1\neq r_2\neq r_3 $$ 即使它們共享大量資訊，也不一定應被合併。 真正問題不是： $$ R=0. $$ 而是尋找： $$ R^\ast, $$ 使： $$ \text{robustness gain} - \text{redundancy cost} $$ 達到較佳平衡。 所以 Semantic Garbage Collection 不能等同暴力 pruning。 --- # 10. 從 pruning 到 semantic deduplication 現有 compression 方法多處理： $$ \text{weight importance}, $$ $$ \text{expert importance}, $$ $$ \text{channel importance}, $$ $$ \text{rank}, $$ $$ \text{activation frequency}. $$ 這些方法非常重要。 但本文所提出的更高階問題是： > 系統能否理解「這兩套表示其實在表達近似同一個知識結構」？ 也就是需要一個映射： $$ \Phi: \mathcal R \rightarrow \mathcal Z, $$ 其中： $$ \mathcal R $$ 是大量 distributed representations， 而： $$ \mathcal Z $$ 是較 canonical 的語義或結構空間。 若： $$ \Phi(r_i) \approx \Phi(r_j), $$ 系統才有可能判斷： $$ r_i,r_j $$ 是否屬於同一個可合併認知單元。 這比單純比較： $$ \|W_i-W_j\| $$ 困難得多。 --- # 11. Semantic Garbage Collection 本文定義： $$ \boxed{ \text{Semantic Garbage Collection} } $$ 為一種持續性的認知維護機制，其目的不是單純刪除低權重參數，而是： > 辨識、整理、合併、重編址、壓縮與淘汰已失去獨立認知價值的表示，同時保留必要的多樣性、可逆性與不確定性。 它至少包含以下操作。 --- ## 11.1 Semantic Identity Detection 判斷兩個表示： $$ r_i,r_j $$ 是否對應同一核心語義： $$ \operatorname{Sem}(r_i) \approx \operatorname{Sem}(r_j). $$ --- ## 11.2 Canonicalization 將多個等價表示映射到較穩定的 canonical state： $$ \{r_1,r_2,\ldots,r_k\} \rightarrow z^\ast. $$ --- ## 11.3 Alias Preservation 即使建立 canonical state，也不代表所有原始表示都消失。 可以保留： $$ a_i\rightarrow z^\ast $$ 作為 alias。 如此不同語言與 context 仍可快速存取同一核心結構。 --- ## 11.4 Contradiction Separation 兩個表面相似表示可能實際具有衝突： $$ z_1\not\equiv z_2. $$ 因此不能錯誤合併。 系統必須區分： $$ \text{duplicate} $$ 與： $$ \text{competing hypothesis}. $$ --- ## 11.5 Obsolete Representation Removal 如果： $$ z_{\text{new}} $$ 已能低成本重建： $$ z_{\text{old}}, $$ 且舊結構沒有額外功能， 則： $$ z_{\text{old}} $$ 可以被壓縮、降權或移除。 --- ## 11.6 Structural Re-indexing 當新知識形成後，舊有索引與路由也需要更新： $$ R_t \rightarrow R_{t+1}. $$ 否則即使資訊已被整理，router 仍可能沿著舊路徑重複計算。 --- # 12. 語義垃圾回收不是一次性壓縮 傳統 compression 往往是： $$ M \rightarrow \operatorname{Compress}(M) \rightarrow M'. $$ 這通常是一個離線事件。 但真正長期成長的 AI 可能需要： $$ M_t \rightarrow \text{learn} \rightarrow \text{consolidate} \rightarrow \text{deduplicate} \rightarrow \text{re-index} \rightarrow M_{t+1}. $$ 也就是： $$ \boxed{ \text{Learning} + \text{Cognitive Maintenance}. } $$ 這比較像生物睡眠中的記憶 consolidation、資料庫 maintenance 與 garbage collection 的混合概念，但不能簡單等同任何一者。 --- # 13. 何謂「垃圾」？ 在這裡，「垃圾」不是指錯誤知識。 它至少可能包括： ### 類型 A：完全可替代表示 $$ r_i \approx g(r_j) $$ 且保留： $$ r_i $$ 沒有額外價值。 --- ### 類型 B：高度重疊計算路徑 $$ \pi_i(x) \approx \pi_j(x) $$ 在主要任務分布下長期提供相同結果。 --- ### 類型 C：過時索引 資訊仍然正確，但其存取路徑已不再有效。 --- ### 類型 D：歷史性中間表示 某些結構只在訓練過渡期有用，但成熟模型已可由較高階結構重建。 --- ### 類型 E：低價值 duplicate 多份表示確實增加 robustness，但邊際 robustness 已近乎： $$ 0. $$ 所以真正的垃圾判準應該是： $$ \boxed{ \text{Marginal Cognitive Value} < \text{Marginal Storage + Compute Cost}. } $$ --- # 14. 認知冗餘的成本不只在儲存 若冗餘只增加硬碟大小，問題還相對簡單。 真正的成本包括： $$ C_R = C_{\text{memory}} + C_{\text{routing}} + C_{\text{activation}} + C_{\text{communication}} + C_{\text{verification}} + C_{\text{training}}. $$ 大量近似 experts 會讓： $$ C_{\text{routing}} $$ 增加。 重複表示會讓： $$ C_{\text{training}} $$ 反覆更新近似結構。 多條近似推理路徑會讓： $$ C_{\text{verification}} $$ 提高。 所以： $$ R\uparrow $$ 最終可能使： $$ \frac{\Delta Q}{\Delta C} \downarrow. $$ --- # 15. 從稀疏甜蜜區到冗餘主導 Scaling 系列第二篇提出： $$ \text{Sparse Capability Sweet Spot}. $$ 在早期： $$ P_{\text{total}}\uparrow $$ 帶來大量新能力， 同時： $$ P_{\text{active}}\ll P_{\text{total}}. $$ 因此： $$ \frac{\Delta Q}{\Delta C} $$ 很高。 但若持續 scaling 後： $$ R_P\uparrow, $$ $$ N_{\text{effective}}/N_{\text{nominal}}\downarrow, $$ $$ C_{\text{route}}\uparrow, $$ 則系統可能進入： $$ \boxed{ \text{Redundancy-Dominated Scaling}. } $$ 此時： $$ P_{\text{total}} $$ 仍快速增加， 但： $$ P_{\text{effective}} $$ 增長較慢。 因此： $$ \frac{ \Delta P_{\text{effective}} }{ \Delta P_{\text{physical}} } \rightarrow0. $$ 這將是神經 scaling 的一種結構性效率危機。 --- # 16. 「模型愈大愈強」與「模型愈大愈有效」不同 兩個命題必須分開： $$ P\uparrow \Rightarrow Q\uparrow $$ 可以成立。 但： $$ P\uparrow \Rightarrow \frac{Q}{C}\uparrow $$ 不一定成立。 甚至可能： $$ Q\uparrow $$ 同時： $$ \frac{Q}{C}\downarrow. $$ 這表示模型仍然變強， 但每一單位計算換來的能力下降。 因此未來 scaling 的真正問題可能從： > 能不能繼續變強？ 轉成： > 每次變強還需要付出多少新的冗餘成本？ --- # 17. Canonical Global State 的必要性 如果 AI 要真正進行長期認知重組，可能需要某種： $$ G_t $$ 表示當前的全域 canonical cognitive state。 它不一定是一個 symbolic database。 也不必要求所有神經表示都轉成離散符號。 其最低要求只是： > 系統存在某種可比較、可尋址、可重組的全域表示層，使新知識能判斷與既有知識之間的關係。 新資訊： $$ k_{\text{new}} $$ 進入後，不是直接： $$ G_t+k_{\text{new}}, $$ 而是： $$ G_{t+1} = \operatorname{Integrate} ( G_t, k_{\text{new}} ). $$ 其中： $$ \operatorname{Integrate} $$ 至少需要判斷： $$ \{ \text{novel}, \text{duplicate}, \text{extension}, \text{contradiction}, \text{replacement}, \text{alias} \}. $$ 這才是真正的知識成長，而不是無限疊加。 --- # 18. 局部稀疏計算與全域 canonical state 可以共存 一個重要誤解是： > 如果存在全域知識層，就代表每次都必須全域激活。 並非如此。 可以有： $$ G $$ 作為全域可尋址結構， 但單次任務只展開： $$ \mathcal S_x. $$ 因此： $$ x \rightarrow \operatorname{Address}(G,x) \rightarrow \mathcal S_x \rightarrow L_{\mathcal S_x}(x). $$ 之後再透過： $$ G_{\text{check}} $$ 做低成本一致性校正。 也就是： $$ \boxed{ \text{Globally Addressable} + \text{Locally Computed} + \text{Globally Correctable}. } $$ 這與系列第二篇的「局部激活 + 全域校正」形成直接接口。 --- # 19. Semantic Garbage Collection 的風險 這種機制如果做錯，也可能非常危險。 --- ## 19.1 False Merge 兩個不同概念被錯誤判斷成相同： $$ z_1\neq z_2 $$ 卻被： $$ \operatorname{Merge}(z_1,z_2). $$ 這會造成能力永久損失。 --- ## 19.2 Diversity Collapse 過度追求 compactness 可能刪除不同推理路徑： $$ \pi_1,\pi_2,\ldots $$ 使模型失去創造性與 robustness。 --- ## 19.3 Premature Canonicalization 某個領域尚未形成穩定理論時，過早選擇： $$ z^\ast $$ 可能把尚未解決的 competing hypotheses 強制收斂。 --- ## 19.4 Catastrophic Re-indexing 即使核心知識仍存在，如果 routing/indexing 更新失敗，模型也可能「知道但找不到」。 --- ## 19.5 Hidden Dependency Loss 某個看似冗餘的 representation 可能在罕見情況： $$ x\in D_{\text{tail}} $$ 具有關鍵作用。 因此垃圾回收必須考慮 long-tail tests。 --- # 20. 可逆式語義垃圾回收 因此早期 Semantic Garbage Collection 更合理的方向不是： $$ \text{delete immediately}, $$ 而是： $$ \text{compress} \rightarrow \text{alias} \rightarrow \text{archive} \rightarrow \text{verify} \rightarrow \text{eventual removal}. $$ 也就是： $$ \boxed{ \text{Reversible Consolidation First}. } $$ 可以定義： $$ z_{\text{active}}, z_{\text{compressed}}, z_{\text{archived}}. $$ 只有在長期驗證後才真正移除： $$ z_{\text{obsolete}}. $$ 這能降低錯誤合併造成不可逆能力損失的風險。 --- # 21. 如何測量 Semantic Redundancy？ 可以設計至少四種互補方法。 --- ## 21.1 Functional Substitution Test 移除： $$ E_i $$ 後，用： $$ E_j $$ 或其他組合替代。 若： $$ \Delta Q\approx0, $$ 則： $$ E_i $$ 具有高可替代性。 --- ## 21.2 Representation Reconstruction Test 測試： $$ r_i $$ 能否由其他表示低成本重建： $$ r_i \approx g(r_{-i}). $$ 若 reconstruction error 很低，表示： $$ r_i $$ 獨立資訊量有限。 --- ## 21.3 Counterfactual Activation Test 比較： $$ do(E_i=0) $$ 與： $$ do(E_j=0) $$ 對不同任務分布的影響。 這可以避免只看 activation frequency。 --- ## 21.4 Cross-Domain Necessity Test 某 expert 在一般資料中可能高度可替代， 但在： $$ D_{\text{rare}} $$ 不可替代。 因此測量必須包含： $$ D_{\text{common}} + D_{\text{long-tail}} + D_{\text{novel}}. $$ --- # 22. Cognitive Redundancy Ratio 可以提出一個初步指標： $$ CRR = 1- \frac{ K_{\text{effective}} }{ K_{\text{physical}} }. $$ 其中： $$ K_{\text{physical}} $$ 可由模型容量、expert 數或 representation dimension 的某種加權量近似， 而： $$ K_{\text{effective}} $$ 則透過 substitution、reconstruction 與 counterfactual tests 估計。 當： $$ CRR\rightarrow0, $$ 代表有效結構接近物理容量。 當： $$ CRR\rightarrow1, $$ 代表大量物理容量可以由其他結構替代。 這個指標目前仍是理論框架，真正實作需要更精確的 task-conditional 定義。 --- # 23. Marginal Cognitive Novelty 比總冗餘更重要的可能是新增參數的「邊際新穎性」。 定義： $$ MCN_t = \frac{ \Delta K_{\text{effective}} }{ \Delta P_{\text{physical}} }. $$ 早期 scaling： $$ MCN_t $$ 可能很高。 如果後期： $$ MCN_t\downarrow, $$ 表示新增參數越來越多只是重述既有能力。 這個量可以直接連接： $$ \frac{\Delta Q}{\Delta C}. $$ 如果兩者同步下降，就可能表示模型已開始進入 redundancy-dominated regime。 --- # 24. 與持續學習的關係 如果未來 AI 進入真正長期 continual learning： $$ M_0 \rightarrow M_1 \rightarrow M_2 \rightarrow \cdots, $$ 則 Semantic Garbage Collection 的重要性會比今天更高。 因為今天多數 frontier models 仍然具有相對清楚的： $$ \text{training} \rightarrow \text{deployment} $$ 週期。 但未來 RSI 或長期自主 AI 可能： $$ \text{learning} \approx \text{continuous}. $$ 此時若只有： $$ \text{acquisition} $$ 而沒有： $$ \text{consolidation}, $$ 模型規模與內部重複可能持續累積。 所以真正成熟的 continual learning 應該是： $$ \boxed{ \text{Learn} \rightarrow \text{Compare} \rightarrow \text{Consolidate} \rightarrow \text{Re-index} \rightarrow \text{Prune/Archive} \rightarrow \text{Continue Learning}. } $$ --- # 25. 與 RSI 的關係 如果未來 AI 能夠自行修改自身架構： $$ M_t \rightarrow M_{t+1}, $$ 則一個低效率 RSI 可能只會： $$ P_t0? $$ 以及： $$ \Delta R>0? $$ 以及： $$ \frac{\Delta Q}{\Delta C}>0? $$ 更理想地： $$ P_{t+1} $$ 甚至可能小於： $$ P_t $$ 但能力： $$ Q_{t+1}>Q_t. $$ 如果 AI 能透過重組使： $$ K_{\text{effective}}\uparrow $$ 同時： $$ P_{\text{physical}}\downarrow, $$ 這將比單純 scaling 更接近真正的認知架構進步。 --- # 26. 可證偽命題 本文提出以下可測量預測。 --- ## 預測一：expert 數增加不會等比例增加有效 expert 數 若： $$ N_{\text{nominal}}\uparrow, $$ 則： $$ N_{\text{effective}} $$ 應呈現次線性增長。 如果實驗發現： $$ N_{\text{effective}} \approx N_{\text{nominal}} $$ 長期成立， 則本文對 MoE redundancy 的強版本將被削弱。 --- ## 預測二：深層或大型 MoE 會出現更高功能重疊 可透過： $$ d_F(E_i,E_j) $$ 與 representation similarity 測量。 目前部分 2026 研究已提供初步支持。 --- ## 預測三：高比例結構 pruning 可在部分模型維持大部分能力 如果： $$ P'\ll P $$ 而： $$ Q(P')\approx Q(P), $$ 則表示原始模型具有顯著可替代容量。 --- ## 預測四：continual learning 若沒有 consolidation，邊際能力密度會下降 即： $$ MCN_t = \frac{ \Delta K_{\text{effective}} }{ \Delta P_{\text{physical}} } \downarrow. $$ --- ## 預測五：具有 semantic consolidation 的架構，長期能力—成本曲線應優於純參數累積 若加入： $$ \text{canonicalization} + \text{deduplication} + \text{re-indexing}, $$ 應看到： $$ C(q)\downarrow $$ 或： $$ Q(C)\uparrow. $$ 否則 Semantic Garbage Collection 的實際價值將受到質疑。 --- # 27. 本文不主張的事情 為避免過度延伸，本文不主張： 1. 所有大型神經模型目前已經被冗餘拖垮； 2. MoE 是錯誤架構； 3. 所有 expert 應該完全不同； 4. 神經表示應全部轉成符號； 5. 參數越少一定越聰明； 6. 重複資訊完全沒有價值； 7. 現有 pruning 等同完整 semantic deduplication。 本文真正主張的是： $$ \boxed{ \text{未來 AI 若要長期自我成長， 必須把「認知維護」提升到與「認知獲取」同等重要。} } $$ --- # 28. 與系列前兩篇的統合 第一篇提出： $$ \text{Observed Capability} \neq \text{Intrinsic Cognition}. $$ 第二篇提出： $$ \text{Global Capacity} + \text{Sparse Local Activation} $$ 可能產生： $$ \text{Sparse Capability Sweet Spot}. $$ 本文再加入： $$ \text{Physical Capacity} \neq \text{Effective Cognitive Capacity}. $$ 因此整個框架變成： $$ \boxed{ \begin{aligned} \text{Observed Capability} =&F( \text{Effective Cognition}, \text{Sparse Matching},\\ &\text{Compute}, \text{Agents}, \text{Tools} ),\\ \text{Effective Cognition} =&G( \text{Physical Capacity}, \text{Redundancy}, \text{Organization} ). \end{aligned} } $$ 這表示： 即使模型總容量不斷增加， 若： $$ \text{Redundancy}\uparrow $$ 而： $$ \text{Organization} $$ 沒有同步改善， 則有效能力增長可能逐漸低於物理 scaling。 --- # 29. 系列下一步 下一篇將從單模型內部冗餘，移向模型外部的計算組織： **《多智能體計算膨脹：從單一 AI 到百萬代理的效益極限》**。 核心問題將是： $$ N\uparrow \Rightarrow Q\uparrow? $$ 以及更重要的： $$ \frac{\Delta Q}{\Delta N}, \qquad \frac{\Delta Q}{\Delta C}. $$ 當一個模型內部存在認知冗餘，而外部又使用大量同質 agents 反覆搜尋時，內外兩層冗餘可能相乘。 因此下一篇將研究： $$ \boxed{ \text{Internal Redundancy} \times \text{Agentic Redundancy} } $$ 是否會成為下一階段 AI 計算成本快速膨脹的重要來源。 --- # 30. 結論 大型神經模型真正需要面對的長期問題，不只是： > 還能放進多少參數？ 而是： > 新加入的參數、expert、表示與路徑，到底有多少提供了真正不可替代的新認知？ 因此： $$ \boxed{ P_{\text{physical}} \neq P_{\text{effective}}. } $$ 而： $$ \boxed{ W_i\neq W_j \not\Rightarrow f_i\neq f_j. } $$ 如果未來模型持續學習卻無法理解自己內部的重複結構，則： $$ \text{Learning} $$ 可能逐漸變成： $$ \text{Accumulation}. $$ 真正可持續的 AI 認知成長應該具有： $$ \boxed{ \text{Acquisition} + \text{Canonicalization} + \text{Deduplication} + \text{Consolidation} + \text{Re-indexing} + \text{Selective Forgetting}. } $$ 本文將這整套能力概括為： $$ \boxed{ \text{Semantic Garbage Collection}. } $$ 它不是傳統意義上的垃圾清理，而是一種認知結構維護： > 保留必要的重複，消除失去新增價值的重複；保留真正不同的假設，合併只是不同表面的同一結構；讓 AI 不只會一直學新東西，也逐漸知道自己究竟已經知道了什麼。 如果這種能力無法形成，神經 scaling 的下一個瓶頸可能不只是算力不足，而是： $$ \boxed{ \text{模型本身的認知結構開始被自己的歷史累積拖慢。} } $$ --- # 參考資料 1. Yao, J. et al. **Domain-Specific Expert Pruning for Mixture-of-Experts LLMs.** Proceedings of Machine Learning Research, Vol. 317, 2026. 研究指出 MoE 中存在 intra-layer expert homogeneity 與 inter-layer similarity，並以功能聚類進行 expert pruning。 2. Huang, R. et al. **SD-MoE: Spectral Decomposition for Effective Expert Specialization.** ICML 2026, Proceedings of Machine Learning Research, Vol. 306. 研究觀察到不同 experts 的 dominant parameter spectral components 與 gradient subspaces 高度重疊，並指出 gating 可能進一步強化共享方向。 3. Ding, Y. et al. **Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression.** ICML 2026, Proceedings of Machine Learning Research, Vol. 306. 研究指出 MoE expert 內部資訊可能集中於少量 channels，即使高重要性 experts 仍包含顯著結構冗餘。 4. Chen, Z. et al. **SCHUR-A*: Layer-wise Optimal Expert Pruning for MoEs via Schur-Complement Guided A* Search.** ICML 2026, Proceedings of Machine Learning Research, Vol. 306. 將 MoE expert pruning 建模為 reconstruction-driven subset selection，處理 expert interdependency 與 redundancy。 5. Zhao, Y., Wang, Z., & Zhang, M. **PuzzleMoE: Efficient Compression of Large Mixture-of-Experts Models via Fine-Grained Expert Merging and Bit-packed Inference.** ICML 2026, Proceedings of Machine Learning Research, Vol. 306. 從細粒度權重冗餘與 specialization 出發進行 expert merging。 6. Xu, Y. et al. **CAMERA: Multi-Matrix Joint Compression for MoE Models via Micro-Expert Redundancy Analysis.** AAAI 2026. 以 micro-expert 作為更細粒度壓縮單元，直接研究 MoE 中的 micro-expert redundancy。 7. Li, D. et al. **OMP-MoE: Efficient Expert Pruning for Mixture-of-Experts LLMs via Orthogonal Matching Pursuit.** arXiv:2609.31631, 2026. 將 expert pruning 表述為 sparse signal reconstruction，並報告多個大型 MoE 模型在高比例 pruning 下仍能保留大量原始能力。 --- ## Canonical Source Note 本文件之 UTF-8 Markdown 原始碼為正式 source artifact。數學原始碼僅使用 ` $...$ ` 與 `$$...$$` 作為 canonical delimiter；不使用 Unicode 數學字元替代 LaTeX source，不進行 unicode escape round-trip，不以聊天渲染內容取代正式原稿。