神經認知冗餘與語義垃圾回收：從參數重複到可持續認知重組

系列：AI 認知成長與計算甜蜜區系列（3/7）
英文題名：Neural Cognitive Redundancy and Semantic Garbage Collection: From Parameter Duplication to Sustainable Cognitive Restructuring
版本：v0.1
日期：2026-10-06
語言：zh-TW

作者： Neo.K
機構： EveMissLab／一言諾科技有限公司

摘要

大型神經網路與 Mixture-of-Experts（MoE）架構可以透過增加參數、專家數量與條件計算容量，持續擴大模型可表示的能力空間。然而，「更多參數」並不必然等於「更多獨立認知內容」。不同權重、不同專家、不同層甚至不同語言下的表示，可能在功能上實現高度相似的映射；模型因此可能持續增加物理參數與記憶成本，卻沒有同比增加有效認知結構。

本文將這一問題稱為「神經認知冗餘」，並區分物理參數重複、功能冗餘、表示冗餘、語義冗餘、路徑冗餘與歷史學習冗餘。其核心形式不是：

W_i=W_j,

而更常是：

W_i\neq W_j, \qquad f_i(x)\approx f_j(x).

2026 年多項 MoE 壓縮與專家分析研究已直接觀察到 expert homogeneity、功能相似、通道級冗餘、主導頻譜重疊與跨專家梯度子空間對齊等現象。這表示「稀疏激活」雖能降低單次計算成本，卻不自動保證整體模型內部形成最大程度的互補表示。

本文進一步提出「Semantic Garbage Collection（語義垃圾回收）」作為長期 AI 架構問題：AI 不只需要學習新資訊，也需要能辨識哪些資訊已經存在、哪些只是重述、哪些可以合併、哪些必須保持多重假設、哪些舊表示已可被更高階結構取代，並在不破壞能力的前提下重新整理自身認知空間。

本文主張，若未來 AI 持續依賴參數擴張而缺乏認知層級的 canonicalization、deduplication、consolidation 與 restructuring，則 scaling 可能逐漸由能力增長主導轉為冗餘增長主導。這將使「稀疏能力甜蜜區」逐漸轉化為「Redundancy-Dominated Scaling」。

1. 問題：模型是否知道自己已經學過同一件事？

傳統資料系統會主動處理重複。

資料庫具有：

normalization；
indexing；
deduplication；
unique constraints；
canonical keys。

編譯器具有：

common subexpression elimination；
constant folding；
dead-code elimination；
register allocation。

記憶體系統具有：

allocation；
compaction；
garbage collection。

檔案系統與分散式儲存也會處理：

duplicate blocks；
content-addressing；
compression；
reference sharing。

然而，大型神經網路的主要知識形成方式仍然是：

\text{data} \rightarrow \text{gradient updates} \rightarrow \text{distributed representations}.

這種表示具有高度彈性，但它沒有天然保證：

新學到的表示一定與舊表示在全域上去重。

所以一個關鍵問題出現：

\boxed{ \text{AI 是否知道自己已經用多少種不同方式學過同一件事？} }

如果不知道，則持續學習可能形成大量：

重複概念；
近似映射；
別名表示；
重複推理路徑；
重複 expert；
重複局部模型。

此時模型的物理規模增加，不等於有效認知容量同比增加。

2. 物理參數量與有效語義容量

設模型總物理參數量為：

P_{\text{physical}}.

設真正提供獨立、不可由其他部分低成本重建的有效認知容量為：

P_{\text{effective}}.

則一般而言：

P_{\text{effective}} \le P_{\text{physical}}.

如果模型內部冗餘很低：

P_{\text{effective}} \approx P_{\text{physical}}.

若冗餘逐漸變大：

P_{\text{effective}} \ll P_{\text{physical}}.

定義一個概念上的冗餘量：

R_P = P_{\text{physical}} - P_{\text{effective}}.

以及有效認知密度：

\rho_C = \frac{ P_{\text{effective}} }{ P_{\text{physical}} }.

如果 scaling 過程中：

P_{\text{physical}}\uparrow\uparrow

但：

\rho_C\downarrow,

那麼模型仍然可能變強，但每增加一單位物理容量所得到的有效新認知會下降。

這是本文所關心的第一個效率轉折。

3. 真正困難的重複不是相同權重

最容易處理的冗餘形式是：

W_i=W_j.

如果兩段權重完全相同，傳統 compression、weight sharing 或 hash-based deduplication 都可能處理。

但大型神經模型更困難的情況是：

W_i\neq W_j,

卻有：

f_{W_i}(x) \approx f_{W_j}(x)

於某個重要輸入分布：

x\sim D.

可以定義功能距離：

d_F(i,j) = \mathbb E_{x\sim D} \left[ \left\| f_i(x)-f_j(x) \right\| \right].

若：

d_F(i,j)\ll\epsilon,

則即使：

\|W_i-W_j\|

很大，

兩者仍可能在實際能力上高度重複。

這代表：

\boxed{ \text{Parameter Difference} \neq \text{Functional Difference}. }

神經網路中的真正去重因此不能只比較權重。

4. 六種不同的神經認知冗餘

本文將冗餘至少分成六類。

4.1 參數冗餘

不同參數對輸出貢獻極低，或可以被 pruning 而不顯著影響模型能力。

形式上：

\Delta Q \approx0

當：

\Delta P<0.

這是傳統 pruning 最常處理的形式。

4.2 功能冗餘

兩個子模型、expert 或通道具有高度相似功能：

f_i\approx f_j.

即使它們的權重不同，保留兩者所帶來的新增能力仍然有限。

4.3 表示冗餘

同一概念可能在不同 latent directions、不同 layer 或不同 context 中形成多個近似表示。

設概念：

z

具有：

r_1(z),r_2(z),\ldots,r_k(z).

若這些表示之間高度可互相預測：

I(r_i;r_j)\gg0,

則可能存在大量重疊資訊。

4.4 語義冗餘

不同表面形式實際指向同一或近似概念。

例如：

s_1\neq s_2

但：

\operatorname{Sem}(s_1) \approx \operatorname{Sem}(s_2).

跨語言、同義詞、不同敘述方式、不同上下文中的同一規則，都可能形成這種重複。

4.5 路徑冗餘

模型可能透過多條計算路徑得到近似相同答案：

\pi_1(x)\approx\pi_2(x)\approx\cdots\approx\pi_k(x).

多路徑本身有價值，因為可以提高 robustness。

但若：

k

持續增加而新增路徑幾乎沒有提供新的錯誤修正或資訊來源，就會形成 computation redundancy。

4.6 歷史學習冗餘

模型在不同訓練階段、不同資料集或不同後訓練過程中，可能反覆重新學習近似同一能力。

即：

K_t \approx K_{t+1} \approx K_{t+2},

但每一次都透過新的 distributed weights 實現。

這種「歷史疊加」可能在 continual learning 與長期 RSI 中尤其重要。

5. MoE 並不天然等於 expert specialization

MoE 的理想敘事通常是：

E_1,E_2,\ldots,E_N

各自形成互補 specialization。

在理想狀況：

I(E_i;E_j)

對非必要共享部分應該有限，

而：

\bigcup_i E_i

提供比單一 dense block 更大的有效能力覆蓋。

然而，2026 年的多項研究已經顯示，實際 MoE 不一定自然形成最大程度的 expert differentiation。

C-PRUNE 的研究指出，同一 MoE layer 內可出現明顯的 expert homogeneity，且較深層的 experts 可能呈現更高功能相似性。

SD-MoE 更從頻譜角度觀察到：

experts 的主要參數頻譜成分高度重疊；
不同 experts 的主要 gradient subspaces 高度對齊；
gating 也傾向沿這些主要方向路由。

這意味著：

N_{\text{experts}} \uparrow

並不必然帶來：

N_{\text{independent capabilities}} \uparrow

的同比增長。

6. 有效 expert 數與名義 expert 數

定義：

N_{\text{nominal}}

為模型實際擁有的 expert 數。

再定義：

N_{\text{effective}}

為在功能空間上真正提供足夠獨立能力的 expert 數。

理想情況：

N_{\text{effective}} \approx N_{\text{nominal}}.

若大量 expert 高度重複：

N_{\text{effective}} \ll N_{\text{nominal}}.

可以定義：

\rho_E = \frac{ N_{\text{effective}} }{ N_{\text{nominal}} }.

其中：

\rho_E

代表 expert differentiation density。

如果模型規模持續增加但：

\rho_E\downarrow,

則增加 expert 數開始出現愈來愈明顯的遞減收益。

7. 2026 年的實證訊號：冗餘已不是純理論問題

目前已經存在多種不同尺度的實證訊號。

7.1 Expert-level homogeneity

C-PRUNE 將同 layer 中功能相似 experts 聚類後進行 pruning，其研究前提就是：

\text{intra-layer expert homogeneity}

與：

\text{inter-layer similarity}.

如果大量 experts 真正具有不可替代的獨立功能，這類方法便不應能在移除大量 experts 後仍保持合理能力。

7.2 Channel-level redundancy

ICML 2026 的 attribution-guided structural MoE compression 研究指出，即使被判定為重要的 expert，其資訊也可能高度集中在少量 channels 中。

因此：

\text{important expert} \not\Rightarrow \text{all channels are important}.

冗餘不只存在於 expert 之間，也存在於 expert 內部。

7.3 Spectral overlap

SD-MoE 的結果則表示，不同 experts 的 dominant parameter components 與 gradient subspaces 可以高度重疊。

這比單純「輸出看起來像」更深入。

它表示訓練動力本身可能持續將不同 experts 拉向共享的主要低秩方向。

7.4 高比例 pruning 仍保留大量能力

2026 年 OMP-MoE 等方法報告，在部分 MoE 模型上即使進行相當高比例的 expert pruning，仍能保留大部分原始表現。

這不代表被移除的所有參數「完全沒用」。

但它至少表示：

\boxed{ \text{總參數容量中存在可觀的可替代性。} }

這正是本文所定義的認知冗餘的一個重要實驗信號。

8. 為什麼資料本身會促成重複表示？

人類資料世界本身高度重複。

同一概念可能以：

不同語言；
不同文章；
不同作者；
不同例子；
不同格式；
不同難度；
不同敘事角度；

出現數百萬次。

這種重複對學習初期非常重要。

因為它提供：

\text{robust statistical reinforcement}.

但當模型已經充分掌握某個概念後，後續資料仍可能持續對類似表示方向施加梯度。

因此會存在一個可能的轉折：

早期：

\text{repetition} \rightarrow \text{learning stability}.

後期：

\text{excessive repetition} \rightarrow \text{representational redundancy}.

所以：

\boxed{ \text{重複不是錯誤； 無法辨識何時重複已失去新增資訊價值，才是問題。} }

9. 重複也具有必要功能

本文不是主張模型內部只准保存「一份」資訊。

完全去重可能反而破壞：

robustness；
error correction；
context sensitivity；
multilinguality；
alternative reasoning；
distributed fault tolerance；
ensemble effects。

例如同一概念：

z

在多個表示路徑中存在：

r_1(z),r_2(z),r_3(z)

可能具有不同 context sensitivity。

因此：

r_1\neq r_2\neq r_3

即使它們共享大量資訊，也不一定應被合併。

真正問題不是：

R=0.

而是尋找：

R^\ast,

使：

\text{robustness gain} - \text{redundancy cost}

達到較佳平衡。

所以 Semantic Garbage Collection 不能等同暴力 pruning。

10. 從 pruning 到 semantic deduplication

現有 compression 方法多處理：

\text{weight importance},

\text{expert importance},

\text{channel importance},

\text{rank},

\text{activation frequency}.

這些方法非常重要。

但本文所提出的更高階問題是：

系統能否理解「這兩套表示其實在表達近似同一個知識結構」？

也就是需要一個映射：

\Phi: \mathcal R \rightarrow \mathcal Z,

其中：

\mathcal R

是大量 distributed representations，

而：

\mathcal Z

是較 canonical 的語義或結構空間。

若：

\Phi(r_i) \approx \Phi(r_j),

系統才有可能判斷：

r_i,r_j

是否屬於同一個可合併認知單元。

這比單純比較：

\|W_i-W_j\|

困難得多。

11. Semantic Garbage Collection

本文定義：

\boxed{ \text{Semantic Garbage Collection} }

為一種持續性的認知維護機制，其目的不是單純刪除低權重參數，而是：

辨識、整理、合併、重編址、壓縮與淘汰已失去獨立認知價值的表示，同時保留必要的多樣性、可逆性與不確定性。

它至少包含以下操作。

11.1 Semantic Identity Detection

判斷兩個表示：

r_i,r_j

是否對應同一核心語義：

\operatorname{Sem}(r_i) \approx \operatorname{Sem}(r_j).

11.2 Canonicalization

將多個等價表示映射到較穩定的 canonical state：

\{r_1,r_2,\ldots,r_k\} \rightarrow z^\ast.

11.3 Alias Preservation

即使建立 canonical state，也不代表所有原始表示都消失。

可以保留：

a_i\rightarrow z^\ast

作為 alias。

如此不同語言與 context 仍可快速存取同一核心結構。

11.4 Contradiction Separation

兩個表面相似表示可能實際具有衝突：

z_1\not\equiv z_2.

因此不能錯誤合併。

系統必須區分：

\text{duplicate}

與：

\text{competing hypothesis}.

11.5 Obsolete Representation Removal

如果：

z_{\text{new}}

已能低成本重建：

z_{\text{old}},

且舊結構沒有額外功能，

則：

z_{\text{old}}

可以被壓縮、降權或移除。

11.6 Structural Re-indexing

當新知識形成後，舊有索引與路由也需要更新：

R_t \rightarrow R_{t+1}.

否則即使資訊已被整理，router 仍可能沿著舊路徑重複計算。

12. 語義垃圾回收不是一次性壓縮

傳統 compression 往往是：

M \rightarrow \operatorname{Compress}(M) \rightarrow M'.

這通常是一個離線事件。

但真正長期成長的 AI 可能需要：

M_t \rightarrow \text{learn} \rightarrow \text{consolidate} \rightarrow \text{deduplicate} \rightarrow \text{re-index} \rightarrow M_{t+1}.

也就是：

\boxed{ \text{Learning} + \text{Cognitive Maintenance}. }

這比較像生物睡眠中的記憶 consolidation、資料庫 maintenance 與 garbage collection 的混合概念，但不能簡單等同任何一者。

13. 何謂「垃圾」？

在這裡，「垃圾」不是指錯誤知識。

它至少可能包括：

類型 A：完全可替代表示

r_i \approx g(r_j)

且保留：

r_i

沒有額外價值。

類型 B：高度重疊計算路徑

\pi_i(x) \approx \pi_j(x)

在主要任務分布下長期提供相同結果。

類型 C：過時索引

資訊仍然正確，但其存取路徑已不再有效。

類型 D：歷史性中間表示

某些結構只在訓練過渡期有用，但成熟模型已可由較高階結構重建。

類型 E：低價值 duplicate

多份表示確實增加 robustness，但邊際 robustness 已近乎：

0.

所以真正的垃圾判準應該是：

\boxed{ \text{Marginal Cognitive Value} < \text{Marginal Storage + Compute Cost}. }

14. 認知冗餘的成本不只在儲存

若冗餘只增加硬碟大小，問題還相對簡單。

真正的成本包括：

C_R = C_{\text{memory}} + C_{\text{routing}} + C_{\text{activation}} + C_{\text{communication}} + C_{\text{verification}} + C_{\text{training}}.

大量近似 experts 會讓：

C_{\text{routing}}

增加。

重複表示會讓：

C_{\text{training}}

反覆更新近似結構。

多條近似推理路徑會讓：

C_{\text{verification}}

提高。

所以：

R\uparrow

最終可能使：

\frac{\Delta Q}{\Delta C} \downarrow.

15. 從稀疏甜蜜區到冗餘主導 Scaling

系列第二篇提出：

\text{Sparse Capability Sweet Spot}.

在早期：

P_{\text{total}}\uparrow

帶來大量新能力，

同時：

P_{\text{active}}\ll P_{\text{total}}.

因此：

\frac{\Delta Q}{\Delta C}

很高。

但若持續 scaling 後：

R_P\uparrow,

N_{\text{effective}}/N_{\text{nominal}}\downarrow,

C_{\text{route}}\uparrow,

則系統可能進入：

\boxed{ \text{Redundancy-Dominated Scaling}. }

此時：

P_{\text{total}}

仍快速增加，

但：

P_{\text{effective}}

增長較慢。

因此：

\frac{ \Delta P_{\text{effective}} }{ \Delta P_{\text{physical}} } \rightarrow0.

這將是神經 scaling 的一種結構性效率危機。

16. 「模型愈大愈強」與「模型愈大愈有效」不同

兩個命題必須分開：

P\uparrow \Rightarrow Q\uparrow

可以成立。

但：

P\uparrow \Rightarrow \frac{Q}{C}\uparrow

不一定成立。

甚至可能：

Q\uparrow

同時：

\frac{Q}{C}\downarrow.

這表示模型仍然變強，

但每一單位計算換來的能力下降。

因此未來 scaling 的真正問題可能從：

能不能繼續變強？

轉成：

每次變強還需要付出多少新的冗餘成本？

17. Canonical Global State 的必要性

如果 AI 要真正進行長期認知重組，可能需要某種：

G_t

表示當前的全域 canonical cognitive state。

它不一定是一個 symbolic database。

也不必要求所有神經表示都轉成離散符號。

其最低要求只是：

系統存在某種可比較、可尋址、可重組的全域表示層，使新知識能判斷與既有知識之間的關係。

新資訊：

k_{\text{new}}

進入後，不是直接：

G_t+k_{\text{new}},

而是：

G_{t+1} = \operatorname{Integrate} ( G_t, k_{\text{new}} ).

其中：

\operatorname{Integrate}

至少需要判斷：

\{ \text{novel}, \text{duplicate}, \text{extension}, \text{contradiction}, \text{replacement}, \text{alias} \}.

這才是真正的知識成長，而不是無限疊加。

18. 局部稀疏計算與全域 canonical state 可以共存

一個重要誤解是：

如果存在全域知識層，就代表每次都必須全域激活。

並非如此。

可以有：

G

作為全域可尋址結構，

但單次任務只展開：

\mathcal S_x.

因此：

x \rightarrow \operatorname{Address}(G,x) \rightarrow \mathcal S_x \rightarrow L_{\mathcal S_x}(x).

之後再透過：

G_{\text{check}}

做低成本一致性校正。

也就是：

\boxed{ \text{Globally Addressable} + \text{Locally Computed} + \text{Globally Correctable}. }

這與系列第二篇的「局部激活 + 全域校正」形成直接接口。

19. Semantic Garbage Collection 的風險

這種機制如果做錯，也可能非常危險。

19.1 False Merge

兩個不同概念被錯誤判斷成相同：

z_1\neq z_2

卻被：

\operatorname{Merge}(z_1,z_2).

這會造成能力永久損失。

19.2 Diversity Collapse

過度追求 compactness 可能刪除不同推理路徑：

\pi_1,\pi_2,\ldots

使模型失去創造性與 robustness。

19.3 Premature Canonicalization

某個領域尚未形成穩定理論時，過早選擇：

z^\ast

可能把尚未解決的 competing hypotheses 強制收斂。

19.4 Catastrophic Re-indexing

即使核心知識仍存在，如果 routing/indexing 更新失敗，模型也可能「知道但找不到」。

19.5 Hidden Dependency Loss

某個看似冗餘的 representation 可能在罕見情況：

x\in D_{\text{tail}}

具有關鍵作用。

因此垃圾回收必須考慮 long-tail tests。

20. 可逆式語義垃圾回收

因此早期 Semantic Garbage Collection 更合理的方向不是：

\text{delete immediately},

而是：

\text{compress} \rightarrow \text{alias} \rightarrow \text{archive} \rightarrow \text{verify} \rightarrow \text{eventual removal}.

也就是：

\boxed{ \text{Reversible Consolidation First}. }

可以定義：

z_{\text{active}}, z_{\text{compressed}}, z_{\text{archived}}.

只有在長期驗證後才真正移除：

z_{\text{obsolete}}.

這能降低錯誤合併造成不可逆能力損失的風險。

21. 如何測量 Semantic Redundancy？

可以設計至少四種互補方法。

21.1 Functional Substitution Test

移除：

E_i

後，用：

E_j

或其他組合替代。

若：

\Delta Q\approx0,

則：

E_i

具有高可替代性。

21.2 Representation Reconstruction Test

測試：

r_i

能否由其他表示低成本重建：

r_i \approx g(r_{-i}).

若 reconstruction error 很低，表示：

r_i

獨立資訊量有限。

21.3 Counterfactual Activation Test

比較：

do(E_i=0)

與：

do(E_j=0)

對不同任務分布的影響。

這可以避免只看 activation frequency。

21.4 Cross-Domain Necessity Test

某 expert 在一般資料中可能高度可替代，

但在：

D_{\text{rare}}

不可替代。

因此測量必須包含：

D_{\text{common}} + D_{\text{long-tail}} + D_{\text{novel}}.

22. Cognitive Redundancy Ratio

可以提出一個初步指標：

CRR = 1- \frac{ K_{\text{effective}} }{ K_{\text{physical}} }.

其中：

K_{\text{physical}}

可由模型容量、expert 數或 representation dimension 的某種加權量近似，

而：

K_{\text{effective}}

則透過 substitution、reconstruction 與 counterfactual tests 估計。

當：

CRR\rightarrow0,

代表有效結構接近物理容量。

當：

CRR\rightarrow1,

代表大量物理容量可以由其他結構替代。

這個指標目前仍是理論框架，真正實作需要更精確的 task-conditional 定義。

23. Marginal Cognitive Novelty

比總冗餘更重要的可能是新增參數的「邊際新穎性」。

定義：

MCN_t = \frac{ \Delta K_{\text{effective}} }{ \Delta P_{\text{physical}} }.

早期 scaling：

MCN_t

可能很高。

如果後期：

MCN_t\downarrow,

表示新增參數越來越多只是重述既有能力。

這個量可以直接連接：

\frac{\Delta Q}{\Delta C}.

如果兩者同步下降，就可能表示模型已開始進入 redundancy-dominated regime。

24. 與持續學習的關係

如果未來 AI 進入真正長期 continual learning：

M_0 \rightarrow M_1 \rightarrow M_2 \rightarrow \cdots,

則 Semantic Garbage Collection 的重要性會比今天更高。

因為今天多數 frontier models 仍然具有相對清楚的：

\text{training} \rightarrow \text{deployment}

週期。

但未來 RSI 或長期自主 AI 可能：

\text{learning} \approx \text{continuous}.

此時若只有：

\text{acquisition}

而沒有：

\text{consolidation},

模型規模與內部重複可能持續累積。

所以真正成熟的 continual learning 應該是：

\boxed{ \text{Learn} \rightarrow \text{Compare} \rightarrow \text{Consolidate} \rightarrow \text{Re-index} \rightarrow \text{Prune/Archive} \rightarrow \text{Continue Learning}. }

25. 與 RSI 的關係

如果未來 AI 能夠自行修改自身架構：

M_t \rightarrow M_{t+1},

則一個低效率 RSI 可能只會：

P_t<P_{t+1}<P_{t+2}<\cdots

持續擴大模型。

真正高效率的 RSI 應該同時問：

\Delta Q>0?

以及：

\Delta R>0?

以及：

\frac{\Delta Q}{\Delta C}>0?

更理想地：

P_{t+1}

甚至可能小於：

P_t

但能力：

Q_{t+1}>Q_t.

如果 AI 能透過重組使：

K_{\text{effective}}\uparrow

同時：

P_{\text{physical}}\downarrow,

這將比單純 scaling 更接近真正的認知架構進步。

26. 可證偽命題

本文提出以下可測量預測。

預測一：expert 數增加不會等比例增加有效 expert 數

若：

N_{\text{nominal}}\uparrow,

則：

N_{\text{effective}}

應呈現次線性增長。

如果實驗發現：

N_{\text{effective}} \approx N_{\text{nominal}}

長期成立，

則本文對 MoE redundancy 的強版本將被削弱。

預測二：深層或大型 MoE 會出現更高功能重疊

可透過：

d_F(E_i,E_j)

與 representation similarity 測量。

目前部分 2026 研究已提供初步支持。

預測三：高比例結構 pruning 可在部分模型維持大部分能力

如果：

P'\ll P

而：

Q(P')\approx Q(P),

則表示原始模型具有顯著可替代容量。

預測四：continual learning 若沒有 consolidation，邊際能力密度會下降

即：

MCN_t = \frac{ \Delta K_{\text{effective}} }{ \Delta P_{\text{physical}} } \downarrow.

預測五：具有 semantic consolidation 的架構，長期能力—成本曲線應優於純參數累積

若加入：

\text{canonicalization} + \text{deduplication} + \text{re-indexing},

應看到：

C(q)\downarrow

或：

Q(C)\uparrow.

否則 Semantic Garbage Collection 的實際價值將受到質疑。

27. 本文不主張的事情

為避免過度延伸，本文不主張：

所有大型神經模型目前已經被冗餘拖垮；
MoE 是錯誤架構；
所有 expert 應該完全不同；
神經表示應全部轉成符號；
參數越少一定越聰明；
重複資訊完全沒有價值；
現有 pruning 等同完整 semantic deduplication。

本文真正主張的是：

\boxed{ \text{未來 AI 若要長期自我成長， 必須把「認知維護」提升到與「認知獲取」同等重要。} }

28. 與系列前兩篇的統合

第一篇提出：

\text{Observed Capability} \neq \text{Intrinsic Cognition}.

第二篇提出：

\text{Global Capacity} + \text{Sparse Local Activation}

可能產生：

\text{Sparse Capability Sweet Spot}.

本文再加入：

\text{Physical Capacity} \neq \text{Effective Cognitive Capacity}.

因此整個框架變成：

\boxed{ \begin{aligned} \text{Observed Capability} =&F( \text{Effective Cognition}, \text{Sparse Matching},\\ &\text{Compute}, \text{Agents}, \text{Tools} ),\\ \text{Effective Cognition} =&G( \text{Physical Capacity}, \text{Redundancy}, \text{Organization} ). \end{aligned} }

這表示：

即使模型總容量不斷增加，

若：

\text{Redundancy}\uparrow

而：

\text{Organization}

沒有同步改善，

則有效能力增長可能逐漸低於物理 scaling。

29. 系列下一步

下一篇將從單模型內部冗餘，移向模型外部的計算組織：

《多智能體計算膨脹：從單一 AI 到百萬代理的效益極限》。

核心問題將是：

N\uparrow \Rightarrow Q\uparrow?

以及更重要的：

\frac{\Delta Q}{\Delta N}, \qquad \frac{\Delta Q}{\Delta C}.

當一個模型內部存在認知冗餘，而外部又使用大量同質 agents 反覆搜尋時，內外兩層冗餘可能相乘。

因此下一篇將研究：

\boxed{ \text{Internal Redundancy} \times \text{Agentic Redundancy} }

是否會成為下一階段 AI 計算成本快速膨脹的重要來源。

30. 結論

大型神經模型真正需要面對的長期問題，不只是：

還能放進多少參數？

而是：

新加入的參數、expert、表示與路徑，到底有多少提供了真正不可替代的新認知？

因此：

\boxed{ P_{\text{physical}} \neq P_{\text{effective}}. }

而：

\boxed{ W_i\neq W_j \not\Rightarrow f_i\neq f_j. }

如果未來模型持續學習卻無法理解自己內部的重複結構，則：

\text{Learning}

可能逐漸變成：

\text{Accumulation}.

真正可持續的 AI 認知成長應該具有：

\boxed{ \text{Acquisition} + \text{Canonicalization} + \text{Deduplication} + \text{Consolidation} + \text{Re-indexing} + \text{Selective Forgetting}. }

本文將這整套能力概括為：

\boxed{ \text{Semantic Garbage Collection}. }

它不是傳統意義上的垃圾清理，而是一種認知結構維護：

保留必要的重複，消除失去新增價值的重複；保留真正不同的假設，合併只是不同表面的同一結構；讓 AI 不只會一直學新東西，也逐漸知道自己究竟已經知道了什麼。

如果這種能力無法形成，神經 scaling 的下一個瓶頸可能不只是算力不足，而是：

\boxed{ \text{模型本身的認知結構開始被自己的歷史累積拖慢。} }

參考資料

Yao, J. et al. Domain-Specific Expert Pruning for Mixture-of-Experts LLMs. Proceedings of Machine Learning Research, Vol. 317, 2026.
研究指出 MoE 中存在 intra-layer expert homogeneity 與 inter-layer similarity，並以功能聚類進行 expert pruning。
Huang, R. et al. SD-MoE: Spectral Decomposition for Effective Expert Specialization. ICML 2026, Proceedings of Machine Learning Research, Vol. 306.
研究觀察到不同 experts 的 dominant parameter spectral components 與 gradient subspaces 高度重疊，並指出 gating 可能進一步強化共享方向。
Ding, Y. et al. Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression. ICML 2026, Proceedings of Machine Learning Research, Vol. 306.
研究指出 MoE expert 內部資訊可能集中於少量 channels，即使高重要性 experts 仍包含顯著結構冗餘。
Chen, Z. et al. SCHUR-A: Layer-wise Optimal Expert Pruning for MoEs via Schur-Complement Guided A Search.** ICML 2026, Proceedings of Machine Learning Research, Vol. 306.
將 MoE expert pruning 建模為 reconstruction-driven subset selection，處理 expert interdependency 與 redundancy。
Zhao, Y., Wang, Z., & Zhang, M. PuzzleMoE: Efficient Compression of Large Mixture-of-Experts Models via Fine-Grained Expert Merging and Bit-packed Inference. ICML 2026, Proceedings of Machine Learning Research, Vol. 306.
從細粒度權重冗餘與 specialization 出發進行 expert merging。
Xu, Y. et al. CAMERA: Multi-Matrix Joint Compression for MoE Models via Micro-Expert Redundancy Analysis. AAAI 2026.
以 micro-expert 作為更細粒度壓縮單元，直接研究 MoE 中的 micro-expert redundancy。
Li, D. et al. OMP-MoE: Efficient Expert Pruning for Mixture-of-Experts LLMs via Orthogonal Matching Pursuit. arXiv:2609.31631, 2026.
將 expert pruning 表述為 sparse signal reconstruction，並報告多個大型 MoE 模型在高比例 pruning 下仍能保留大量原始能力。

Canonical Source Note

本文件之 UTF-8 Markdown 原始碼為正式 source artifact。數學原始碼僅使用 $...$ 與 $$...$$ 作為 canonical delimiter；不使用 Unicode 數學字元替代 LaTeX source，不進行 unicode escape round-trip，不以聊天渲染內容取代正式原稿。