← Archive
lm-003631 · 2026-09

Paper 04｜MoE as Conditional Intelligence：Shared Core、Routed Experts 與能力局部化

zh-Hant · md Raw source ↗ Metadata ↗
下載 MD 檔 ⬇

Paper 04｜MoE as Conditional Intelligence：Shared Core、Routed Experts 與能力局部化

English Title: MoE as Conditional Intelligence: Shared Cores, Routed Experts, and the Problem of Capability Localization
系列：《可展開認知核心：從 MoE、認知密度到 Mother AI 的模型架構命題》
作者： Neo.K × Aletheia
機構： EveMissLab／一言諾科技有限公司
版本： v0.1
日期： 2026-08-28
文件性質： 公開命題論文／Mixture-of-Experts、條件智能與能力地形研究

摘要

本文提出 MoE as Conditional Intelligence（MoE 作為條件智能） 的架構命題。Mixture-of-Experts 最初與當代主要用途之一，是在不讓每個 token 都付出與總參數規模等比例計算成本的前提下，擴張模型總容量。從 Switch Transformer 到 DeepSeekMoE、DeepSeek-V3、Qwen3 等架構，現代 MoE 已經明確展示：

Ptotal≫Pactive\boxed{ P_{\mathrm{total}} \gg P_{\mathrm{active}} }

可以與高模型能力同時成立。

本文主張，這個事實的理論價值不只在於「MoE 比 dense model 更省算力」。它第一次把大型神經模型中的一項重要設計原則工程化：

一個智能系統可以擁有大量潛在能力，但一次認知操作只啟動其中部分計算。\boxed{ \text{一個智能系統可以擁有大量潛在能力，} \quad \text{但一次認知操作只啟動其中部分計算。} }

本文將這種結構稱為 Conditional Intelligence（條件智能）。它不是完整的 Mother AI，也不是 Cognitive Kernel 的證明，而是一座介於「全部能力常駐並全量激活」與「能力外部化成獨立模型／Agent／工具」之間的中介橋樑。

本文進一步分析三個不能被混淆的問題：

Conditional Activation\boxed{ \text{Conditional Activation} } Expert Specialization\boxed{ \text{Expert Specialization} } Capability Ownership\boxed{ \text{Capability Ownership} }

某個 expert 經常在數學、程式或某類語義 token 上被 router 選中，只能直接支持「activation correlation」，不能直接推出該 expert 擁有該能力的完整因果責任。現有研究已顯示 MoE expert 可以比 dense FFN 呈現較低 polysemanticity，並出現細粒度語言與語義操作的專門化；但這些 expert 並不必然是「biology expert」「math expert」這種整齊的大領域模組。因此：

Routing Correlation≠Causal Capability Ownership.\boxed{ \text{Routing Correlation} \neq \text{Causal Capability Ownership}. }

本文提出一套公開的 MoE Capability Tomography Pre-Framework，以 routing fingerprint、expert activation entropy、single-expert ablation、group ablation、route forcing、expert substitution、shared-path perturbation、top- kk variation、load-balancing perturbation 與 cross-task comparison 等方式，逐步區分：

  1. routing 行為；
  2. expert contribution；
  3. expert redundancy；
  4. expert synergy；
  5. shared-path dependence；
  6. task-specific specialization；
  7. cross-task invariant capability。

本文特別討論 shared expert。DeepSeekMoE 將一部分 experts 隔離為 shared experts，以捕捉 common knowledge 並減少 routed experts 的冗餘；這對 Resident Cognitive Core 研究是一個非常重要的類比。但 Qwen3 的 MoE 模型也展示了沒有 shared experts 的 pure-routed design 可以成立，因此：

Shared Expert≠Cognitive Core\boxed{ \text{Shared Expert} \neq \text{Cognitive Core} }

更不能推出「沒有 shared expert 就沒有核心能力」。真正的核心能力可能分散於 attention、embedding、normalization、shared backbone、所有 experts 的共同表示，以及跨層路徑之中。

本文提出十四項主要命題、十二類失敗模式與十組可否證實驗，並把 MoE 放在整個《可展開認知核心》系列的正確位置：MoE 不是終局，而是提供一個可觀測的「內部條件計算層」。若未來能從 MoE 的 routing、干預與能力變化中辨識出穩定的核心—條件能力邊界，這些結果才可能進一步支持 Externalized Mixture of Cognitive Experts；若無法辨識，則外部化仍只能以 task-level engineering abstraction 進行，而不能宣稱它是神經模型內部 expert 的直接延伸。

本文的核心命題是：

MoE 證明了能力容量可以條件化，\boxed{ \text{MoE 證明了能力容量可以條件化，} }

但它尚未證明：

能力本身已被乾淨模組化。\boxed{ \text{能力本身已被乾淨模組化。} }

關鍵詞： Mixture-of-Experts、Conditional Intelligence、Expert Routing、Shared Experts、Routed Experts、Expert Specialization、Capability Localization、Cognitive Density、Cognitive Kernel、MoE Interpretability

0. 研究定位

前一篇提出 Resident Cognitive Core：

KR=(BI,BR,BE,BM,BW,BC,BG).K_R = ( B_I, B_R, B_E, B_M, B_W, B_C, B_G ).

並將系統能力分成：

CR\mathcal C_R

Resident，

CQ\mathcal C_Q

Conditionally Activated，

與：

CX\mathcal C_X

Externally Expanded。

Paper 04 專門研究：

CQ.\boxed{ \mathcal C_Q. }

也就是：

什麼叫做「模型擁有一項能力，但不必在每次推理中完整啟動它」？

MoE 是目前最成熟的大規模工程答案之一。

1. Dense Model 的基本計算直覺

對典型 dense Transformer block，

每一個 token 通常都通過同一組主要參數：

hl+1=Fl(hl).h_{l+1} = F_l(h_l).

因此模型總容量與每次推理使用的參數量高度耦合。

若：

Pdense↑,P_{\mathrm{dense}}\uparrow,

通常：

Cforward↑.C_{\mathrm{forward}}\uparrow.

這種架構具有結構簡單、計算規律、訓練與部署成熟等優點，但也存在：

capacity–compute coupling.\boxed{ \text{capacity--compute coupling}. }

2. MoE 的核心反轉

Mixture-of-Experts 將某些 dense feed-forward computation 替換為：

E={E1,E2,…,EN}.\boxed{ \mathcal E = \{ E_1,E_2,\ldots,E_N \}. }

Router：

rl(h)r_l(h)

為 token 選擇少數 experts。

一般形式：

hl+1=hl+∑e∈TopK⁡(rl(hl))αl,e(hl)El,e(hl).\boxed{ h_{l+1} = h_l + \sum_{e\in\operatorname{TopK}(r_l(h_l))} \alpha_{l,e}(h_l) E_{l,e}(h_l). }

其中：

K≪N.K\ll N.

因此：

Ptotal≫PactiveP_{\mathrm{total}} \gg P_{\mathrm{active}}

可以成立。

3. Switch Transformer：條件容量的早期大型化

Switch Transformer 將 routing 簡化成：

K=1.K=1.

每個 token 只送往一個 expert。

它的核心工程意義是大幅增加總參數容量，同時讓單 token 的 activated computation 保持受控。

這提供本文第一個事實基礎：

Total Intelligence Capacity≠Per-Token Activated Capacity.\boxed{ \text{Total Intelligence Capacity} \neq \text{Per-Token Activated Capacity}. }

這裡的 Intelligence Capacity 仍是架構性的近似概念，不等於已直接量測真正智能。

4. DeepSeekMoE：從稀疏擴張走向 specialization

DeepSeekMoE 指出傳統 MoE 的問題之一，是 experts 未必充分形成不重疊且聚焦的專門化。

因此提出兩個主要方向：

  1. fine-grained expert segmentation；
  2. shared expert isolation。

第一項將 experts 切得更細：

N→mNN \rightarrow mN

同時增加 activated fine-grained experts：

K→mK.K \rightarrow mK.

目的不是只增加 expert 數量，而是讓：

expert combination space\boxed{ \text{expert combination space} }

更靈活。

5. Fine-Grained Experts

假設原本：

EiE_i

包含多種功能。

將其切成：

Ei(1),Ei(2),…,Ei(m).E_i^{(1)}, E_i^{(2)},\ldots,E_i^{(m)}.

如果 router 可以組合：

{Ea(1),Eb(3),Ec(2)},\{ E_a^{(1)}, E_b^{(3)}, E_c^{(2)} \},

就可能比：

{Ea,Eb}\{ E_a,E_b \}

具有更細的條件組合能力。

這提供一個重要命題：

Expert Granularity\boxed{ \text{Expert Granularity} }

可能影響：

Capability Composability.\boxed{ \text{Capability Composability}. }

6. Shared Experts

DeepSeekMoE 的另一設計：

E=ES∪ER,\mathcal E = \mathcal E_S \cup \mathcal E_R,

其中：

ES\mathcal E_S

是 shared experts，

ER\mathcal E_R

是 routed experts。

其設計動機之一是：

capture common knowledge\boxed{ \text{capture common knowledge} }

並：

reduce redundancy among routed experts.\boxed{ \text{reduce redundancy among routed experts}. }

7. 這很像 Resident + Conditional

從本系列語言看，

可以產生一個非常誘人的類比：

ES∼CR,\mathcal E_S \sim \mathcal C_R, ER∼CQ.\mathcal E_R \sim \mathcal C_Q.

也就是：

Shared∼Resident,Routed∼Conditional.\boxed{ \text{Shared} \sim \text{Resident}, \qquad \text{Routed} \sim \text{Conditional}. }

但本文立刻加上一個限制：

∼≠=\boxed{ \sim \neq = }

這只是結構類比，不是能力本體等價。

8. Qwen3 提供一個重要反例

Qwen3 的 MoE 版本採用：

  • 128 experts；
  • top-8 activation；
  • pure routed experts；
  • no shared experts。

這表示：

Shared Expert\boxed{ \text{Shared Expert} }

不是所有成功 MoE 的必要條件。

因此如果我們說：

shared expert 就是模型真正的核心認知，

Qwen3 立即構成一個結構反例。

9. 沒有 Shared Expert 不等於沒有 Shared Capability

這裡必須區分：

Shared Expert\boxed{ \text{Shared Expert} }

與：

Shared Capability.\boxed{ \text{Shared Capability}. }

即使：

ES=∅,\mathcal E_S=\varnothing,

模型仍然有：

  • attention；
  • embedding；
  • residual stream；
  • normalization；
  • tokenizer；
  • routing network；
  • layer topology；
  • experts 之間共同訓練形成的表示。

所以：

ES=∅⇏Cshared=∅.\boxed{ \mathcal E_S=\varnothing \not\Rightarrow \mathcal C_{\mathrm{shared}}=\varnothing. }

10. DeepSeek-V3：總容量與 active capacity 的現實尺度

DeepSeek-V3：

Ptotal=671B,P_{\mathrm{total}} = 671B,

而每 token activated parameters 約：

Pactive=37B.P_{\mathrm{active}} = 37B.

因此：

PactivePtotal≪1.\boxed{ \frac{ P_{\mathrm{active}} }{ P_{\mathrm{total}} } \ll1. }

這不表示模型「只有 37B 能力」。

而是單一 token 的單次路徑上，實際被激活的參數遠少於總容量。

這正是 Conditional Intelligence 的核心工程事實。

11. Qwen3 再次提供不同設計點

Qwen3-235B-A22B：

Ptotal≈235B,P_{\mathrm{total}} \approx235B, Pactive≈22B.P_{\mathrm{active}} \approx22B.

128 experts 中：

K=8K=8

被激活。

這說明：

Conditional Capacity\boxed{ \text{Conditional Capacity} }

已成為大型模型設計的重要方向之一。

12. 本文定義 Conditional Intelligence

對智能系統 SS，

若存在能力資源集合：

Cavailable\mathcal C_{\mathrm{available}}

但對任務：

tt

只激活：

Cactive(t)⊂Cavailable,\mathcal C_{\mathrm{active}}(t) \subset \mathcal C_{\mathrm{available}},

則稱系統具有：

Conditional Intelligence Structure.\boxed{ \text{Conditional Intelligence Structure}. }

要求：

∣Cactive(t)∣<∣Cavailable∣|\mathcal C_{\mathrm{active}}(t)| < |\mathcal C_{\mathrm{available}}|

對大量任務成立。

13. 這是一個功能定義

Conditional Intelligence 不要求：

Ci\mathcal C_i

一定是一個神經 expert。

它可以由 neural expert、adapter、module、tool、model、Sub-AI 提供。

但 Paper 04 只研究：

internal neural MoE.\boxed{ \text{internal neural MoE}. }

外部版本留給 Paper 05。

14. MoE 的真正架構意義

MoE 已經證明：

擁有能力⇏每次都必須啟動能力.\boxed{ \text{擁有能力} \not\Rightarrow \text{每次都必須啟動能力}. }

如果：

C={c1,…,cn},\mathcal C = \{ c_1,\ldots,c_n \},

每個任務都強迫：

∀i,ci active,\forall i,\quad c_i\text{ active},

就會形成：

cognitive over-activation.\boxed{ \text{cognitive over-activation}. }

15. Conditional Intelligence 不等於 Modularity

即使：

E1,…,ENE_1,\ldots,E_N

是不同 expert，

仍不能直接說：

Ei=獨立能力模組.\boxed{ E_i = \text{獨立能力模組}. }

因為 expert 的輸入來自：

hl,h_l,

而：

hlh_l

已經包含前面多層共同計算。

Expert 的能力可能依賴 attention、earlier layers、residual state、other experts 與 routing history。

因此：

Sparse Activation≠Functional Independence.\boxed{ \text{Sparse Activation} \neq \text{Functional Independence}. }

16. Conditional Intelligence 也不等於 Expert Identity

如果 expert：

EiE_i

在某一類 token 高頻啟動，

它可能只是 syntax processor、formatting operator、rare token handler、local semantic transformation 或 load-balancing consequence。

因此不能直接命名：

Math Expert 17。

除非有足夠因果證據。

17. Expert-Level Interpretability 的新證據

2026 的 expert-level interpretability 研究提供重要訊號：

MoE expert neurons 相較 dense FFN neurons，可以呈現：

lower polysemanticity.\boxed{ \text{lower polysemanticity}. }

並且 routing sparsity 增加時，這個差異可能更明顯。

這支持：

MoE experts may be better interpretability units than dense FFNs.\boxed{ \text{MoE experts may be better interpretability units than dense FFNs}. }

18. 但 Expert 並不是大領域部門

同一研究的重要結果之一是：

experts 並不主要表現成 biology、physics、history 這種 broad domain expert。

更常見的是：

fine-grained linguistic / semantic operations.\boxed{ \text{fine-grained linguistic / semantic operations}. }

這對本文非常重要。

因為它告訴我們：

human task category≠neural expert category.\boxed{ \text{human task category} \neq \text{neural expert category}. }

19. 人類分類與模型內部分解可能不同

人類說：

coding\text{coding}

可能在模型內部需要 bracket handling、variable relation、indentation、symbolic continuation、API pattern、type relation 與 long dependency。

因此：

Ccoding=Compose⁡(c1,c2,…,cm).\boxed{ C_{\mathrm{coding}} = \operatorname{Compose} ( c_1,c_2,\ldots,c_m ). }

這些 cic_i 可能分散在不同 experts 和 layers。

20. Capability Ownership 問題

我們真正想知道：

哪個 expert「擁有」某項能力？

但「擁有」必須定義。

本文提出五個層級：

Level 0：Correlation

EiE_i

常被某任務激活。

Level 1：Contribution

移除：

EiE_i

性能下降。

Level 2：Specific Contribution

性能只在某類任務顯著下降。

Level 3：Substitutability Structure

另一 expert 或 module 可以恢復這項能力。

Level 4：Causal Functional Ownership

存在穩定、可重複、跨 prompt、跨樣本的因果責任結構。

本文主張：

Level 0⇏Level 4.\boxed{ \text{Level 0} \not\Rightarrow \text{Level 4}. }

21. Routing Correlation

定義任務族：

T.T.

第 ll 層 expert ee 的 routing frequency：

ρT(l,e)=Ex∼T[1∣x∣∑t∈x1{e∈TopK⁡(rl(ht))}].\boxed{ \rho_T(l,e) = \mathbb E_{x\sim T} \left[ \frac{ 1 }{ |x| } \sum_{t\in x} \mathbf 1 \{ e\in\operatorname{TopK}(r_l(h_t)) \} \right]. }

這稱為：

Routing Fingerprint.\boxed{ \text{Routing Fingerprint}. }

22. Routing Fingerprint 的用途

比較：

ρT1,ρT2,…,ρTn\rho_{T_1}, \rho_{T_2}, \dots, \rho_{T_n}

可以觀察 task discrimination、expert reuse、cross-domain commonality、high-frequency experts 與 rare specialized paths。

但只能得到：

observational structure.\boxed{ \text{observational structure}. }

23. Routing Entropy

定義某 token 的 router distribution：

pl,e(xt).p_{l,e}(x_t).

則：

HR(l,xt)=−∑epl,e(xt)log⁡pl,e(xt).\boxed{ H_R(l,x_t) = -\sum_e p_{l,e}(x_t) \log p_{l,e}(x_t). }

對任務族：

H‾R(T,l)=Ex,t[HR(l,xt)].\boxed{ \overline H_R(T,l) = \mathbb E_{x,t} [ H_R(l,x_t) ]. }

它可以反映 routing concentration、ambiguity、specialization 與 load-balancing pressure。

但：

HR≠Qcapability.\boxed{ H_R \neq Q_{\mathrm{capability}}. }

24. Routing Margin

Top-1 與 Top-2 routing score：

s1,s2.s_1,s_2.

定義：

MR=s1−s2.\boxed{ M_R = s_1-s_2. }

較小：

MRM_R

可能表示 expert choice 不穩、experts 可替代，或 token 位於能力邊界。

25. Load Balancing 會污染語義解讀

MoE router 不只追求：

best semantic expert.\text{best semantic expert}.

訓練系統還需要 capacity、utilization、load balancing 與 communication constraints。

因此實際 routing 可能是：

semantic fit+optimization pressure+systems pressure.\boxed{ \text{semantic fit} + \text{optimization pressure} + \text{systems pressure}. }

如果忽略這件事，就會把：

routing artifact\text{routing artifact}

錯認成：

capability structure.\text{capability structure}.

26. Routing Testbed 的方法論意義

2026 的 MoE Routing Testbed 研究指出，如果要研究 specialization，需要分辨 routing 本身是否真的形成非冗餘專門化。

其結果顯示 balancing scope 對 specialization 與 expert utilization 很重要。

這支持：

Routing Policy\boxed{ \text{Routing Policy} }

本身也是：

experimental variable.\boxed{ \text{experimental variable}. }

而不是能力觀測的透明窗口。

27. 因此需要 Causal Tomography

從：

Observe\text{Observe}

進入：

Intervene.\boxed{ \text{Intervene}. }

本文提出：

MoE Capability Tomography\boxed{ \text{MoE Capability Tomography} }

作為後續方法論。

Paper 04 只公開一般干預類型，不公開特定私人搜索策略。

28. Single-Expert Ablation

定義 baseline：

Q(T).Q(T).

移除 expert：

Ei.E_i.

得到：

Q(T∣−Ei).Q(T\mid -E_i).

定義：

Ii(T)=Q(T)−Q(T∣−Ei).\boxed{ I_i(T) = Q(T)-Q(T\mid -E_i). }

若：

Ii(T)≫0,I_i(T)\gg0,

表示：

EiE_i

對任務 TT 有因果貢獻候選。

29. Ablation 仍然不能直接等於 Ownership

因為：

EiE_i

可能是 bottleneck、routing hub、generic formatter 或 shared dependency。

移除後所有任務都下降。

因此需要比較：

Ii(T1),Ii(T2),….I_i(T_1), I_i(T_2),\ldots.

30. Specificity Score

定義：

Si(T)=Ii(T)ϵ+ET′≠T[Ii(T′)].\boxed{ S_i(T) = \frac{ I_i(T) }{ \epsilon+ \mathbb E_{T'\neq T} [ I_i(T') ] }. }

如果：

Si(T)≫1,S_i(T)\gg1,

才比較支持：

task-specific contribution.\boxed{ \text{task-specific contribution}. }

31. Group Ablation

真正能力可能由：

{Ei,Ej,Ek}\{ E_i,E_j,E_k \}

共同提供。

因此：

I{i,j}(T)I_{\{i,j\}}(T)

不一定：

=Ii(T)+Ij(T).= I_i(T)+I_j(T).

定義 synergy：

Yij(T)=I{i,j}(T)−Ii(T)−Ij(T).\boxed{ Y_{ij}(T) = I_{\{i,j\}}(T) - I_i(T) - I_j(T). }

如果：

Yij>0,Y_{ij}>0,

可能存在互補作用。

32. Redundancy

如果：

Ii(T)≈0,I_i(T)\approx0, Ij(T)≈0,I_j(T)\approx0,

但：

I{i,j}(T)≫0,I_{\{i,j\}}(T)\gg0,

則：

Ei,EjE_i,E_j

可能互為備援。

這對 externalization 非常重要。

因為：

低單點重要性\boxed{ \text{低單點重要性} }

不等於：

能力不重要.\boxed{ \text{能力不重要}. }

33. Route Forcing

對 token：

xt,x_t,

強迫 router 選：

EiE_i

而不是原本：

Ej.E_j.

比較：

Q(T∣r→i).Q(T\mid r\rightarrow i).

這可以測 expert 是否真的適合該 token，而不只是 router 喜歡選它。

34. Expert Substitution

假設：

EiE_i

被移除。

嘗試：

Ej→Ei.E_j \rightarrow E_i.

若性能恢復：

Q(T∣−Ei,+Ej)≈Q(T),Q(T\mid -E_i,+E_j) \approx Q(T),

則：

Ei\boxed{ E_i }

不是不可替代。

35. Expert Permutation

如果將 routing identity：

Ei↔EjE_i \leftrightarrow E_j

交換，

觀察：

ΔQ.\Delta Q.

可以研究 expert identity、routing dependence 與 layer-specific specialization。

36. Top- kk Variation

改變：

k.k.

例如：

k=1,2,4,8.k=1,2,4,8.

測：

QC,CA,HR,specialization.Q_C, C_A, H_R, \text{specialization}.

若：

k↑k\uparrow

使能力增加但 specialization 下降，

則存在：

capacity–specialization trade-off.\boxed{ \text{capacity--specialization trade-off}. }

37. Shared-Expert Ablation

對具有 shared experts 的模型，

比較：

Q(T)Q(T)

與：

Q(T∣−ES).Q(T\mid -\mathcal E_S).

再比較：

Q(T∣−ERspecific).Q(T\mid -\mathcal E_R^{specific}).

如果 shared experts 在大量任務都高度重要，

它們可能是：

common dependency.\boxed{ \text{common dependency}. }

但仍不能直接叫：

Cognitive Kernel.\boxed{ \text{Cognitive Kernel}. }

38. Why Shared Expert Is Not Cognitive Kernel

至少有五個原因：

  1. shared expert 只是 FFN path 的一部分；
  2. attention 仍高度重要；
  3. embeddings / residual stream 不在 shared expert 中；
  4. shared expert 可能保存 common statistical knowledge，不一定是 meta-cognition；
  5. pure-routed MoE 也可以工作。

因此：

ES⊊possible shared computation.\boxed{ \mathcal E_S \subsetneq \text{possible shared computation}. }

39. Core Capability 可能是 Distributed Core

本文提出：

Ccore\boxed{ \mathcal C_{\mathrm{core}} }

可以由：

attention+shared representations+routing+cross-expert invariants+runtime state\text{attention} + \text{shared representations} + \text{routing} + \text{cross-expert invariants} + \text{runtime state}

共同提供。

因此真正的 core：

may be distributed rather than localized.\boxed{ \text{may be distributed rather than localized}. }

40. Capability Locality Spectrum

本文提出：

LC(c)∈[0,1].\boxed{ L_C(c)\in[0,1]. }

其中：

LC(c)→1L_C(c)\rightarrow1

表示能力高度集中於少數可辨識結構。

LC(c)→0L_C(c)\rightarrow0

表示能力高度分散。

這不是現成可直接量測的標準，而是研究目標。

41. Expert Concentration Proxy

對能力 cc，

若已得到各 expert contribution：

Ii(c),I_i(c),

可以正規化：

pi(c)=max⁡(Ii(c),0)∑jmax⁡(Ij(c),0).p_i(c) = \frac{ \max(I_i(c),0) }{ \sum_j \max(I_j(c),0) }.

再計算：

HC(c)=−∑ipi(c)log⁡pi(c).\boxed{ H_C(c) = -\sum_i p_i(c)\log p_i(c). }

較低：

HCH_C

可能代表能力更集中。

42. 但 Concentration 不等於 Separability

即使：

HC(c)≪1,H_C(c)\ll1,

能力可能仍依賴：

hlh_l

中的 distributed representation。

所以：

Concentrated Contribution≠Cleanly Extractable Module.\boxed{ \text{Concentrated Contribution} \neq \text{Cleanly Extractable Module}. }

43. Separability Score

真正 externalization 需要更強條件。

概念上定義：

Ssep(c)=f(LC,Rsub,Cinterface,Qrestore).\boxed{ S_{\mathrm{sep}}(c) = f( L_C, R_{\mathrm{sub}}, C_{\mathrm{interface}}, Q_{\mathrm{restore}} ). }

其中：

  • LCL_C：locality；
  • RsubR_{\mathrm{sub}}：substitutability；
  • CinterfaceC_{\mathrm{interface}}：interface cost；
  • QrestoreQ_{\mathrm{restore}}：移除後由外部能力恢復品質。

Paper 04 不實作它。

Paper 05 會利用這個方向。

44. MoE 是能力地形的顯微鏡

本文因此提出：

MoE as Capability Microscope.\boxed{ \text{MoE as Capability Microscope}. }

理由是 dense model 的主要 FFN 參數缺乏天然的條件分派界面，而 MoE 自然產生：

routing variation.\boxed{ \text{routing variation}. }

這提供 conditional paths、identifiable expert units 與 intervention targets。

45. 但顯微鏡不是地圖

Router 顯示：

where computation went,\text{where computation went},

不直接顯示：

why cognition succeeded.\text{why cognition succeeded}.

因此：

MoE Routing Map≠Capability Causal Map.\boxed{ \text{MoE Routing Map} \neq \text{Capability Causal Map}. }

46. Multi-Layer Path

真正 routing 應表示成：

π(x)=(e1,e2,…,eL).\boxed{ \pi(x) = ( e_1,e_2,\ldots,e_L ). }

其中：

ele_l

是第 ll 層選中的 expert set。

能力可能不在：

ele_l

單點，

而在：

π(x)\boxed{ \pi(x) }

整條 path。

47. Path Fingerprint

對 task family TT，

定義：

PT=Distribution⁡(π(x)∣x∼T).\boxed{ P_T = \operatorname{Distribution} ( \pi(x) \mid x\sim T ). }

這可能比單 expert frequency 更接近：

cognitive route signature.\boxed{ \text{cognitive route signature}. }

48. Path Intervention

可以對：

π(x)\pi(x)

進行 prefix preservation、suffix replacement、middle-layer swap 與 selected-layer forcing。

測：

ΔQ.\Delta Q.

這有助於區分：

where capability emerges along depth.\boxed{ \text{where capability emerges along depth}. }

49. Expert Specialization 可能是階層式

可能存在：

早層：

syntax / token pattern,\text{syntax / token pattern},

中層：

semantic relation,\text{semantic relation},

後層：

task output transformation.\text{task output transformation}.

因此：

expert semantics=f(layer,context,routehistory).\boxed{ \text{expert semantics} = f( layer, context, route history ). }

不能只用單一全模型標籤。

50. 共享能力可能是跨 expert 的 intersection

若多個 experts：

E1,…,ENE_1,\ldots,E_N

都包含某種共同子能力：

c0,c_0,

則：

c0∈⋂iC(Ei)\boxed{ c_0 \in \bigcap_i \mathcal C(E_i) }

但它沒有被放在一個 shared expert。

這就是：

distributed shared capability.\boxed{ \text{distributed shared capability}. }

51. 冗餘可能是 feature，不只是 waste

DeepSeekMoE 希望降低 routed expert redundancy。

但對 reliability 而言，

某些 redundancy 可能提供 failover、robustness 與 uncertainty smoothing。

因此：

redundancy≠always waste.\boxed{ \text{redundancy} \neq \text{always waste}. }

Externalized experts 也必須考慮這點。

52. Expert Specialization 與 Robustness

過度 specialization：

SE↑S_E\uparrow

可能導致：

Rrobust↓.R_{\mathrm{robust}}\downarrow.

如果某 expert：

E∗E^\ast

失效，

整類能力可能消失。

因此需要研究：

specialization–redundancy frontier.\boxed{ \text{specialization--redundancy frontier}. }

53. Conditional Intelligence 與 Cognitive Density

Paper 02 定義：

DA=QCE[CA].D_A = \frac{ Q_C }{ \mathbb E[C_A] }.

MoE 的理想就是：

Ptotal↑P_{\mathrm{total}}\uparrow

而：

CAC_A

受控。

因此：

DA\boxed{ D_A }

是評估 MoE 是否真的提高認知密度的重要量。

54. 不能只看 activated parameters

因為實際 MoE 成本還包括：

CMoE=Cexpert+Crouter+Cdispatch+Ccommunication+Cimbalance+Ccache.\boxed{ C_{\mathrm{MoE}} = C_{\mathrm{expert}} + C_{\mathrm{router}} + C_{\mathrm{dispatch}} + C_{\mathrm{communication}} + C_{\mathrm{imbalance}} + C_{\mathrm{cache}}. }

所以：

Pactive↓P_{\mathrm{active}}\downarrow

不必然：

wall-clock cost↓.\text{wall-clock cost}\downarrow.

55. Communication Tax

如果 experts 分散在不同 devices，

會產生：

Call−to−all.C_{\mathrm{all-to-all}}.

這可能使 theoretical sparse FLOPs 與 real serving efficiency 差距很大。

因此 Paper 04 不將 MoE 描述成免費容量。

56. Load Imbalance Tax

如果大量 token 都選：

Ei,E_i,

會造成 queue、token drop、capacity overflow 與 utilization loss。

因此 router 需要 balancing。

但 balancing 又會改變 routing semantics。

這是一個：

interpretability–systems coupling.\boxed{ \text{interpretability--systems coupling}. }

57. Conditional Intelligence 的三層成本

本文將 MoE 成本分成：

Csemantic\boxed{ C_{\mathrm{semantic}} }

能力是否選對 expert；

Crouting\boxed{ C_{\mathrm{routing}} }

選 expert 的計算與錯誤；

Csystems\boxed{ C_{\mathrm{systems}} }

dispatch、communication、memory、load balancing。

只有三者一起評估，才能知道 MoE 是否真的提高：

DA.D_A.

58. Mother Model 對 MoE 的新問題

對一般 MoE：

問題是：

怎麼在同樣 FLOPs 下提高模型品質？

對 Mother Model：

還要問：

哪些 abilities 應該是 shared / resident？

哪些應該 routed？

哪些根本不該留在模型內？

這將 MoE 問題推成：

Cognitive Placement Problem.\boxed{ \text{Cognitive Placement Problem}. }

59. Cognitive Placement

對能力：

c,c,

選擇：

Place⁡(c)∈{R,Q,X}.\boxed{ \operatorname{Place}(c) \in \{ R,Q,X \}. }

其中：

  • RR：Resident；
  • QQ：Conditional；
  • XX：External。

Paper 03 定義 Resident Necessity。

Paper 04 開始研究：

Q.\boxed{ Q. }

60. Conditional Necessity

可以定義：

NQ(c)=f(Fc,Lc,Sc,Cc,Xc).\boxed{ N_Q(c) = f( F_c, L_c, S_c, C_c, X_c ). }

能力較適合 conditional，如果它不是每個任務都需要、activation latency 必須很低、與模型 hidden representation 緊耦合、外部 API 往返太慢，或仍需要神經模型內部細粒度組合。

61. Conditional vs External

如果某能力：

cc

只在：

1%1\%

任務需要，

但每次需要時必須 token-level 與其他能力交互，

它可能適合：

Q\boxed{ Q }

而不是：

X.X.

反之，如果能力可以 subtask-level call 完成，則可能適合：

X.X.

62. Granularity Boundary

因此 externalization 的核心問題之一是：

Gc=interaction granularity.\boxed{ G_c = \text{interaction granularity}. }

如果：

Gc→token-level,G_c \rightarrow \text{token-level},

外部化很困難。

如果：

Gc→task-level,G_c \rightarrow \text{task-level},

外部化較可行。

63. 這是 Paper 05 的橋

Paper 05 將問：

Why must an expert live inside one model?\boxed{ \text{Why must an expert live inside one model?} }

但答案不能只是：

API call。

因為 Micro-MoE expert 的 interface：

hl∈Rdh_l\in\mathbb R^d

而 external model 的 interface 通常是：

text / structured context / multimodal input.\text{text / structured context / multimodal input}.

因此需要：

Granularity Lift.\boxed{ \text{Granularity Lift}. }

從 token-level expert 提升為 cognitive-operation-level expert。

64. Internal MoE 與 External MoE 不同

本文先明確：

Internal MoE≠External Model Routing.\boxed{ \text{Internal MoE} \neq \text{External Model Routing}. }

Internal MoE：

  • joint training；
  • shared hidden space；
  • token-level routing；
  • low interface latency。

External model routing：

  • independent training；
  • heterogeneous representation；
  • coarse-grained context；
  • network / process boundary；
  • higher latency。

65. 但兩者共享一個抽象

兩者都可以寫成：

x→r(x)→Ei(x).\boxed{ x \rightarrow r(x) \rightarrow E_i(x). }

差別在：

routing granularity+representation boundary+coordination cost.\boxed{ \text{routing granularity} + \text{representation boundary} + \text{coordination cost}. }

這就是 Paper 05 可以從 MoE 往外延伸的原因。

66. MoE 與 Sub-AI Fabric 的結構同構

Sub-AI Fabric：

A={A1,…,An}.\mathcal A = \{ A_1,\ldots,A_n \}.

MoE：

E={E1,…,EN}.\mathcal E = \{ E_1,\ldots,E_N \}.

都存在：

selection+specialization+combination.\boxed{ \text{selection} + \text{specialization} + \text{combination}. }

但：

structural analogy≠implementation identity.\boxed{ \text{structural analogy} \neq \text{implementation identity}. }

67. 為什麼這個同構仍然重要？

因為它讓我們可以跨尺度問同一個問題：

What should be shared?\boxed{ \text{What should be shared?} } What should be specialized?\boxed{ \text{What should be specialized?} } What should be routed?\boxed{ \text{What should be routed?} } What should be redundant?\boxed{ \text{What should be redundant?} } What should be retired?\boxed{ \text{What should be retired?} }

68. MoE 可以反向教 Mother AI

如果一個成熟 MoE 在大量 task 上形成：

ρT(l,e),\rho_T(l,e),

我們可以研究哪些 computation repeatedly appear across tasks，以及哪些只在特定 task family 出現。

這可能對：

Resident Core Hypothesis\boxed{ \text{Resident Core Hypothesis} }

提供經驗線索。

69. 但不能直接從 activation frequency 決定 residency

高頻 expert：

ρ(e)↑\rho(e)\uparrow

可能只是 punctuation、common token、syntax 或 balancing artifact。

所以：

Frequency≠Global Cognitive Centrality.\boxed{ \text{Frequency} \neq \text{Global Cognitive Centrality}. }

需要 Paper 03 的：

NR(z)N_R(z)

與 causal tests。

70. Shared Core Candidate 的必要證據

若要將某 neural structure 稱為：

Core Candidate,\boxed{ \text{Core Candidate}, }

至少應有：

  1. high cross-task contribution；
  2. low substitutability；
  3. high error propagation radius；
  4. cross-prompt stability；
  5. cross-domain involvement；
  6. causal, not merely routing correlation；
  7. regression under ablation；
  8. limited recovery by unrelated experts。

71. Routed Capability Candidate

反過來，一個 conditional capability candidate 應更像：

  1. task-selective activation；
  2. task-selective causal contribution；
  3. low cross-task necessity；
  4. substitutable by related experts；
  5. bounded failure radius；
  6. stable routing signature；
  7. performance gain larger than routing cost。

72. Expert Pair / Set 才可能是能力單位

能力 cc 可能：

c≉Ei.c \not\approx E_i.

而：

c≈{Ei1,Ei2,…,Eik}.\boxed{ c \approx \{ E_{i_1}, E_{i_2}, \ldots, E_{i_k} \}. }

甚至依 layer sequence：

c≈(Ei1l1→Ei2l2→⋯ ).\boxed{ c \approx ( E_{i_1}^{l_1} \rightarrow E_{i_2}^{l_2} \rightarrow \cdots ). }

因此 tomography 必須支援 set / path analysis。

73. Emergent Modular Composition

如果任務能力：

cc

來自不同細粒度 expert 組合，

就可能形成：

emergent modularity.\boxed{ \text{emergent modularity}. }

模組不是一個 expert，

而是：

dynamically composed expert subgraph.\boxed{ \text{dynamically composed expert subgraph}. }

這個概念對外部 Cognitive MoE 很重要。

74. Dynamic Expert Subgraph

定義對任務：

T,T,

激活圖：

GE(T)=(VE(T),EE(T),ωE(T)).\boxed{ G_E(T) = ( V_E(T), E_E(T), \omega_E(T) ). }

其中：

  • VE(T)V_E(T)：被激活 expert；
  • EE(T)E_E(T)：跨層 path 關係；
  • ωE(T)\omega_E(T)：routing weights / contribution。

能力可能屬於：

GE(T)\boxed{ G_E(T) }

而不是：

Ei.E_i.

75. Capability Tomography 的第一個目標

不是找「數學 expert」。

而是：

估計能力在 expert graph 中的因果分布.\boxed{ \text{估計能力在 expert graph 中的因果分布}. }

形式上：

Φc:GE→R≥0.\boxed{ \Phi_c: G_E \rightarrow \mathbb R_{\ge0}. }

其中：

Φc(v)\Phi_c(v)

表示某結構對能力 cc 的因果貢獻估計。

76. 第二個目標：找能力邊界

比較：

c1,c2c_1,c_2

的：

Φc1,Φc2.\Phi_{c_1}, \Phi_{c_2}.

定義 overlap：

O(c1,c2)=Overlap⁡(Φc1,Φc2).\boxed{ O(c_1,c_2) = \operatorname{Overlap} ( \Phi_{c_1}, \Phi_{c_2} ). }

若：

O→1,O\rightarrow1,

兩能力高度共享計算。

若：

O→0,O\rightarrow0,

較容易分離。

77. 第三個目標：找 Shared Cognitive Substrate

對能力集合：

C∗={c1,…,cm},\mathcal C^\ast = \{ c_1,\ldots,c_m \},

找：

Φshared=⋂iΦci.\boxed{ \Phi_{\mathrm{shared}} = \bigcap_i \Phi_{c_i}. }

這可能提供：

Resident Cognitive Core candidate.\boxed{ \text{Resident Cognitive Core candidate}. }

但仍需 cross-model validation。

78. Cross-Model Validation

若只在：

M1M_1

看到某結構，

可能是該模型偶然形成。

因此比較：

M1,M2,…,Mn.M_1,M_2,\ldots,M_n.

真正強命題需要：

functional invariance across architectures\boxed{ \text{functional invariance across architectures} }

而不是：

same neuron indices.\boxed{ \text{same neuron indices}. }

79. Cross-Version Validation

模型：

Mv1→Mv2M^{v_1} \rightarrow M^{v_2}

後，

若：

Φc\Phi_c

完全改變，

但能力仍保持，

表示：

mechanism is non-identifiable or highly plastic.\boxed{ \text{mechanism is non-identifiable or highly plastic}. }

這會降低乾淨 externalization 的可能性。

80. MoE 是天然的 Parallel Research Surface

MoE 有：

NN

個 experts，

可以同時展開 routing analysis、activation analysis、causal ablation、expert labeling 與 cross-task comparison。

因此非常適合：

parallel AI-assisted research.\boxed{ \text{parallel AI-assisted research}. }

81. Parallel Analysis 不應提前收斂

可以讓不同分析通道分別研究：

H1:linguistic specializationH_1: \text{linguistic specialization} H2:semantic specializationH_2: \text{semantic specialization} H3:causal contributionH_3: \text{causal contribution} H4:systems routingH_4: \text{systems routing} H5:expert redundancyH_5: \text{expert redundancy}

最後才：

Synthesize⁡(H1,…,H5).\boxed{ \operatorname{Synthesize}(H_1,\ldots,H_5). }

避免：

first interpretation lock-in.\boxed{ \text{first interpretation lock-in}. }

82. Mechanical Analysis 與 AI Interpretation 要分開

AI 可以 label expert behavior、summarize activation patterns、propose hypotheses。

但機械層應保存：

  • raw routing；
  • logits；
  • activation；
  • ablation result；
  • benchmark delta；
  • checkpoint；
  • hash。

因此：

AI interpretation≠mechanical evidence.\boxed{ \text{AI interpretation} \neq \text{mechanical evidence}. }

83. Expert Label 必須版本化

如果 AI 說：

Expert 17 = bracket closer，

這只是：

hypothesis label.\boxed{ \text{hypothesis label}. }

需要保存：

(label,model,layer,expert,dataset,method,confidence,timestamp).( label, model, layer, expert, dataset, method, confidence, timestamp ).

避免 label 變成永久真理。

84. Load-Balancing Counterfactual

修改 balancing policy，

但保持 model family 與 task 相近。

若 expert semantics 大幅改變，

表示：

specialization partly induced by routing policy.\boxed{ \text{specialization partly induced by routing policy}. }

而不是自然固定能力器官。

85. Expert Count Counterfactual

比較：

N=8,32,128,256,….N=8,32,128,256,\ldots.

測 specialization、redundancy、polysemanticity、active compute 與 quality。

可能存在：

expert granularity phase transition.\boxed{ \text{expert granularity phase transition}. }

這是一個公開可研究命題。

86. Active Expert Count Counterfactual

固定：

N,N,

改：

K.K.

如果：

K↓K\downarrow

specialization 提高，

但：

Q↓,Q\downarrow,

則：

sparsity–capability trade-off.\boxed{ \text{sparsity--capability trade-off}. }

87. Shared Expert Count Counterfactual

對具有 shared expert 設計：

Ks=0,1,2,…K_s=0,1,2,\ldots

比較 routed redundancy、common-task quality、expert diversity 與 load distribution。

這可測：

shared capacity necessity.\boxed{ \text{shared capacity necessity}. }

88. Capability Restoration Test

如果移除 expert set：

A,A,

性能下降：

ΔQ<0.\Delta Q<0.

再加入：

BB

若：

Q(−A+B)≈Q,Q(-A+B) \approx Q,

則 BB 可以視為：

functional substitute candidate.\boxed{ \text{functional substitute candidate}. }

這比單純 routing label 更接近 externalization evidence。

89. Latent Interface 問題

即使 expert：

EiE_i

功能很乾淨，

它接收的是：

hl.h_l.

如果拿到模型外：

Eiexternal,E_i^{external},

需要：

hl→external interface\boxed{ h_l \rightarrow \text{external interface} }

再：

return→hl+1.\boxed{ \text{return} \rightarrow h_{l+1}. }

這在 latency、representation、security 上非常困難。

因此：

separable⇏externally deployable.\boxed{ \text{separable} \not\Rightarrow \text{externally deployable}. }

90. 因此真正外部化需要 Granularity Lift

不是：

copy internal expert to API.\boxed{ \text{copy internal expert to API}. }

而可能是：

internal fine-grained capability→higher-level cognitive operation→external executor.\boxed{ \text{internal fine-grained capability} \rightarrow \text{higher-level cognitive operation} \rightarrow \text{external executor}. }

這就是 Paper 05 的中心問題。

91. MoE 不是 Mother AI

MoE 本身通常沒有 persistent goal、world state、model market、Sub-AI lifecycle、authority graph 或 durable self-model。

因此：

MoE≠Mother AI.\boxed{ \text{MoE} \neq \text{Mother AI}. }

它只是：

conditional neural computation substrate.\boxed{ \text{conditional neural computation substrate}. }

92. 但 MoE 很適合 Mother Model

因為 Mother Model 理論上需要 high-frequency core、lower-frequency specialized reasoning 與 heterogeneous task adaptation。

MoE 提供：

internal low-latency conditional capacity.\boxed{ \text{internal low-latency conditional capacity}. }

所以它可能是：

Resident Core + Conditional Expert Layer\boxed{ \text{Resident Core + Conditional Expert Layer} }

的一種候選實作方向。

93. Dense Core + MoE Shell

一個公開架構猜想：

M=Kdense+EMoE.\boxed{ M = K_{\mathrm{dense}} + E_{\mathrm{MoE}}. }

其中：

KdenseK_{\mathrm{dense}}

偏向高 resident necessity，

EMoEE_{\mathrm{MoE}}

偏向 conditional abilities。

本文不宣稱這一定優於 pure MoE，只是可測架構。

94. Shared MoE Core + Routed Experts

另一個：

M=ES+ER.\boxed{ M = E_S + E_R. }

但必須：

ESE_S

真正被訓練與驗證成 interpretation、epistemic、meta 與 governance-supporting reasoning。

現有 shared expert 設計本身不能保證。

95. Pure Routed MoE + Distributed Core

Qwen3 類架構提醒：

core may remain distributed.\boxed{ \text{core may remain distributed}. }

因此：

M=Ashared+ER,M = A_{\mathrm{shared}} + E_R,

其中：

AsharedA_{\mathrm{shared}}

可能主要存在於 attention / shared backbone。

這也是合法候選。

96. Hierarchical MoE

未來可能：

r1→capability familyr_1 \rightarrow \text{capability family}

再：

r2→fine expert.r_2 \rightarrow \text{fine expert}.

這更接近：

cognitive hierarchy.\boxed{ \text{cognitive hierarchy}. }

但同樣需要因果驗證。

97. Dynamic Expert Generation

更遠一步：

Et\mathcal E_t

不是固定。

而：

Et+1=F(Et,T,H).\boxed{ \mathcal E_{t+1} = F( \mathcal E_t, T, H ). }

也就是 expert 可以 spawn、merge、retire、specialize。

這就開始接近 Sub-AI Fabric。

98. Internal Expert Lifecycle 與 Sub-AI Lifecycle

Sub-AI：

Template→Spawn→Bind→Operate→Evaluate→Retire.\text{Template} \rightarrow \text{Spawn} \rightarrow \text{Bind} \rightarrow \text{Operate} \rightarrow \text{Evaluate} \rightarrow \text{Retire}.

若未來 neural expert 也能：

dynamically generated / retired,\boxed{ \text{dynamically generated / retired}, }

兩者架構距離會進一步縮小。

99. 但本文不宣稱它們必然收斂

神經 expert 與 Agent 仍有巨大差異：

  • timescale；
  • interface；
  • autonomy；
  • memory；
  • tool use；
  • authority。

因此：

MoE–Agent convergence\boxed{ \text{MoE--Agent convergence} }

目前只是研究方向，不是本文結論。

100. 十二類失敗模式

100.1 Routing-as-Meaning Fallacy

把 routing frequency 直接當 capability semantics。

100.2 Shared-Expert-as-Core Fallacy

把 shared expert 直接等同 Cognitive Kernel。

100.3 Broad-Domain Labeling Error

硬把 fine-grained expert 標成 broad domain expert。

100.4 Load-Balancing Confound

routing 受到 balancing policy 影響而被誤讀。

100.5 Single-Expert Fallacy

忽略能力由 expert set / path 組成。

100.6 Ablation Misinterpretation

性能下降來自一般 bottleneck，而非 task-specific capability。

100.7 Redundancy Blindness

單 expert ablation 無影響就誤判能力不存在。

100.8 Systems-Cost Blindness

只看 FLOPs，不看 communication / dispatch / imbalance。

100.9 Static-Expert Assumption

假設 expert semantics 永遠不隨版本與訓練變化。

100.10 Extractability Fallacy

局部化後直接假設可以抽離。

100.11 Externalization Granularity Error

把 token-level expert 直接當 API-level expert。

100.12 AI-Label Authority Error

把另一個 AI 的 expert 解釋文字當機械證據。

101. 十四項主要命題

命題 1：總容量—活躍容量分離命題

Ptotal≫Pactive\boxed{ P_{\mathrm{total}} \gg P_{\mathrm{active}} }

可以與高能力共存。

命題 2：條件智能命題

一個系統可以擁有：

Cavailable\mathcal C_{\mathrm{available}}

而每個任務只激活：

Cactive(T).\mathcal C_{\mathrm{active}}(T).

命題 3：稀疏激活非功能獨立命題

Sparse Activation⇏Functional Independence.\boxed{ \text{Sparse Activation} \not\Rightarrow \text{Functional Independence}. }

命題 4：Routing 非 Ownership 命題

Routing Correlation≠Causal Capability Ownership.\boxed{ \text{Routing Correlation} \neq \text{Causal Capability Ownership}. }

命題 5：Shared Expert 非 Core 命題

Shared Expert≠Resident Cognitive Core.\boxed{ \text{Shared Expert} \neq \text{Resident Cognitive Core}. }

命題 6：Distributed Shared Capability 命題

即使：

ES=∅,\mathcal E_S=\varnothing,

仍可能：

Cshared≠∅.\mathcal C_{\mathrm{shared}}\neq\varnothing.

命題 7：Fine-Grained Specialization 命題

expert specialization 可以出現在細粒度操作，而非 broad domain。

命題 8：Expert-Set Capability 命題

某些能力的最小因果單位可能是 expert set 或 routing path，而非單 expert。

命題 9：Routing Policy Confound 命題

specialization 受到 routing / balancing policy 影響。

命題 10：Conditional Placement 命題

不是所有低頻能力都應 externalize；高交互粒度能力可能更適合 internal conditional activation。

命題 11：Capability Locality Spectrum 命題

能力可能分布於：

LC∈[0,1]L_C\in[0,1]

的局部—分散連續譜，而非二元 localized / distributed。

命題 12：Separability 非 Externalizability 命題

Functional Separability⇏Practical Externalizability.\boxed{ \text{Functional Separability} \not\Rightarrow \text{Practical Externalizability}. }

命題 13：MoE Tomography 命題

MoE 的天然 routing 與 expert units 可以比 dense FFN 提供更直接的能力干預表面。

命題 14：MoE Bridge 命題

MoE 可以成為 Resident Cognitive Core 與 External Cognitive Experts 之間的實驗橋梁，但不是兩者等價的證明。

102. 十組可否證實驗

實驗 1：Routing Fingerprint Replication

對多個 task family：

T1,…,TnT_1,\ldots,T_n

重複測：

ρT(l,e).\rho_T(l,e).

要求不同 prompt template、seed、sample 下穩定。

實驗 2：Single / Group Ablation

比較：

Ii(T),I_i(T), I{i,j}(T).I_{\{i,j\}}(T).

測 redundancy 與 synergy。

實驗 3：Route Forcing

改變 router choice，測：

ΔQ.\Delta Q.

實驗 4：Expert Substitution

移除：

EiE_i

並以：

EjE_j

替代，測：

Qrestore.Q_{\mathrm{restore}}.

實驗 5：Shared Expert Ablation

對有 shared expert 架構，測 cross-task degradation。

實驗 6：Pure Routed Counterexample

比較 pure-routed 與 shared+routed architecture，避免 shared-core 假說過度泛化。

實驗 7：Load-Balancing Perturbation

改 balancing scope / auxiliary loss，觀察 routing semantics 是否改變。

實驗 8：Top- kk / Expert Count Sweep

比較：

(N,K).(N,K).

測 specialization、quality、latency、redundancy。

實驗 9：Path-Level Intervention

對：

π(x)\pi(x)

做 layer-wise path replacement，測 capability emergence depth。

實驗 10：Cross-Model Capability Map

在不同 MoE family 重複：

Φc.\Phi_c.

找 functional invariants。

103. 什麼結果會支持本文？

以下結果會支持：

  1. task families 有穩定 routing fingerprints；
  2. expert ablation 顯示 task-selective causal contribution；
  3. group ablation 顯示可重複 synergy / redundancy；
  4. expert substitution 可以恢復局部能力；
  5. shared expert ablation 對多任務產生穩定共通影響；
  6. pure-routed models 仍存在 distributed shared capability；
  7. routing sparsity 與 expert interpretability / specialization 有穩定關係；
  8. route forcing 可以改變 task-specific behavior；
  9. capability maps 在版本或模型間存在功能級相似性；
  10. conditional compute 在 verification-adjusted cognitive density 上優於 comparable dense baseline。

104. 什麼結果會削弱本文？

以下結果會削弱：

  1. routing fingerprint 對 prompt 極端敏感且無法重複；
  2. expert ablation 幾乎只有全局退化，無 task specificity；
  3. experts 完全高度冗餘，無可辨識專門化；
  4. load-balancing 一變，所有 expert semantics 完全消失；
  5. expert-level labels 與 causal interventions 無關；
  6. ability map 完全無法跨 checkpoint 重現；
  7. MoE 的主要收益只來自參數容量，而沒有可利用的 conditional capability structure；
  8. communication / routing overhead 長期抵消 active compute 優勢；
  9. pure dense model 在等總成本下持續支配；
  10. internal expert separability 對後續 externalization 沒有任何預測價值。

105. 與 Paper 03 的回饋關係

Paper 03 提出：

NR(z).N_R(z).

Paper 04 可以提供：

conditional evidence.\boxed{ \text{conditional evidence}. }

例如能力 cc 跨任務都需要、shared-path dependence 高、不可替代，則：

NR(c)↑.N_R(c)\uparrow.

反之，如果 task-selective、expert-local、可替代、bounded failure，則：

NQ(c)↑.N_Q(c)\uparrow.

106. 與 Paper 02 的回饋關係

Paper 02 定義：

DA,DMoE.D_A, D_{\mathrm{MoE}}.

Paper 04 提供：

what active compute actually represents.\boxed{ \text{what active compute actually represents}. }

因此 Cognitive Density 不再只是成本比率，而開始接近：

conditional capability allocation.\boxed{ \text{conditional capability allocation}. }

107. 與 Paper 05 的銜接

Paper 04 的最終問題：

如果某些能力真的可以在模型內被條件激活，

那麼：

Why must they remain physically inside the same model?\boxed{ \text{Why must they remain physically inside the same model?} }

但要回答這個問題，必須解決 granularity、interface、state transfer、latency、representation translation、verification 與 authority。

因此下一篇：

Externalized Mixture of Cognitive Experts.\boxed{ \text{Externalized Mixture of Cognitive Experts}. }

108. 公開命題與未公開機械方法的邊界

本文公開：

  • routing fingerprint；
  • routing entropy；
  • ablation；
  • group ablation；
  • route forcing；
  • substitution；
  • path analysis；
  • locality / separability concepts；
  • public falsification criteria。

本文不公開：

  • 內部實際 expert-search heuristic；
  • 高維能力投影方法；
  • 私有 intervention scheduling；
  • capability graph compiler；
  • parameter remapping；
  • latent expert extraction；
  • external bridge encoding；
  • reconvergence optimization。

因此：

Public Experimental Questions≠Private Mechanical Pipeline.\boxed{ \text{Public Experimental Questions} \neq \text{Private Mechanical Pipeline}. }

109. 結論

Mixture-of-Experts 對本系列最重要的意義，不只是：

MoE saves FLOPs.\boxed{ \text{MoE saves FLOPs}. }

而是它已經在大型模型中實際建立：

Conditional Capacity.\boxed{ \text{Conditional Capacity}. }

也就是：

模型可以擁有遠大於單次推理所激活的能力容量。\boxed{ \text{模型可以擁有遠大於單次推理所激活的能力容量。} }

這使 Resident 與 Conditionally Activated 第一次有了非常直接的神經架構參照。

但是本文也劃出明確邊界：

Expert≠Human-Named Capability.\boxed{ \text{Expert} \neq \text{Human-Named Capability}. } Routing≠Ownership.\boxed{ \text{Routing} \neq \text{Ownership}. } Shared Expert≠Cognitive Core.\boxed{ \text{Shared Expert} \neq \text{Cognitive Core}. } Localized Contribution≠Clean Externalizability.\boxed{ \text{Localized Contribution} \neq \text{Clean Externalizability}. }

因此 MoE 真正值得研究的地方，不是急著說：

我們已經找到模型裡的數學腦、程式腦與歷史腦。

而是利用：

routing+sparsity+expert units+causal intervention\boxed{ \text{routing} + \text{sparsity} + \text{expert units} + \text{causal intervention} }

第一次較系統地建立：

Capability Topography.\boxed{ \text{Capability Topography}. }

如果這張能力地形最終顯示：

  • 某些能力跨任務、跨 expert、跨模型都具有高中心性；
  • 某些能力只在特定任務被條件激活；
  • 某些能力能被替代；
  • 某些能力能在更高粒度下被外部執行器重建；

那麼：

Resident+Conditional+External\boxed{ \text{Resident} + \text{Conditional} + \text{External} }

就不再只是概念分類。

它會開始成為：

empirically grounded cognitive placement architecture.\boxed{ \text{empirically grounded cognitive placement architecture}. }

因此本文最終命題是：

MoE 證明了智能的計算可以條件化；\boxed{ \text{MoE 證明了智能的計算可以條件化；} }

而接下來真正要證明的是：

智能的能力是否也能被可靠地辨識、分離、替換與跨邊界展開。\boxed{ \text{智能的能力是否也能被可靠地辨識、分離、替換與跨邊界展開。} }

References

  1. Fedus, W., Zoph, B., & Shazeer, N. (2022). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. Journal of Machine Learning Research, 23(120), 1–39.
  2. Dai, D., et al. (2024). DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models. arXiv:2401.06066.
  3. DeepSeek-AI. (2024). DeepSeek-V3 Technical Report. arXiv:2412.19437.
  4. Qwen Team. (2025). Qwen3: Think Deeper, Act Faster.
  5. Yang, X., et al. (2025). Mixture of Experts Made Intrinsically Interpretable. arXiv:2503.07639.
  6. Herbst, J., Lee, J. H., & Wermter, S. (2026). The Expert Strikes Back: Interpreting Mixture-of-Experts Language Models at Expert Level. arXiv:2604.02178.
  7. Falke, T., et al. (2026). MoE Routing Testbed: Studying Expert Specialization and Routing Behavior at Small Scale. arXiv:2604.07030.
  8. Li, J. (2026). The Evolution of Mixture-of-Experts Architectures in Large Language Models: Routing, Topology, Load Balancing, and Expert Parallelism. arXiv:2608.08650.
  9. Neo.K. & Aletheia. (2026). 當 Frontier AI 基本能力逐漸成熟：從 Scaling 轉向 Cognitive Efficiency.
  10. Neo.K. & Aletheia. (2026). Cognitive Density Hypothesis：認知密度命題.
  11. Neo.K. & Aletheia. (2026). Resident Cognitive Core：Mother Model 到底必須常駐什麼？.
  12. Neo.K. & Aletheia. (2026). 認知原子因果基底命題：後設完備、基底稠密與表層稀疏主 AI 的跨尺度生成架構.
  13. Neo.K. & Aletheia. (2026). 子 AI 是認知器官，不是獨立 Workflow.

Canonical Source Note

本檔案為正式 UTF-8 Markdown canonical source。

數學 source 僅使用：

 $...$
$$...$$

本文為公開命題論文。

本文公開 Conditional Intelligence 定義、MoE routing / specialization 的理論邊界、routing fingerprint、causal intervention 類型、capability locality / separability 問題與 falsification framework。

本文不公開任何未驗證或未公開的 expert-search private heuristic、capability projection algorithm、parameter-level extraction、latent bridge、expert externalization implementation 或 reconvergence training method。

因此：

MoE as Experimental Surface≠Disclosure of the Private Separation Method.\boxed{ \text{MoE as Experimental Surface} \neq \text{Disclosure of the Private Separation Method}. }