# 稀疏能力甜蜜區：MoE、人類任務分布與局部智能命中

**系列：AI 認知成長與計算甜蜜區系列（2/7）**  
**英文題名：The Sparse Capability Sweet Spot: MoE, Human Task Distributions, and Local Cognitive Matching**  
**版本：v0.1**  
**日期：2026-10-06**  
**語言：zh-TW**

**作者：** Neo.K  
**機構：** EveMissLab／一言諾科技有限公司  

---

## 摘要

近年的 AI 能力增長常被描述為整體智能的快速上升，但實際上，人類日常要求 AI 完成的任務並不均勻分布於所有可能的認知問題空間。相反地，人類需求高度集中於少數可重複、可文字化、可工具化、可局部驗證的高密度任務區域，例如程式設計、文件處理、搜尋、數學推理、資訊整理、圖像理解與工具操作。

另一方面，MoE、稀疏路由、條件計算與多階段推理等架構，使 AI 不需要在每次推理時完整激活全部模型能力，而只需命中與當前任務最相關的局部計算子空間。

本文提出「稀疏能力甜蜜區」假說：

$$
\boxed{
\text{當 AI 的稀疏可用能力子空間，
與人類高頻任務分布高度重疊時，
局部任務完成度可以快速上升，
而不要求全域認知能力同比例增長。}
}
$$

因此，人類所觀察到的 AI 能力爆發，可能同時來自真正的模型進步，以及「需求分布—能力分布」之間愈來愈高的重疊率。

本文進一步區分局部實用能力與全域認知能力，提出任務覆蓋率、稀疏命中率與能力密度等概念，並討論何時「稀疏甜蜜區」可能因跨域依賴、路由複雜度、認知冗餘與驗證成本而逐漸結束。

---

# 1. 問題：AI 到底是在全域變強，還是在愈來愈會命中人類常問的問題？

設所有可能的智能問題構成一個極大的問題空間：

$$
\Omega_{\text{all}}.
$$

這個空間包含：

- 已知的人類知識問題；
- 未知科學問題；
- 尚不存在的語言與符號系統；
- 全新環境中的長期規劃；
- 新型態因果推理；
- 尚未定義的跨域問題；
- 物理世界中的開放式任務；
- 人類沒有能力提出的問題。

然而，人類實際要求 AI 完成的任務集合遠小於：

$$
\Omega_{\text{all}}.
$$

可寫成：

$$
\Omega_{\text{human}}
\subset\subset
\Omega_{\text{all}}.
$$

更重要的是，人類任務在：

$$
\Omega_{\text{human}}
$$

中也不是均勻分布。

存在某種實際需求分布：

$$
p_{\text{human}}(x),
$$

其中少數區域具有極高機率密度。

例如：

$$
\mathcal R_{\text{code}},
\mathcal R_{\text{text}},
\mathcal R_{\text{search}},
\mathcal R_{\text{math}},
\mathcal R_{\text{office}},
\mathcal R_{\text{vision}},
\mathcal R_{\text{tool}}.
$$

因此，即使 AI 只大幅提高這些高頻區域的能力，也足以讓使用者感受到：

> AI 幾乎什麼都會了。

但這個主觀判斷未必等價於：

$$
\forall x\in\Omega_{\text{all}},
\quad
C_{t+1}(x)\gg C_t(x).
$$

這便形成本文的核心問題：

> 我們所觀察到的 AI 能力爆發，究竟有多少是全域認知能力增長，又有多少是能力分布對人類任務分布的高效率匹配？

---

# 2. 局部實用能力與全域認知能力

定義 AI 在問題：

$$
x
$$

上的能力為：

$$
C_t(x)\in[0,1].
$$

可以定義「人類局部實用能力」：

$$
L(t)
=
\int_{\Omega_{\text{human}}}
C_t(x)
p_{\text{human}}(x)
\,dx.
$$

這代表：

> 在人類實際會提出的任務分布下，AI 平均有多好用。

另一方面，可以構造一個理論上的全域能力：

$$
G(t)
=
\int_{\Omega_{\text{all}}}
C_t(x)
\mu(x)
\,dx,
$$

其中：

$$
\mu(x)
$$

是對整體問題空間的某種測量。

雖然在現實中：

$$
\Omega_{\text{all}}
$$

與：

$$
\mu
$$

幾乎不可能被完整定義，但這個形式化仍然揭露一個重要事實：

$$
L(t)
$$

與：

$$
G(t)
$$

不是同一個量。

完全可能：

$$
L(t)\uparrow\uparrow\uparrow
$$

而：

$$
G(t)\uparrow
$$

只呈現較慢增長。

這不是矛盾。

原因是：

$$
p_{\text{human}}(x)
$$

本身高度不均勻。

---

# 3. 人類需求流形

可以將人類高頻任務理解為一個低維但高密度的需求流形：

$$
\mathcal M_H
\subset
\Omega_{\text{all}}.
$$

人類文明雖然複雜，但大量知識工作仍高度集中於：

- 自然語言；
- 程式語言；
- 表格；
- 文件；
- 搜尋；
- 邏輯；
- 既有數學；
- 圖像與視覺；
- 標準化軟體工具；
- 既有制度與商業流程。

因此，人類真正要求 AI 做的事情，並不是任意分布於所有可能智能問題。

而是集中在：

$$
\mathcal M_H.
$$

如果 AI 的可用能力分布：

$$
\mathcal M_A
$$

逐漸靠近：

$$
\mathcal M_H,
$$

那麼兩者交集：

$$
\mathcal M_A\cap\mathcal M_H
$$

會快速擴大。

人類主觀感受到的能力因此可能近似：

$$
Q_{\text{human}}
\propto
\operatorname{Measure}
(
\mathcal M_A\cap\mathcal M_H
).
$$

當交集從：

$$
30\%
$$

增加到：

$$
80\%,
$$

使用者體驗可以產生相位式變化。

這未必要求：

$$
\operatorname{Measure}(\mathcal M_A)
$$

本身以相同比例擴張。

---

# 4. 為什麼 MoE 特別適合這個階段？

Mixture-of-Experts 的基本精神是：

$$
x
\rightarrow
R(x)
\rightarrow
\{E_{i_1},E_{i_2},\ldots,E_{i_k}\},
$$

其中：

$$
k\ll N_{\text{experts}}.
$$

也就是：

> 不讓所有 expert 都參與每一次 token 計算，而是由 router 選出少量相關 expert。

這帶來一種重要能力：

$$
P_{\text{total}}
\gg
P_{\text{active}}.
$$

模型可以擁有很大的總表示容量，但單次推理只支付其中一部分成本。

因此，若人類任務高度集中於某些局部區域，模型真正需要做到的是：

$$
\boxed{
\text{對高頻任務，快速找到正確子空間。}
}
$$

而不是：

$$
\boxed{
\text{每次都完整展開全域模型。}
}
$$

這恰好符合：

$$
\mathcal M_H
$$

本身稀疏且高密度的現實。

---

# 5. MoE 的 expert 不等於人類可命名的「專家」

本文使用「局部子空間」時，不主張每個 expert 都能直接命名成：

- 數學 expert；
- 程式 expert；
- 歷史 expert；
- 法律 expert。

實際神經表示可能遠比這種分類複雜。

一個 expert 可能參與多種語義；

一個語義也可能分散在多個 experts 中。

因此，更合理的抽象是：

$$
x
\rightarrow
\mathcal S_x,
$$

其中：

$$
\mathcal S_x
$$

是與當前輸入相關的稀疏計算子空間。

真正重要的不是：

$$
E_i=\text{某個人類領域}.
$$

而是：

$$
\boxed{
\text{不同輸入可以觸發不同的有效計算子空間。}
}
$$

只要這個條件成立，本文的「稀疏能力甜蜜區」就可以成立。

---

# 6. 稀疏能力甜蜜區

本文定義：

$$
\boxed{
\text{Sparse Capability Sweet Spot}
}
$$

為一種同時滿足以下條件的 regime：

### 條件一：總能力容量足夠大

$$
K_{\text{total}}\gg K_{\text{task}}.
$$

模型總容量遠大於大多數單一任務所需能力。

---

### 條件二：局部任務可以由少量子空間完成

$$
|\mathcal S_x|
\ll
|\mathcal S_{\text{global}}|.
$$

單次任務不需要完整激活全部模型。

---

### 條件三：路由準確度足夠高

$$
P(
\mathcal S_x
\supseteq
\mathcal S_x^\ast
)
\approx1,
$$

其中：

$$
\mathcal S_x^\ast
$$

代表完成任務真正需要的能力集合。

---

### 條件四：人類高頻任務恰好落在已成熟區域

$$
p_{\text{human}}(x)
$$

的大部分質量落在模型已高度學習的區域。

---

### 條件五：稀疏推理成本仍然相對低

$$
C_{\text{sparse}}(x)
\ll
C_{\text{full}}(x).
$$

此時：

$$
\frac{\text{Useful Capability}}
{\text{Active Compute}}
$$

達到極佳區間。

這就是甜蜜區。

---

# 7. 為什麼甜蜜區會造成「智能指數增長」的觀感？

假設人類日常任務可以粗略分成：

$$
T_1,T_2,\ldots,T_{100}.
$$

但前：

$$
20
$$

種任務佔：

$$
90\%
$$

的實際使用量。

若某一代 AI 對這：

$$
20
$$

類任務的平均成功率從：

$$
60\%
$$

提高到：

$$
95\%,
$$

那麼使用者的平均體感會出現巨大變化。

即使剩下：

$$
80
$$

類低頻任務只從：

$$
40\%
$$

提高到：

$$
50\%.
$$

所以：

$$
\Delta L
$$

可以很大，

但：

$$
\Delta G
$$

未必同比例巨大。

這可以形成：

$$
\boxed{
\text{Local Completion Explosion}
}
$$

而不是：

$$
\boxed{
\text{Uniform Global Intelligence Explosion}.
}
$$

兩者在一般 benchmark 與產品體驗中可能非常難區分。

---

# 8. 覆蓋率比平均能力更重要

定義一個能力門檻：

$$
q.
$$

若任務：

$$
x
$$

滿足：

$$
C_t(x)\ge q,
$$

則可視為「達到實用門檻」。

定義人類任務覆蓋率：

$$
H_t(q)
=
\int_{\Omega_{\text{human}}}
\mathbf 1
[
C_t(x)\ge q
]
p_{\text{human}}(x)
\,dx.
$$

如果：

$$
H_t(q)
$$

快速上升，

AI 的使用價值可能發生巨大躍升。

例如：

$$
H_t(0.9):
0.25
\rightarrow
0.80.
$$

這代表原本只有：

$$
25\%
$$

的人類日常需求能穩定完成，

後來變成：

$$
80\%.
$$

這種改變即使沒有對應：

$$
G(t)
$$

的同比例成長，也足以造成「AI 已經完全不同」的文明感受。

---

# 9. 局部能力的「門檻效應」

AI 能力並不是線性影響可用性。

例如：

$$
70\%
$$

成功率的程式代理可能仍然需要大量人工監督。

但：

$$
95\%
$$

成功率時，整個工作流程可能已經可以被重新設計。

所以實用價值：

$$
V(C)
$$

未必線性。

更可能存在：

$$
\frac{dV}{dC}
$$

在某些區段突然變大。

也就是：

$$
C
:
0.8
\rightarrow
0.95
$$

所造成的實際社會價值增長，可能遠大於：

$$
0.3
\rightarrow
0.45.
$$

因此，當大量高頻任務同時跨過「可自主完成」門檻，人類會觀察到：

$$
\text{Economic Capability}
\uparrow\uparrow\uparrow.
$$

這仍不要求全域認知空間同比例提升。

---

# 10. 稀疏命中本身就是一種真正能力

本文並不把 sparse routing 視為「作弊」。

相反地：

$$
R(x)
$$

能否找到正確子空間，本身就是重要的智能能力。

對一個巨大系統而言：

$$
\text{知道去哪裡找}
$$

可能和：

$$
\text{知道答案}
$$

同樣重要。

因此本文的核心不是：

> MoE 的能力不是真的。

而是：

> 必須區分「有效局部命中能力」與「全域能力本身的增長」。

如果一個系統：

$$
10^{14}
$$

個潛在計算單元中，每次都能只找出真正必要的：

$$
10^9
$$

個單元，

這本身就是極高價值架構能力。

但其能力性質應被正確描述。

---

# 11. 局部成功不等於全域一致

稀疏路由可能遇到一個基本問題：

局部子空間：

$$
\mathcal S_x
$$

可以在自身內部形成高度一致的答案，

但仍然違反全域約束：

$$
G.
$$

即：

$$
L_{\mathcal S_x}(x)
$$

局部成立，

但：

$$
L_{\mathcal S_x}(x)
\not\models G.
$$

這類錯誤可能表現為：

- 忽略跨領域條件；
- 忽略遠距依賴；
- 忽略全域一致性；
- 在局部 context 中自洽；
- 但與較大的世界模型衝突。

因此，稀疏能力愈強，另一個問題反而愈重要：

$$
\boxed{
\text{如何低成本保留全域一致性？}
}
$$

---

# 12. 局部激活 + 全域校正

一種可能架構不是：

$$
\text{activate everything}.
$$

而是：

$$
x
\rightarrow
\mathcal S_x
\rightarrow
L_{\mathcal S_x}(x)
\rightarrow
G_{\text{check}}
\rightarrow
y.
$$

其中：

$$
L_{\mathcal S_x}
$$

負責主要任務求解，

而：

$$
G_{\text{check}}
$$

不必完整重新計算全部參數。

它可能只負責：

- missing-variable detection；
- global consistency；
- contradiction detection；
- cross-domain trigger；
- novelty trigger；
- uncertainty escalation。

可以寫成：

$$
y
=
D
\left[
L_{\mathcal S_x}(x)
+
\lambda
G_{\text{check}}(x,L)
\right].
$$

這裡的：

$$
G_{\text{check}}
$$

更接近一個低成本的全域認知索引或校正層。

其目的不是讓整個模型每次全部激活，而是避免局部解答因過度稀疏而失去全域約束。

---

# 13. 為什麼「全域激活」可能不是合理目標？

若模型總參數或總認知狀態持續成長，

完整激活成本：

$$
C_{\text{full}}(P)
$$

會快速變得不可接受。

若：

$$
P\rightarrow10^{15},10^{16},10^{17},
$$

每一次 query 都要求全域 dense computation，很可能沒有經濟合理性。

因此：

$$
\boxed{
\text{Global availability}
\neq
\text{Global activation}.
}
$$

真正有價值的能力可能是：

> 全域狀態始終可被查詢、索引、校正與擴展，但只有必要區域被完整展開。

也就是：

$$
\text{Globally Addressable}
+
\text{Locally Activated}.
$$

這比：

$$
\text{Globally Activated}
$$

更具可擴張性。

---

# 14. 甜蜜區不是永久定律

Sparse Capability Sweet Spot 可能只是一個階段。

隨著任務愈來愈複雜，可能出現：

$$
|\mathcal S_x|\uparrow.
$$

例如簡單 coding task 只需要：

$$
k=2
$$

個主要能力區域。

但大型跨域研究可能需要：

$$
k=20,50,100.
$$

此時：

$$
C_{\text{sparse}}
$$

本身會上升。

因此：

$$
\boxed{
\text{Sparse}
\not\Rightarrow
\text{Cheap Forever}.
}
$$

當局部任務逐漸需要大量跨域整合時：

$$
\frac{
|\mathcal S_x|
}{
|\mathcal S_{\text{global}}|
}
$$

可能持續增加。

稀疏優勢便開始下降。

---

# 15. 甜蜜區的第一個失效模式：跨域依賴增加

設一個任務需要：

$$
d(x)
$$

個獨立認知領域。

若：

$$
d(x)
$$

持續上升，

則：

$$
|\mathcal S_x|
=
f(d(x))
$$

也可能上升。

當任務從：

$$
\text{local problem}
$$

變成：

$$
\text{world-model problem},
$$

單純命中幾個 expert 可能不再足夠。

此時：

- routing 成本增加；
- expert communication 增加；
- context integration 增加；
- verification 增加；
- global consistency 變得更重要。

這會侵蝕早期 sparse advantage。

---

# 16. 第二個失效模式：expert 功能重疊

即使：

$$
N_{\text{experts}}\uparrow,
$$

有效獨立能力也未必同比例增加。

可能：

$$
E_i\neq E_j
$$

但：

$$
f_i\approx f_j.
$$

因此：

$$
N_{\text{effective}}
<
N_{\text{nominal}}.
$$

如果 expert 數持續增長，但大量 expert 只是：

- 重複語義；
- 不同 context 的同類能力；
- 不同語言下的近似表示；
- 同功能不同權重版本；

則總模型規模會快速上升，但有效認知空間增長較慢。

這將在本系列第三篇「神經認知冗餘與語義垃圾回收」中進一步處理。

---

# 17. 第三個失效模式：路由本身變成主要成本

當：

$$
N_{\text{experts}}
$$

極大時，

找到正確：

$$
\mathcal S_x
$$

可能本身需要昂貴計算。

因此總成本可能寫成：

$$
C_{\text{total}}
=
C_{\text{route}}
+
C_{\text{active}}
+
C_{\text{merge}}
+
C_{\text{verify}}.
$$

早期：

$$
C_{\text{active}}
$$

可能占主體。

但後期：

$$
C_{\text{route}}
+
C_{\text{merge}}
+
C_{\text{verify}}
$$

可能逐漸變成主要成本。

這表示「稀疏」只是把計算瓶頸從一個位置移到另一個位置。

---

# 18. 第四個失效模式：高價值問題不是高頻問題

人類日常需求：

$$
p_{\text{human}}(x)
$$

高度集中，

但文明真正關鍵的問題未必位於高頻區。

例如：

- 新物理理論；
- 新藥與新材料；
- 未知數學；
- 新能源；
- 極端災害；
- 長期治理；
- 新型態人工生命；
- 未知世界模型。

這些問題可能具有：

$$
p_{\text{human}}(x)\ll1,
$$

但價值：

$$
V(x)\gg1.
$$

因此若只用日常任務 benchmark 衡量 AI，

會高估：

$$
L(t)
$$

對：

$$
G(t)
$$

的代表性。

這也是為什麼「AI 很會做日常工作」與「AI 已接近全域智能」不能直接畫等號。

---

# 19. 建立 Task-Distribution-Aware Evaluation

未來 AI benchmark 不應只報告平均分數。

應該至少區分：

$$
\mathcal T_{\text{high-frequency}},
$$

$$
\mathcal T_{\text{long-tail}},
$$

$$
\mathcal T_{\text{novel}},
$$

$$
\mathcal T_{\text{cross-domain}},
$$

$$
\mathcal T_{\text{open-world}}.
$$

對每個集合分別測：

$$
Q_H,
Q_L,
Q_N,
Q_C,
Q_O.
$$

如果一個模型只在：

$$
Q_H
$$

上暴漲，

但：

$$
Q_N,Q_C,Q_O
$$

改善有限，

就表示它主要提高了：

$$
\text{Human-Task Coverage}
$$

而不是足以證明：

$$
\text{Global Cognitive Expansion}.
$$

---

# 20. 稀疏甜蜜區的可測量指標

本文提出幾個初步指標。

## 20.1 Human Task Coverage

$$
HTC(q)
=
\int_{\Omega_{\text{human}}}
\mathbf 1[C(x)\ge q]
p_{\text{human}}(x)
\,dx.
$$

---

## 20.2 Sparse Activation Ratio

$$
SAR
=
\frac{
C_{\text{active}}
}{
C_{\text{full}}
}.
$$

越小代表單次任務只需較少全域計算。

---

## 20.3 Useful Capability Density

$$
UCD
=
\frac{
Q_{\text{human}}
}{
C_{\text{active}}
}.
$$

此值高表示以少量激活成本提供大量實用能力。

---

## 20.4 Cross-Domain Expansion Factor

$$
CEF
=
\frac{
C_{\text{cross-domain}}
}{
C_{\text{local}}
}.
$$

若：

$$
CEF
$$

隨模型世代持續上升，可能表示複雜任務正在侵蝕 sparse sweet spot。

---

## 20.5 Global Correction Overhead

$$
GCO
=
\frac{
C_{\text{global-check}}
}{
C_{\text{local-solve}}
}.
$$

如果低成本 global correction 可長期維持：

$$
GCO\ll1,
$$

則「局部激活 + 全域校正」架構可能具有高度可擴展性。

---

# 21. 一個簡單的甜蜜區判準

可以暫時定義：

$$
\Psi
=
\frac{
HTC(q)
}{
SAR
\cdot
CEF
\cdot
(1+GCO)
}.
$$

其中：

$$
\Psi
$$

代表一種概念上的 sparse sweet spot 指標。

當：

$$
\Psi\uparrow,
$$

表示：

- 人類任務覆蓋率提高；
- 稀疏激活比例仍低；
- 跨域成本仍可控；
- 全域校正成本仍低。

當：

$$
\Psi
$$

開始下降，

即使總 benchmark 仍然提高，也可能表示架構正在離開甜蜜區。

此公式目前只是理論指標，不應被視為已完成的標準 benchmark，但可作為後續實驗設計的出發點。

---

# 22. 對「AI 指數成長」敘事的修正

若人類觀察到：

$$
Q_{\text{human}}(t)
\approx e^{kt},
$$

有至少兩種可能。

## 情況 A：全域認知同樣快速增長

$$
G(t)
\approx e^{kt}.
$$

## 情況 B：能力覆蓋率進入高斜率區

$$
H_t(q)
$$

快速跨越大量高頻任務門檻。

此時：

$$
Q_{\text{human}}
$$

可以呈現近似指數式使用價值增長，

但：

$$
G(t)
$$

不必具有完全相同曲線。

因此：

$$
\boxed{
\text{Exponential Usefulness}
\not\Rightarrow
\text{Uniform Exponential Cognition}.
}
$$

---

# 23. 本文與第一篇的關係

系列第一篇提出：

$$
\text{Observed System Capability}
\neq
\text{Intrinsic Cognitive Capability}.
$$

本文進一步提出：

即使只觀察模型內部能力，也必須區分：

$$
\text{Human-Task-Weighted Capability}
$$

與：

$$
\text{Global Capability}.
$$

因此整體分解至少變成：

$$
\boxed{
\text{Observed Capability}
=
F(
\text{Global Cognition},
\text{Task Distribution},
\text{Sparse Matching},
\text{Compute},
\text{Agents},
\text{Tools}
).
}
$$

這比單純用 benchmark 分數表示「智能」更接近現代 AI 的實際狀態。

---

# 24. 可證偽命題

本文提出以下可驗證預測。

### 預測一

如果當前 AI 的快速能力增長大量來自 sparse human-task matching，

則：

$$
\Delta Q_{\text{high-frequency}}
>
\Delta Q_{\text{novel/open-world}}.
$$

---

### 預測二

對高頻任務，

$$
HTC(q)
$$

應該隨模型世代快速上升。

---

### 預測三

若進入 sweet spot 後期，

跨域任務的：

$$
CEF
$$

會逐漸上升。

---

### 預測四

若 expert redundancy 持續增加，

則：

$$
\frac{
\Delta Q
}{
\Delta P_{\text{total}}
}
$$

會下降。

---

### 預測五

如果存在高效全域校正機制，

則可以在：

$$
SAR\ll1
$$

的情況下，

仍維持高：

$$
Q_{\text{cross-domain}}.
$$

若此預測成立，代表：

$$
\text{Global availability}
$$

不要求：

$$
\text{Global activation}.
$$

---

# 25. 與後續系列的接口

本文建立了：

$$
\text{Sparse Capability Sweet Spot}.
$$

下一個自然問題是：

> 當模型容量與 expert 數繼續增加時，內部是否會累積大量功能重複？

如果：

$$
P_{\text{physical}}
\gg
P_{\text{semantic-effective}},
$$

那麼未來真正限制 scaling 的可能不是純粹算力不足，而是：

$$
\boxed{
\text{模型無法有效知道自己已經學過什麼。}
}
$$

這將直接導向下一篇：

**《神經認知冗餘與語義垃圾回收》**。

---

# 26. 結論

本文提出：

$$
\boxed{
\text{AI 的高實用能力可以來自
「巨大總容量 + 精準局部命中」，
而不要求每次完整啟動全域智能。}
}
$$

人類日常任務本身高度集中，因此只要 AI 能力分布與人類需求分布的交集快速擴大，就足以產生巨大的能力躍升觀感。

因此：

$$
\boxed{
\text{Local Completion Growth}
\neq
\text{Uniform Global Cognitive Growth}.
}
$$

但局部能力並不是虛假的能力。

相反地，能以低成本正確找到局部子空間，本身就是高價值智能機制。

真正值得研究的是：

$$
\boxed{
\text{如何同時保持局部計算效率與全域認知一致性？}
}
$$

若未來 AI 可以做到：

$$
\text{Globally Addressable}
+
\text{Locally Activated}
+
\text{Globally Correctable},
$$

就可能比單純依賴：

$$
\text{More Parameters}
+
\text{More Active Experts}
+
\text{More Compute}
$$

具有更高的長期擴展效率。

而如果做不到，當模型與任務規模繼續增長時，今天的稀疏甜蜜區可能逐漸轉化為下一階段的：

$$
\boxed{
\text{Redundancy-Dominated Scaling}.
}
$$

---

## Canonical Source Note

本文件之 UTF-8 Markdown 原始碼為正式 source artifact。所有數學原始碼僅使用 ` $...$ ` 與 `$$...$$` 作為 canonical delimiter；聊天介面中的渲染不作為正式 source。