← Archive
lm-003635 · 2026-09

Paper 06|Cognitive Factorization Problem:成熟智能能否被重新分離、壓縮與重組?

下載 MD 檔 ⬇

Paper 06|Cognitive Factorization Problem:成熟智能能否被重新分離、壓縮與重組?

English Title: The Cognitive Factorization Problem: Can Mature Intelligence Be Decomposed, Compressed, Expanded, Linked, Reconciled, and Reconverged?
系列:《可展開認知核心:從 MoE、認知密度到 Mother AI 的模型架構命題》
作者: Neo.K × Aletheia
機構: EveMissLab/一言諾科技有限公司
版本: v0.1
日期: 2026-08-28
文件性質: 公開命題論文/認知因子化、模型重構與可展開智能研究


摘要

本文提出 Cognitive Factorization Problem(CFP,認知因子化問題)。前五篇已逐步建立:大型模型能力成熟後的 compute-allocation 問題、Cognitive Density、Resident Cognitive Core、MoE Conditional Intelligence,以及 Externalized Mixture of Cognitive Experts。到了這一步,一個無法再迴避的技術—理論問題出現:

即使我們知道某些能力「理論上值得常駐」、某些能力「適合條件激活」、某些能力「適合外部展開」,我們是否真的有能力把一個已經成熟但高度糾纏的 Frontier Model 重新拆成這些部分?

本文主張,這個問題不能被簡化成:

Large ModelSmall Model.\text{Large Model} \rightarrow \text{Small Model}.

因為壓縮不是唯一問題。真正需要處理的是:

F=(D,C,X,L,R,G)\boxed{ \mathfrak F = ( D, C, X, L, R, G ) }

其中:

  • DD:Decompose,分解;
  • CC:Compress,壓縮;
  • XX:Expand / Externalize,展開/外部化;
  • LL:Link,連結;
  • RR:Reconcile,調和;
  • GG:Converge,重新收斂。

這六個算子不是本文宣稱已完成的演算法,而是六個彼此獨立、具有不同失敗條件的研究問題。本文特別區分至少六種常被混淆的「可分離」:

Behavioral Separability\boxed{ \text{Behavioral Separability} } Representational Separability\boxed{ \text{Representational Separability} } Mechanistic Separability\boxed{ \text{Mechanistic Separability} } Parametric Separability\boxed{ \text{Parametric Separability} } Interface Separability\boxed{ \text{Interface Separability} } Operational Separability.\boxed{ \text{Operational Separability}. }

一項能力可以在行為上容易描述,卻在神經機制上高度分散;可以在 Sparse Autoencoder feature 空間中得到較清楚表示,卻無法乾淨刪除或搬移;可以被 causal tracing 定位,卻不代表該位置最適合 editing;可以被獨立 expert 模組近似,卻在重新組合後失去跨領域泛化。因此:

InterpretabilityFactorizationExtractabilityRecomposability.\boxed{ \text{Interpretability} \neq \text{Factorization} \neq \text{Extractability} \neq \text{Recomposability}. }

本文利用現有研究建立問題邊界。Sparse Autoencoder 與 sparse dictionary learning 顯示,superposition 中的特徵可以在一定程度上被稀疏化與解釋,但 feature absorption、dead features、跨層依賴與表示非唯一性仍然存在;knowledge localization / editing 研究顯示「定位某個 factual behavior 的因果位置」與「在哪裡修改最有效」沒有簡單等價;MQUAKE 顯示單點 factual edit 即使能被 recall,也可能無法正確傳播到多跳衍生知識;BAR、Branch-Train-MiX、BTS 與 model merging 類工作則證明能力模組化、局部更新與重組可以在某些條件下成立,但同時暴露 catastrophic forgetting、interference、alignment 與 merge compatibility 問題。

本文因此把「認知因子化」定義為:

FDZCKC\boxed{ F \xrightarrow{D} \mathcal Z \xrightarrow{C} K_C }

以及執行時:

KC+X+MX,LZTROTGKC\boxed{ K_C + \mathcal X + \mathcal M \xrightarrow{X,L} Z_T \xrightarrow{R} O_T \xrightarrow{G} K_C' }

其中 FF 是成熟 Frontier Intelligence; Z\mathcal Z 是候選能力/表示/機制集合; KCK_C 是壓縮後的 Cognition-Dense Core; X\mathcal X 是外部 expert / tool / knowledge pool; ZTZ_T 是任務展開狀態; OTO_T 是任務輸出; KCK_C' 是經過證據與驗證後可能更新的 resident core。

本文進一步提出:認知因子化的目標不是最大化 parameter reduction,而是最大化 functional preservation under architectural redistribution。理想上,某些表層知識、低頻專門能力與快速變動能力可以被 externalize,而 interpretation、epistemic control、meta-cognition、verification selection、capability boundary modeling 與 minimum sufficient world basis 被保留或重新編譯至 resident core。但本文不公開任何私人 weight-level extraction、capability projection、latent bridge、parameter remapping 或 reconvergence 方法。

本文提出十六項主要命題、十四類失敗模式與十二組可否證實驗。若未來實驗顯示:高階推理與元認知不可避免地依賴大規模表層知識;能力在不同模型中無法形成穩定、可重用的功能因子;任何顯著壓縮都導致不可恢復的 generalization loss;externalized capability 無法以可接受 interface cost 接回核心;或者重新收斂後系統仍持續低於 monolithic frontier baseline,則 Cognitive Factorization 作為通用架構路線應被限制甚至拒絕。

本文的核心問題不是:

我們能不能找到哪些參數是「八卦」、哪些參數是「推理」?

這種分法過度簡化。

真正的問題是:

Can intelligence be reorganized by function without destroying the relations that made it intelligent?\boxed{ \text{Can intelligence be reorganized by function without destroying the relations that made it intelligent?} }

也就是:

成熟智能能否在不失去其關係結構、泛化能力與元認知控制的情況下,被重新因子化成常駐核心、條件能力與外部能力?

關鍵詞: Cognitive Factorization、Decomposition、Compression、Externalization、Linking、Reconciliation、Reconvergence、Sparse Autoencoder、Knowledge Editing、Model Merging、Mother AI、Cognitive Kernel


0. 研究定位

目前系列已建立:

C=CRCQCX.\boxed{ \mathcal C = \mathcal C_R \cup \mathcal C_Q \cup \mathcal C_X. }

其中:

  • CR\mathcal C_R:Resident;
  • CQ\mathcal C_Q:Conditional;
  • CX\mathcal C_X:External。

但這仍然只是一個:

placement theory.\boxed{ \text{placement theory}. }

尚未回答:

現有成熟模型裡的能力是否真的可以按照這個分類被重新組織?

Paper 06 專門處理這個缺口。


1. 從「模型壓縮」到「認知因子化」

傳統壓縮可以寫成:

FF.F \rightarrow F'.

目標通常是:

P(F)<P(F),P(F')<P(F),

同時:

Q(F)Q(F).Q(F')\approx Q(F).

但 Cognitive Factorization 的目標不同。

我們允許:

QK(F)<QK(F)Q_K(F')<Q_K(F)

某些表層知識覆蓋下降,

只要:

QC(F)QC(F)Q_C(F')\approx Q_C(F)

核心認知保持,

並且可透過:

X\mathcal X

重新展開缺失能力。

因此:

CompressionFactorization.\boxed{ \text{Compression} \neq \text{Factorization}. }

2. 蒸餾也不是完整答案

Knowledge Distillation:

fS(x)fT(x).f_S(x) \approx f_T(x).

其核心通常是:

讓 student 模仿 teacher 的 output distribution、hidden states 或 task behavior。

但本文真正問:

哪些 teacher 能力值得被保留?

哪些能力可以故意不保留?

哪些能力應被改成 external dependency?

因此:

Teacher ImitationFunctional Allocation.\boxed{ \text{Teacher Imitation} \neq \text{Functional Allocation}. }

3. Pruning 也不是完整答案

Pruning 常尋找:

θi\theta_i

的重要性。

再移除:

θi0\theta_i\approx0

或低 saliency parameters。

但:

Parameter ImportanceCognitive Role.\boxed{ \text{Parameter Importance} \neq \text{Cognitive Role}. }

一個低 magnitude 參數也可能參與關鍵關係。

一個高 magnitude 參數也不等於 high-level reasoning operator。


4. Cognitive Factorization 的真正對象

本文不先假設:

factor=parameter subset.\boxed{ \text{factor} = \text{parameter subset}. }

Factor 可以是:

  • behavior;
  • feature;
  • representation subspace;
  • circuit;
  • expert;
  • routing path;
  • adapter;
  • learned operator;
  • cognitive operation;
  • external capability contract。

因此:

Z={z1,z2,,zn}\boxed{ \mathcal Z = \{ z_1,z_2,\ldots,z_n \} }

是一個多尺度候選因子集合。


5. 六種 Separability

5.1 Behavioral Separability

能力:

cc

在行為上可以單獨描述與測量。

例如:

Translate,Compile,UnknownDetect.\mathsf{Translate}, \quad \mathsf{Compile}, \quad \mathsf{UnknownDetect}.

5.2 Representational Separability

存在表示空間:

ZZ

使某能力具有較穩定方向、feature 或 cluster。


5.3 Mechanistic Separability

模型內存在某些因果機制:

McM_c

對能力 cc 有可辨識貢獻。


5.4 Parametric Separability

存在權重子集:

Θc\Theta_c

可以被修改、移除或獨立訓練,而不嚴重破壞其他能力。


5.5 Interface Separability

能力可以透過明確:

IcOcI_c\rightarrow O_c

接口被替換。


5.6 Operational Separability

能力可以在實際系統中被:

  • routed;
  • executed;
  • verified;
  • replaced;

並且總成本可接受。


6. 六種分離不等價

可能:

Behavioral=1,\text{Behavioral}=1,

但:

Parametric0.\text{Parametric}\approx0.

也可能:

Representational,\text{Representational}\uparrow,

但:

Operational.\text{Operational}\downarrow.

因此:

one successful interpretation result⇏factorization success.\boxed{ \text{one successful interpretation result} \not\Rightarrow \text{factorization success}. }

7. Sparse Autoencoder 提供一個候選入口

LLM representations 存在:

superposition.\boxed{ \text{superposition}. }

Sparse Autoencoder 嘗試把:

hh

表示成:

hWdz,\boxed{ h \approx W_d z, }

其中:

zz

是稀疏 feature activation。

這提供:

feature-level disentanglement candidate.\boxed{ \text{feature-level disentanglement candidate}. }

8. SAE 的價值

如果一個 feature:

ziz_i

跨多 prompt 具有穩定語義,

則:

representation factor\boxed{ \text{representation factor} }

可能成立。

它比直接把 neuron 當語義單位更合理。


9. 但 SAE 不是能力拆解器

SAE 的 feature 可以:

  • dead;
  • absorbed;
  • duplicated;
  • split;
  • merge;
  • layer-specific。

因此:

Sparse FeatureComplete Cognitive Capability.\boxed{ \text{Sparse Feature} \neq \text{Complete Cognitive Capability}. }

10. Feature Absorption

如果真正概念:

cc

被另一更高頻 feature 吸收,

則:

zcz_c

可能不存在清楚單位。

這表示:

disentanglement method\boxed{ \text{disentanglement method} }

本身會影響我們看到的「因子」。


11. Feature Non-Uniqueness

可能存在:

Z1Z_1

與:

Z2Z_2

兩套稀疏 dictionary,

都能良好重建:

h.h.

因此:

representation factorization\boxed{ \text{representation factorization} }

可能不是唯一。


12. RouteSAE 顯示跨層問題

如果能力跨:

l1,,lkl_1,\ldots,l_k

多層展開,

單層 SAE 可能看不到完整結構。

因此:

capabilitysingle-layer feature.\boxed{ \text{capability} \neq \text{single-layer feature}. }

13. Mechanistic Interpretability 不等於可抽離

假設 causal tracing 找到:

Mc.M_c.

仍然只能說:

Mc contributes causally.\boxed{ M_c \text{ contributes causally}. }

不能直接推出:

Mc can be extracted cleanly.\boxed{ M_c \text{ can be extracted cleanly}. }

14. Localization vs Editing 的直接反例

現有研究已顯示:

causal localization 所指向的 layer,不一定是 knowledge editing 最有效的位置。

因此:

Where behavior is localizedWhere behavior is easiest to change.\boxed{ \text{Where behavior is localized} \neq \text{Where behavior is easiest to change}. }

15. 這對 Factorization 很重要

如果:

localize(c)=Li\text{localize}(c)=L_i

但:

edit(c)\text{edit}(c)

最好在:

Lj,L_j,

那麼:

causal locus\boxed{ \text{causal locus} }

與:

control locus\boxed{ \text{control locus} }

不同。


16. Control Surface

本文提出:

Sccontrol\boxed{ \mathcal S_c^{control} }

表示最適合控制能力 cc 的介面。

它不必等於:

Sccausal.\mathcal S_c^{causal}.

17. 知識 Editing 也暴露關係傳播問題

若把 factual belief:

aba\rightarrow b

改掉,

真正系統還需要更新:

bc,b\rightarrow c, cd.c\rightarrow d.

如果只改 recall:

QlocalQ_{\mathrm{local}}\uparrow

但 multi-hop consequence 不更新,

就不是完整知識重構。


18. MQUAKE 的意義

MQUAKE 顯示:

local edit successrelational consistency.\boxed{ \text{local edit success} \neq \text{relational consistency}. }

這對 Cognitive Factorization 是非常重要的反例。


19. Cognitive Factor 是關係性物件

本文因此不把 factor 定義為:

zi.z_i.

更合理:

Fi=(zi,Ri,Ci,Di)\boxed{ F_i = ( z_i, R_i, C_i, D_i ) }

其中:

  • ziz_i:representation / mechanism;
  • RiR_i:relations;
  • CiC_i:constraints;
  • DiD_i:dependencies。

20. 分離能力不能切斷必要關係

如果:

FiF_i

被 externalize,

其必要 relation:

RijR_{ij}

也必須保持。

否則:

factor extractionsemantic amputation.\boxed{ \text{factor extraction} \rightarrow \text{semantic amputation}. }

21. Model Merging 提供另一個觀察窗

若不同 task models:

M1,M2M_1,M_2

可以 merge 成:

M12,M_{12},

表示某些能力可能具有:

parameter-space composability.\boxed{ \text{parameter-space composability}. }

22. Task Vectors

對 base model:

θ0\theta_0

與 finetuned:

θt,\theta_t,

task vector:

τt=θtθ0.\boxed{ \tau_t = \theta_t-\theta_0. }

若:

θ0+τ1+τ2\theta_0+\tau_1+\tau_2

能保持兩項能力,

表示某種局部近似線性 composability。


23. 但 Task Arithmetic 不是認知代數

如果 task vectors 可以相加,

不能推出:

all cognition is linearly composable.\boxed{ \text{all cognition is linearly composable}. }

模型 parameter space:

  • nonlinear;
  • symmetry-rich;
  • representation-dependent。

因此 task arithmetic 只是有限條件下的證據。


24. Model Merging 的干擾

如果:

τ1\tau_1

與:

τ2\tau_2

衝突,

則:

Q12<Q1,Q2.Q_{12}<Q_1,Q_2.

這就是:

factor interference.\boxed{ \text{factor interference}. }

25. BAR 提供 Modular Post-Training 證據

BAR 能把 math、code、tool-use、safety 等 domain experts 分開 post-train,再透過 MoE router 組合。

這支持:

capability-local update\boxed{ \text{capability-local update} }

在某些結構下可行。


26. BAR 也提供 Forgetting 對照

Monolithic continued post-training 可能:

new capability\text{new capability}\uparrow

同時:

old capability.\text{old capability}\downarrow.

這是 catastrophic forgetting。

分離 expert 可以降低:

cross-capability interference.\boxed{ \text{cross-capability interference}. }

27. 因此 Modularization 有價值

若能力更新可以局部化:

Δci\boxed{ \Delta c_i }

不必重做:

j,Δcj,\forall j,\Delta c_j,

則:

maintenance cost.\boxed{ \text{maintenance cost} \downarrow. }

28. 但 Modular Training 不等於 Mature Model Factorization

BAR 的 experts 是設計時/訓練時分支形成。

本文更難的問題是:

一個已經訓練完成的 monolithic frontier model,能不能事後重新因子化?

因此:

Native ModularityPost-Hoc Factorization.\boxed{ \text{Native Modularity} \neq \text{Post-Hoc Factorization}. }

29. Cognitive Factorization 的兩條路

路線 A:Reconstructive

FmatureKC+CQ+CX.\boxed{ F_{\mathrm{mature}} \rightarrow K_C+\mathcal C_Q+\mathcal C_X. }

先有成熟智能,

再重構。

路線 B:Native

train(KC,CQ,CX)\boxed{ \text{train} ( K_C, \mathcal C_Q, \mathcal C_X ) }

一開始就以 modular cognitive placement 為目標。


30. 第一代更可能是 Reconstructive

原因:

we already possess strong mature teachers.\boxed{ \text{we already possess strong mature teachers}. }

可以先觀察它們:

  • capability;
  • failure;
  • representation;
  • routing;
  • intervention。

再反推:

KC.K_C.

31. Native Training 需要更強理論

如果一開始就訓:

KC,K_C,

問題是:

我們是否知道哪些能力真正必要?

目前答案:

not sufficiently.\boxed{ \text{not sufficiently}. }

因此先研究 mature models 更務實。


32. 六算子總覽

本文正式提出:

F=(D,C,X,L,R,G).\boxed{ \mathfrak F = ( D,C,X,L,R,G ). }

33. DD:Decompose

Decompose:

D(F)Z.\boxed{ D(F) \rightarrow \mathcal Z. }

目標:

找到可被研究的能力因子候選。

不是立刻切權重。


34. Decomposition 可以多尺度

Z=ZBZRZMZPZO.\mathcal Z = \mathcal Z_B \cup \mathcal Z_R \cup \mathcal Z_M \cup \mathcal Z_P \cup \mathcal Z_O.

其中:

  • behavior;
  • representation;
  • mechanism;
  • parameter;
  • operation。

35. Decomposition 的第一個成功條件

候選 factor:

ziz_i

至少需要:

repeatability.\boxed{ \text{repeatability}. }

也就是跨:

  • prompt;
  • sample;
  • seed;

仍然有穩定訊號。


36. 第二個條件:Specificity

ziz_i

對某能力:

cc

比其他能力有更高辨識力。


37. 第三個條件:Causality

干預:

ziz_i

應對:

Q(c)Q(c)

產生可重複影響。


38. 第四個條件:Boundary

必須知道:

where the factor stops.\boxed{ \text{where the factor stops}. }

如果:

ziz_i

影響所有能力,

它可能是 shared substrate,

不是 specialized factor。


39. CC:Compress

Compression:

C(ZR)KC.\boxed{ C( \mathcal Z_R ) \rightarrow K_C. }

其中:

ZR\mathcal Z_R

是高 resident-value cognition。


40. Compression 目標不是最小參數

真正目標:

maxQcoreCresident\boxed{ \max \frac{ Q_{\mathrm{core}} }{ C_{\mathrm{resident}} } }

subject to:

QgeneralizationθG.Q_{\mathrm{generalization}} \ge \theta_G.

41. 需要保留 Generalization

如果壓縮後:

QbenchmarkQFQ_{\mathrm{benchmark}}\approx Q_F

但:

Qnovel,Q_{\mathrm{novel}}\downarrow\downarrow,

則:

compression failed cognitively.\boxed{ \text{compression failed cognitively}. }

42. Counterfactual Tasks 很重要

標準 benchmark 可能只是:

reciting.\text{reciting}.

Counterfactual variants 可以測:

procedure transfer.\boxed{ \text{procedure transfer}. }

因此適合判斷:

壓縮保留的是抽象能力,還是 memorized surface behavior?


43. Compression 不能只蒸餾答案

如果只 imitation:

yTyS,y_T\rightarrow y_S,

可能保留:

surface behavior\text{surface behavior}

但失去:

reasoning flexibility.\text{reasoning flexibility}.

因此需要:

structural preservation tests.\boxed{ \text{structural preservation tests}. }

44. XX:Expand / Externalize

Expansion:

X(KC,T,X)ZT.\boxed{ X( K_C, T, \mathcal X ) \rightarrow Z_T. }

它把:

compressed core\text{compressed core}

與:

external capability\text{external capability}

組成任務暫時狀態。


45. Expansion 不是 Retrieval

Retrieval:

qdocuments.q\rightarrow documents.

Expansion:

(KC,evidence,expert,tool,state)ZT.\boxed{ ( K_C, evidence, expert, tool, state ) \rightarrow Z_T. }

它是一個:

temporary cognition construction.\boxed{ \text{temporary cognition construction}. }

46. Expansion 需要任務條件化

同一 core:

KCK_C

對:

T1T_1

與:

T2T_2

展開:

ZT1ZT2.Z_{T_1}\neq Z_{T_2}.

因此:

cognition becomes dynamically instantiated.\boxed{ \text{cognition becomes dynamically instantiated}. }

47. LL:Link

Link:

L:(KC,Xi)Ii.\boxed{ L: ( K_C, X_i ) \rightarrow \mathcal I_i. }

其中:

Ii\mathcal I_i

是可用 interface。


48. Linking 是整個架構的命門

如果 core 知道:

我需要數學能力。

但無法把:

stateMstate_M

轉成 external expert 可理解的:

Ci,C_i,

externalization 就失敗。


49. Linking 不只是文字 Prompt

可能的 link:

  • text;
  • JSON;
  • graph;
  • embedding;
  • symbolic state;
  • program;
  • latent packet。

因此:

Interface Representation\boxed{ \text{Interface Representation} }

本身是研究變數。


50. Link Fidelity

定義:

FL=Q(XiIi)Q(XiIi).\boxed{ F_L = \frac{ Q( X_i\mid\mathcal I_i ) }{ Q( X_i\mid\mathcal I_i^\ast ) }. }

若:

FL1,F_L\ll1,

表示 interface 丟失關鍵認知狀態。


51. RR:Reconcile

Reconcile:

R(KC,OX,E)O.\boxed{ R( K_C, O_X, E ) \rightarrow O^\ast. }

其中:

  • OXO_X:external outputs;
  • EE:evidence。

52. Reconcile 處理衝突

如果:

X1(T)X2(T),X_1(T)\neq X_2(T),

不能只:

Vote.\operatorname{Vote}.

需要比較:

  • source;
  • assumptions;
  • task fit;
  • verifier;
  • version;
  • evidence。

53. Reconcile 與 Knowledge Editing 的關係

如果 external evidence:

ee

與 resident belief:

kk

衝突,

系統不應:

immediately overwrite k.\boxed{ \text{immediately overwrite }k. }

而應建立:

contested state.\boxed{ \text{contested state}. }

54. GG:Converge

Converge:

G(KC,ΔT,E)KC.\boxed{ G( K_C, \Delta_T, E ) \rightarrow K_C'. }

其中:

ΔT\Delta_T

是任務中產生的可重用增量。


55. Converge 不是把所有任務資訊塞回 Core

如果每次:

ZTKC,Z_T \rightarrow K_C,

則:

KCK_C

很快重新膨脹。

因此需要:

Selective Consolidation.\boxed{ \text{Selective Consolidation}. }

56. 哪些東西值得 Converge?

候選包括:

  • new reasoning operator;
  • stable capability boundary;
  • reusable verifier policy;
  • high-frequency relation;
  • corrected core assumption。

不一定包括:

  • raw documents;
  • one-off facts;
  • temporary API response。

57. Core Update Gate

概念:

KC=Commit(KC,Δ,V,R).\boxed{ K_C' = \operatorname{Commit} ( K_C, \Delta, V, R ). }

需要:

V(Δ)θV,V(\Delta)\ge\theta_V, Regression(Δ)θR.\operatorname{Regression}(\Delta)\le\theta_R.

58. 六算子不是線性流水線

實際可能:

DCLXRGD \rightarrow C \rightarrow L \rightarrow X \rightarrow R \rightarrow G

但也可能:

RDR \rightarrow D

因為新的衝突讓系統重新分解能力。

因此:

F\boxed{ \mathfrak F }

應被視為 operator graph,

不是固定 sequence。


59. Factorization Graph

定義:

GF=(VF,EF)\boxed{ G_F = ( V_F, E_F ) }

其中:

VF={D,C,X,L,R,G}.V_F = \{ D,C,X,L,R,G \}.

邊表示依賴與反饋。


60. Factorization Quality

定義:

QF=f(Ppreserve,Ssep,FL,QR,QG,Ctotal).\boxed{ Q_F = f( P_{\mathrm{preserve}}, S_{\mathrm{sep}}, F_L, Q_R, Q_G, C_{\mathrm{total}} ). }

其中:

  • PpreserveP_{\mathrm{preserve}}:能力保留;
  • SsepS_{\mathrm{sep}}:可分性;
  • FLF_L:link fidelity;
  • QRQ_R:reconciliation quality;
  • QGQ_G:convergence stability。

61. Compression Ratio 不是 Factorization Quality

即使:

PFPC=10,\frac{ P_F }{ P_C } =10,

如果:

QR,Q_R\downarrow, QG,Q_G\downarrow,

整體仍然失敗。


62. Factorization 必須看 System Utility

最終:

Ufact=QverifiedλCsystemμRintegration.\boxed{ U_{\mathrm{fact}} = Q_{\mathrm{verified}} - \lambda C_{\mathrm{system}} - \mu R_{\mathrm{integration}}. }

而不是:

model bytes saved.\boxed{ \text{model bytes saved}. }

63. Cognitive Density 是 Factorization 的目標函數之一

Paper 02 定義:

DM.D_M.

理想 Factorization:

DMfactorized>DMmonolithic.\boxed{ D_M^{\mathrm{factorized}} > D_M^{\mathrm{monolithic}}. }

64. Resident Core 必須保持 Epistemic Sovereignty

如果 factorized core:

KCK_C

無法驗證外部 experts,

那它只是:

highly compressed router.\boxed{ \text{highly compressed router}. }

因此 Paper 03 的:

BE,BM,BGB_E, B_M, B_G

必須保留。


65. Externalization 可能降低 Knowledge Update Cost

快速變動 facts:

k(t)k(t)

如果 resident:

retraining cost.\text{retraining cost}\uparrow.

如果 external:

update memory / source.\text{update memory / source}.

因此:

surface externalization\boxed{ \text{surface externalization} }

可能降低版本成本。


66. MQUAKE 的另一個啟示

外部 memory 可以避免直接 weight edit 的某些 propagation 問題。

但:

external memory\boxed{ \text{external memory} }

仍需要:

  • retrieval;
  • decomposition;
  • self-check。

這再一次說明:

core cognition remains necessary.\boxed{ \text{core cognition remains necessary}. }

67. Model Merging 與 Reconvergence

如果兩個 factorized experts:

E1,E2E_1,E_2

要重新合併:

E12,E_{12},

可能使用:

  • parameter merge;
  • router;
  • ensemble;
  • adapter composition;
  • external coordination。

因此:

Reconvergence\boxed{ \text{Reconvergence} }

可以有多種物理形式。


68. Logical Reconvergence

不一定要:

θ1+θ2.\theta_1+\theta_2.

也可以:

shared system state\boxed{ \text{shared system state} }

讓多個 experts 表現成一個 intelligence。

這是本文非常重要的擴張。


69. One Intelligence 不必 One Parameter Tensor

如果:

M+X1++XnM + X_1+\cdots+X_n

共享:

  • goals;
  • state;
  • epistemic rules;
  • verification;
  • memory;

則:

system continuity\boxed{ \text{system continuity} }

不必來自單一 tensor。


70. 但 Continuity 不能只是 UI Illusion

如果每個 component:

  • goals 不一致;
  • memory 不一致;
  • policy 不一致;

只是前端看起來同一聊天介面,

則:

not one coherent cognitive system.\boxed{ \text{not one coherent cognitive system}. }

71. Reconvergence Consistency

定義:

CG=Consistency(Gt,Mt,Pt,Et).\boxed{ C_G = \operatorname{Consistency} ( G_t, M_t, P_t, E_t ). }

其中:

  • goals;
  • memory;
  • policy;
  • evidence。

72. Dynamic Factorization

能力 placement:

pt(c){R,Q,X}.p_t(c) \in \{ R,Q,X \}.

未來:

pt+1(c)pt(c)\boxed{ p_{t+1}(c) \neq p_t(c) }

可以成立。


73. 因此 Factorization 是動態的

一個能力今天:

XX

外部,

明天因高頻使用變成:

Q,Q,

最後:

R.R.

反之亦然。


74. Capability Lifecycle

DiscoverProbeExternalizeMeasureInternalize / Retire.\boxed{ \text{Discover} \rightarrow \text{Probe} \rightarrow \text{Externalize} \rightarrow \text{Measure} \rightarrow \text{Internalize / Retire}. }

這是 placement lifecycle。


75. Factorization 也需要版本化

每次:

FtFt+1\mathfrak F_t \rightarrow \mathfrak F_{t+1}

應保存:

  • evidence;
  • reason;
  • regression;
  • cost;
  • rollback。

76. Cannot Assume Clean Ontology

我們可能把能力分類成:

  • reasoning;
  • memory;
  • planning;

但模型內部不一定遵守這些 human categories。

因此:

human ontologymodel factorization.\boxed{ \text{human ontology} \neq \text{model factorization}. }

77. Factor Discovery 必須允許 Unexpected Factors

可能出現:

ziz_i

無法用現有詞彙簡單描述。

不能因為:

不像人類能力分類

就丟掉。


78. Parallel Hypothesis Expansion

因此研究應允許:

H1,H2,,HnH_1,H_2,\ldots,H_n

多個能力解釋並行。

不要早期:

H1canonical truth.\boxed{ H_1\rightarrow\text{canonical truth}. }

79. Mechanical Evidence 與 AI Interpretation 分離

機械層保存:

  • activation;
  • routing;
  • ablation;
  • loss delta;
  • edit delta;
  • merge delta;
  • hashes。

AI 層產生:

  • labels;
  • hypotheses;
  • explanations。

因此:

InterpretationEvidence.\boxed{ \text{Interpretation} \neq \text{Evidence}. }

80. Multi-AI Parallel Research

不同 AI 可以分別:

  • interpret representation;
  • search counterexamples;
  • analyze causal effects;
  • inspect systems cost;
  • critique factor labels。

最後才:

Synthesize.\boxed{ \operatorname{Synthesize}. }

81. 這也是 Factorization 自身的測試

如果不同 AI:

A1,,AnA_1,\ldots,A_n

對同一 mechanism 形成不同分解,

就表示:

factor ontology uncertain.\boxed{ \text{factor ontology uncertain}. }

這個 disagreement 本身是 evidence。


82. Factor Stability

定義:

SF(z)=Stability(zprompt,dataset,checkpoint,architecture).\boxed{ S_F(z) = \operatorname{Stability} ( z \mid prompt, dataset, checkpoint, architecture ). }

越穩定,

越適合作為 reusable factor。


83. Cross-Architecture Factor

最有價值的可能不是:

same neurons.\text{same neurons}.

而是:

same functional factor\boxed{ \text{same functional factor} }

在不同模型由不同機制實現。


84. Functional Homology

定義:

zi(A)Fzj(B)\boxed{ z_i^{(A)} \sim_F z_j^{(B)} }

若兩者在:

  • task effect;
  • failure;
  • interface;
  • substitution;

上功能同構。

這可以支援跨模型 external expert taxonomy。


85. Factor Substitution

若:

ziz_i

移除後,

外部:

XjX_j

可以恢復:

Q,Q,

則:

Xj\boxed{ X_j }

是 functional substitute candidate。


86. Restoration Score

RS=Q(zi+Xj)Q(zi)QQ(zi).\boxed{ R_S = \frac{ Q(-z_i+X_j)-Q(-z_i) }{ Q-Q(-z_i) }. }

若:

RS1,R_S\rightarrow1,

表示恢復大部分缺失功能。


87. Restoration 不代表相同機制

XjX_j

可以用完全不同算法完成相同功能。

因此:

functional substitutionmechanistic identity.\boxed{ \text{functional substitution} \neq \text{mechanistic identity}. }

88. 這正是 Externalization 所需要的

Externalization 不要求:

把 expert 原封不動搬出去。

只要求:

system-level function remains available.\boxed{ \text{system-level function remains available}. }

89. Factorization 與 Knowledge Externalization

對表層知識:

kk

externalization 更容易,

因為:

retrieve(k)\text{retrieve}(k)

常有明確 interface。


90. Factorization 與 Reasoning Externalization

對 reasoning operator:

rr

更困難,

因為它可能:

  • high frequency;
  • low latency;
  • deeply integrated;
  • hard to verify。

因此:

NR(r)N_R(r)\uparrow

通常較高。


91. Meta-Cognition 更難外置

如果:

UnknownDetection\mathsf{UnknownDetection}

都要 externalize,

Mother AI 要先知道:

是否需要問外部 unknown detector。

形成:

meta-recursion.\boxed{ \text{meta-recursion}. }

因此某些 meta primitives 必須 resident。


92. Factorization 的核心不是「越模組化越好」

過度模組化:

NmoduleN_{\mathrm{module}}\uparrow

會增加:

Cinterface+Ccoordination.C_{\mathrm{interface}} + C_{\mathrm{coordination}}.

因此存在:

optimal modularity.\boxed{ \text{optimal modularity}. }

93. Modularity Frontier

M=argmaxMQverifiedCcompute+Cinterface+Ccoord.\boxed{ M^\ast = \arg\max_M \frac{ Q_{\mathrm{verified}} }{ C_{\mathrm{compute}} + C_{\mathrm{interface}} + C_{\mathrm{coord}} }. }

94. Coarse Factors vs Fine Factors

因子太粗:

externalization gain.\text{externalization gain}\downarrow.

因子太細:

interface cost.\text{interface cost}\uparrow.

因此:

factor granularity crossover.\boxed{ \text{factor granularity crossover}. }

95. Factor Boundary 要靠實驗,不靠命名

若一個 factor:

ziz_i

在不同 task:

T1,T2T_1,T_2

都必要,

就可能不是 task-specific。

反之:

zjz_j

只在:

T3T_3

必要,

較像 conditional factor。


96. Factor Dependency Graph

定義:

GZ=(Z,EZ,ωZ).\boxed{ G_Z = ( \mathcal Z, E_Z, \omega_Z ). }

邊:

zizjz_i\rightarrow z_j

表示 dependency。


97. Factorization 不能忽略圖結構

如果只保留:

Z\mathcal Z

節點,

不保留:

EZ,E_Z,

則:

bag of capabilitiesintelligence.\boxed{ \text{bag of capabilities} \neq \text{intelligence}. }

98. Intelligence 可能主要存在關係中

一個很重要的命題:

Intelligence⊈individual factors only.\boxed{ \text{Intelligence} \not\subseteq \text{individual factors only}. }

能力可能來自:

relations among factors.\boxed{ \text{relations among factors}. }

99. 因此「拆乾淨」可能本身是錯誤目標

如果所有關係都切斷,

得到的不是:

modular intelligence,\text{modular intelligence},

而是:

dead parts.\boxed{ \text{dead parts}. }

100. Better Goal: Controlled Coupling

因此真正目標可能是:

Controlled Coupling\boxed{ \text{Controlled Coupling} }

而不是:

Complete Independence.\boxed{ \text{Complete Independence}. }

101. Factor Interface 是關係的可控化

如果:

ziz_i

與:

zjz_j

必須互動,

就建立:

Iij\boxed{ I_{ij} }

明確 interface。

因此 modularity 的本質:

make coupling explicit.\boxed{ \text{make coupling explicit}. }

102. Cognitive Compiler

概念上:

Compile:implicit couplingexplicit interface.\boxed{ \mathsf{Compile} : \text{implicit coupling} \rightarrow \text{explicit interface}. }

這是未來很重要的方向。

本文不公開實作。


103. Factorization 的十四類失敗模式

103.1 Behavioral-Mechanistic Confusion

行為可描述就誤認機制可分離。

103.2 Interpretability-Extractability Confusion

feature 可解釋就誤認可抽離。

103.3 Localization-Control Confusion

因果定位位置被誤當最佳控制位置。

103.4 Local Edit Propagation Failure

局部修改沒有更新衍生關係。

103.5 Catastrophic Forgetting

新因子導致舊能力崩潰。

103.6 Factor Interference

合併 factors 後互相破壞。

103.7 Overcompression

核心過小,generalization 崩潰。

103.8 Surface Memorization Preservation

保留 benchmark behavior,卻丟掉抽象能力。

103.9 Interface Loss

外部 link 丟失關鍵 latent state。

103.10 Reconvergence Conflict

external results 無法一致整合。

103.11 Core Re-Inflation

Converge 把所有資訊重新塞回 core。

103.12 Ontology Lock-In

早期錯誤 factor labels 限制後續研究。

103.13 Excessive Modularity

module 數過多,coordination cost 爆炸。

103.14 Relation Amputation

切出 factors 時破壞真正重要的跨 factor 關係。


104. 十六項主要命題

命題 1:Factorization 非 Compression 命題

Cognitive FactorizationModel Compression.\boxed{ \text{Cognitive Factorization} \neq \text{Model Compression}. }

命題 2:Separability 多層命題

Behavioral、Representational、Mechanistic、Parametric、Interface、Operational separability 不等價。

命題 3:Interpretability 非 Extractability 命題

Interpretability⇏Extractability.\boxed{ \text{Interpretability} \not\Rightarrow \text{Extractability}. }

命題 4:Localization 非 Control 命題

Causal LocusOptimal Control Surface.\boxed{ \text{Causal Locus} \neq \text{Optimal Control Surface}. }

命題 5:Local Edit 非 Relational Update 命題

局部 factual edit 成功不能保證衍生關係一致。

命題 6:Post-Hoc Factorization 難於 Native Modularity 命題

成熟 monolithic model 的事後因子化比設計時 modular training 更困難。

命題 7:Functional Preservation 命題

Factorization 的主要目標是保留 cognition,不是最大化 parameter reduction。

命題 8:Externalization Requires Linking 命題

沒有高 fidelity interface,external capability 不構成可用能力。

命題 9:Reconciliation Required 命題

多 expert outputs 需要 evidence-aware reconciliation。

命題 10:Selective Convergence 命題

任務結果只有可重用、高證據價值部分才應進 resident core。

命題 11:Factor Graph 命題

智能能力不只存在因子本身,也存在因子關係中。

命題 12:Controlled Coupling 命題

最佳 modularity 可能不是完全獨立,而是可治理的顯式耦合。

命題 13:Dynamic Placement 命題

能力可以在 Resident、Conditional、External 間動態遷移。

命題 14:Functional Homology 命題

不同模型可以由不同機制實現功能同構的 cognitive factors。

命題 15:Restoration 命題

若外部 factor 可恢復移除能力的大部分 verified utility,則 externalization 具有實證支持。

命題 16:System-Level Reconvergence 命題

One coherent intelligence 不必要求所有能力重新合併成 one parameter tensor。


105. 十二組可否證實驗

實驗 1:Behavior vs Mechanism

建立行為清楚的 task family,測是否存在穩定 mechanistic factor。

實驗 2:SAE Feature Replication

跨 seed、dictionary size、layer 比較 factor stability:

SF.S_F.

實驗 3:Localization vs Editing

比較 causal locus 與最佳 editing location 的一致性。

實驗 4:Local Edit Propagation

單點 factual edit 後測 multi-hop consistency。

實驗 5:Task Vector Composition

測:

τ1+τ2\tau_1+\tau_2

在不同能力對上的 interference。

實驗 6:BAR / Modular Expert Comparison

比較 modular post-training 與 monolithic continual training 的 forgetting。

實驗 7:Core Compression Sweep

逐步降低 resident capacity,測 QCQ_C 、counterfactual generalization 與 DMD_M

實驗 8:External Restoration

移除某能力因子後,用 external expert 恢復,測:

RS.R_S.

實驗 9:Interface Representation Sweep

比較 text、structured、graph、programmatic interfaces 的:

FL.F_L.

實驗 10:Factor Granularity Sweep

比較 coarse / medium / fine modules 的 verified utility 與 coordination cost。

實驗 11:Reconvergence Stress Test

讓多 experts 提供衝突 outputs,測 evidence-aware reconciliation。

實驗 12:Longitudinal Convergence

長期任務下持續 core update,測:

  • drift;
  • re-inflation;
  • regression;
  • rollback。

106. 什麼結果會支持本文?

以下結果會支持:

  1. 能力 factor 在多種表示方法下具有一定穩定性;
  2. 部分能力可被局部干預並具有 task-specific causal effect;
  3. modular post-training 明顯降低 forgetting;
  4. smaller core 在 external expansion 後恢復大部分 system utility;
  5. external restoration score 高;
  6. interface fidelity 可達可接受水平;
  7. relation-aware factor graph 比 isolated factor list 更能預測性能;
  8. selective convergence 可以維持 core size;
  9. factor placement 動態調整可提高 Cognitive Density;
  10. system-level reconvergence 不需要重新 merge 所有 weights;
  11. cross-model functional homology 可重複;
  12. counterfactual task 上保留抽象能力而非只保留 memorized behavior。

107. 什麼結果會削弱本文?

以下結果會削弱:

  1. factor maps 對方法與 seed 極端不穩;
  2. SAE features 幾乎無法提供 causal control;
  3. 所有高階能力都高度 distributed 且不可替換;
  4. post-hoc factorization 一旦壓縮就嚴重掉 generalization;
  5. external interface 無法保持關鍵認知狀態;
  6. reconvergence cost 長期高於 monolithic inference;
  7. external restoration 無法補回失去能力;
  8. module granularity 不存在任何有利區間;
  9. task vector / merge 類方法在大模型持續出現嚴重 interference;
  10. Minimum Sufficient Core 無法在不同 task distribution 重用;
  11. factorized system 長期漂移比 monolithic model 更嚴重;
  12. relation preservation 的成本接近保存整個原模型。

108. 公開命題與未公開方法的邊界

本文公開:

  • 六算子 D,C,X,L,R,GD,C,X,L,R,G
  • separability taxonomy;
  • factor graph;
  • restoration / interface / reconvergence 的量測問題;
  • public experiments;
  • falsification criteria。

本文不公開任何:

  • private mechanistic search procedure;
  • high-dimensional capability projection;
  • weight map;
  • parameter extraction algorithm;
  • latent factor compiler;
  • external bridge representation;
  • capability substitution optimizer;
  • reconvergence training;
  • core convergence criterion 的私人實作。

因此:

Problem ArchitectureSolution Architecture.\boxed{ \text{Problem Architecture} \neq \text{Solution Architecture}. }

109. 與 Paper 07 的銜接

Paper 06 已經提出:

D,C,X,L,R,G.D,C,X,L,R,G.

但其中:

X,L,R,GX,L,R,G

都依賴一個尚未深入研究的問題:

外部資料、外部 expert 與 temporary cognition 到底如何被編譯成 Mother AI 當下可使用的認知狀態?

因此下一篇:

External ExpansionRetrieval.\boxed{ \text{External Expansion} \neq \text{Retrieval}. }

Paper 07 將集中處理:

InformationTask-Compatible Cognition.\boxed{ \text{Information} \rightarrow \text{Task-Compatible Cognition}. }

110. 結論

成熟 Frontier AI 已經不是一張可以簡單切成:

knowledge+reasoning\text{knowledge} + \text{reasoning}

的資料表。

它更像:

high-dimensional entangled cognitive system.\boxed{ \text{high-dimensional entangled cognitive system}. }

其中 language、world knowledge、representation、reasoning、meta-cognition、task patterns 與 learned heuristics 高度交織。

因此真正困難的問題不是:

刪掉哪些「不需要的參數」?

而是:

如何重新組織一個已經成熟的智能,\boxed{ \text{如何重新組織一個已經成熟的智能,} }

同時保留:

  • relations;
  • generalization;
  • epistemic control;
  • capability boundaries;
  • ability to expand again。

本文把這個問題定義為:

Cognitive Factorization Problem.\boxed{ \text{Cognitive Factorization Problem}. }

並以:

F=(D,C,X,L,R,G)\boxed{ \mathfrak F = ( D, C, X, L, R, G ) }

描述其六個核心研究算子。

其中:

DD

不是找「哪個參數是某個知識」,

而是建立可檢驗的能力因子。

CC

不是只縮小模型,

而是保存高價值 resident cognition。

XX

不是普通 retrieval,

而是按需建立 temporary cognition。

LL

不是 prompt forwarding,

而是保持 capability interface fidelity。

RR

不是 majority vote,

而是 evidence-aware reconciliation。

GG

不是把所有結果再塞回 weights,

而是選擇性地讓真正穩定、可重用的認知結構重新進入核心。

因此本文最終主張:

The goal is not to split intelligence into dead pieces.\boxed{ \text{The goal is not to split intelligence into dead pieces.} }

真正目標是:

to make the couplings that constitute intelligence explicit, controllable, replaceable, and recomposable.\boxed{ \text{to make the couplings that constitute intelligence explicit, controllable, replaceable, and recomposable}. }

若這件事最終可行,

那麼未來 AI 的 scaling 不再只有:

more parameters\boxed{ \text{more parameters} }

而會多出另一條路:

better cognitive factorization.\boxed{ \text{better cognitive factorization}. }

那時:

Resident Core+Conditional Capacity+External Capability\text{Resident Core} + \text{Conditional Capacity} + \text{External Capability}

就可能不只是系統工程拼接,

而是一種新的:

native architecture of expandable intelligence.\boxed{ \text{native architecture of expandable intelligence}. }

References

  1. Shu, D., et al. (2025). A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of Large Language Models. arXiv:2503.05613.
  2. Shi, W., et al. (2025). Route Sparse Autoencoder to Interpret Large Language Models. arXiv:2503.08200.
  3. Tang, Y., et al. (2025). On the Theoretical Foundation of Sparse Dictionary Learning in Mechanistic Interpretability. arXiv:2512.05534.
  4. Hase, P., Bansal, M., Kim, B., & Ghandeharioun, A. (2023). Does Localization Inform Editing? Surprising Differences in Causality-Based Localization vs. Knowledge Editing in Language Models. NeurIPS 2023.
  5. Zhong, Z., et al. (2023). MQUAKE: Assessing Knowledge Editing in Language Models via Multi-Hop Questions. EMNLP 2023.
  6. Meng, K., Bau, D., Andonian, A., & Belinkov, Y. (2022). Locating and Editing Factual Associations in GPT. NeurIPS 2022.
  7. Fu, Z., et al. (2025). Model Merging for Knowledge Editing. arXiv:2506.12384.
  8. Zhou, Y., et al. (2024). MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic. arXiv:2406.11385.
  9. Morrison, J., et al. (2026). Train Separately, Merge Together: Modular Post-Training with Mixture-of-Experts. arXiv:2604.18473.
  10. Sukhbaatar, S., et al. (2024). Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM. COLM 2024.
  11. Zhang, Q., et al. (2025). BTS: Harmonizing Specialized Experts into a Generalist LLM. EMNLP 2025.
  12. Wu, Z., et al. (2023). Reasoning or Reciting? Exploring the Capabilities and Limitations of Language Models Through Counterfactual Tasks. arXiv:2307.02477.
  13. Neo.K. & Aletheia. (2026). Cognitive Density Hypothesis:認知密度命題.
  14. Neo.K. & Aletheia. (2026). Resident Cognitive Core:Mother Model 到底必須常駐什麼?.
  15. Neo.K. & Aletheia. (2026). MoE as Conditional Intelligence:Shared Core、Routed Experts 與能力局部化.
  16. Neo.K. & Aletheia. (2026). Externalized Mixture of Cognitive Experts:為什麼 Expert 一定要住在同一個模型裡?.
  17. Neo.K. & Aletheia. (2026). 主 AI 的雙路形成命題:通用模型認知重構與持續養成式智能的發展路徑.
  18. Neo.K. & Aletheia. (2026). 認知原子因果基底命題:後設完備、基底稠密與表層稀疏主 AI 的跨尺度生成架構.

Canonical Source Note

本檔案為正式 UTF-8 Markdown canonical source。

數學 source 僅使用:

 $...$
$$...$$

本文為公開命題論文。

本文公開:

  • Cognitive Factorization Problem;
  • D,C,X,L,R,GD,C,X,L,R,G 六算子;
  • separability taxonomy;
  • factor graph / controlled coupling;
  • restoration / linking / reconciliation / convergence 的量測架構;
  • public falsification tests。

本文不公開任何未驗證或未公開的:

  • private mechanistic search;
  • capability projection;
  • weight-level factorization;
  • parameter extraction;
  • latent compiler;
  • external bridge;
  • substitution search;
  • reconvergence optimizer;
  • native core training / convergence method。

因此:

Public Factorization TheoryPrivate Factorization Method.\boxed{ \text{Public Factorization Theory} \neq \text{Private Factorization Method}. }