title: "矩陣原生智能:從多方向路由到 MMR-IFN 稀疏注意力"
title_en: "Matrix-Native Intelligence: From Multidirectional Routing to MMR-IFN Sparse Attention"
series: "矩陣原生智能與可稽核計算系列"
series_en: "Matrix-Native Intelligence and Auditable Computation Series"
series_id: "EML-MNIAC-2026"
paper_id: "EML-MNIAC-2026-08"
version: "v0.1"
date: "2026-08-17"
language: "zh-Hant"
document_type: "系列第08篇/Matrix-Native Intelligence/MMR-IFN 架構統合論文"
status: "Public Draft"
author: "Neo.K(許筌崴)/EveMissLab"
depends_on:
- "EML-MNIAC-2026-04 從二維表格到多向矩陣帳本 v0.1"
- "EML-MNIAC-2026-05 試算表智能的可證偽實驗 v0.1"
- "EML-MNIAC-2026-06 AI Matrix Ledger Format v0.1"
- "EML-MNIAC-2026-07 單一狀態、多重投影 v0.1"
internal_artifacts:
- "無限分形九宮格:基於多向矩陣表徵的遞歸計算拓撲"
- "MMR-IFN Transformer:基於遞歸多向路由的層級稀疏注意力架構 v0.1"
- "MMR-IFN-Transformer_v0.1 完整實作包"
canonical_keywords:
- Matrix-Native Intelligence
- MMR
- IFN
- MMR-IFN Transformer
- Sparse Attention
- Edge-list Attention
- Hierarchical Routing
- Recursive Addressing
- Route Certificate
- Structured Sparsity
- Long-Context Modeling
- Graph Attention
矩陣原生智能
從多方向路由到 MMR-IFN 稀疏注意力
Matrix-Native Intelligence: From Multidirectional Routing to MMR-IFN Sparse Attention
摘要
本文是《矩陣原生智能與可稽核計算》系列第 08 篇,重新回到本系列最強、也最需要節制的模型架構命題:
矩陣中的方向、區域、依賴、層級與遍歷資訊,能否不只作為外部 metadata,而真正進入神經模型的 interaction topology?
本文以多向矩陣表徵(MMR)、無限分形九宮格(Infinite Fractal Nonet, IFN)與既有最小原型 MMR-IFN Transformer v0.1 為內部基礎。IFN 不被視為「無限大模型」,而被定義成一個潛在無界、實際執行時始終有限的遞歸地址與路由語法。對任一次有限活動切片:
F a c t i v e \mathfrak F_{\mathrm{active}} F active
可編譯成:
F a c t i v e → compile G = ( V , E ) → sparse attention Y . \boxed{
\mathfrak F_{\mathrm{active}}
\xrightarrow{\operatorname{compile}}
G=(V,E)
\xrightarrow{\operatorname{sparse\ attention}}
Y.
} F active compile G = ( V , E ) sparse attention Y .
其中 token 狀態不只包含內容與原始序列位置:
z i = ( h i , p i , α i , ρ i , c i ) , z_i
=
(h_i,p_i,\alpha_i,\rho_i,c_i), z i = ( h i , p i , α i , ρ i , c i ) ,
還加入 IFN 地址 α i \alpha_i α i 、路由角色 ρ i \rho_i ρ i 與信心/風險狀態 c i c_i c i 。v0.1 使用確定性九元地址器,建立 SELF、LOCAL_FORWARD、LOCAL_BACKWARD、SAME_LEAF、ANCESTOR_UP、DESCENDANT_DOWN、SIBLING_REP、GLOBAL_ANCHOR 八種有向路由,再直接於 edge list 上執行 segment-softmax attention,而非先建構完整 n × n n\times n n × n mask。
既有原型在 CPU 環境中記錄 10/10 測試通過;當 n n n 從 81 增加至 6561 時,平均有效度數約介於 10.69–15.78,稀疏邊/dense pair 比例由 14.89% 下降至 0.24%。在「同一個固定路由圖」上,edge-list forward 相對未最佳化 dense masked reference 在 n = 81 , 243 , 729 , 1458 n=81,243,729,1458 n = 81 , 243 , 729 , 1458 時記錄約 7.27、12.54、11.95、21.75 的 CPU 執行比,數值最大誤差低於約 2.39 × 10 − 7 2.39\times10^{-7} 2.39 × 1 0 − 7 。
本文強調:這些結果只支持 edge-list sparse backend 在本原型、同圖比較、CPU 環境下成立 。它們不支持「語言模型快 21.75 倍」、不支持 GPU kernel 優勢、不支持訓練吞吐提升,也不支持 MMR-IFN 能維持或提高語言模型品質。
外部研究進一步收緊了這個邊界。Longformer、BigBird 與 Routing Transformer 已分別展示 local/global、random/global/local 與 content-based sparse attention;Graph Attention Networks 顯示 attention 本來就能直接作用於圖鄰居;FlashAttention 說明 wall-clock 效率高度依賴 IO-aware kernel,而不只取決於 asymptotic sparsity;較新的 Native Sparse Attention 則進一步把可訓練稀疏策略與現代硬體 kernel 對齊。因此,MMR-IFN 的研究增量不能只是「我們也做 sparse attention」,而必須被壓縮為:
可追溯層級地址 + 多類語義路由 + 固定骨架/可學捷徑分離 + 路由證書 + 跨表示血緣 \boxed{
\text{可追溯層級地址}
+
\text{多類語義路由}
+
\text{固定骨架/可學捷徑分離}
+
\text{路由證書}
+
\text{跨表示血緣}
} 可追溯層級地址 + 多類語義路由 + 固定骨架/可學捷徑分離 + 路由證書 + 跨表示血緣
是否能在具有真實階層與依賴結構的任務中,提供比 flat sparse、window sparse、graph message passing 或一般 learned routing 更好的品質—成本—可稽核性折衷。
本文因此把「矩陣原生智能」從口號改成一組可反證主張。其最弱版本已由原型支持:矩陣/層級結構可以被編譯成真正控制 attention 邊集合的神經 interaction graph。 其最強版本——「這種結構在大模型上具有普遍品質與效率優勢」——目前完全尚未成立。
1. 「矩陣原生」到底意味什麼?
如果一個 Transformer 的輸入只是:
x 1 , x 2 , … , x n x_1,x_2,\ldots,x_n x 1 , x 2 , … , x n
而「矩陣」只存在於:
UI;
預處理;
Excel;
JSON metadata;
最後進模型時全部被 flatten 成普通 sequence,
那麼:
Matrix-aware preprocessing ≠ Matrix-native model . \boxed{
\text{Matrix-aware preprocessing}
\neq
\text{Matrix-native model}.
} Matrix-aware preprocessing = Matrix-native model .
2. 本文採用的最低定義
定義 1 — Matrix-Native Interaction
若原始結構中的:
coordinate;
region;
direction;
hierarchy;
dependency;
route;
至少有一部分直接決定模型可建立的 interaction edges:
E = Γ ( P o s i t i o n , R e g i o n , D i r e c t i o n , H i e r a r c h y , D e p e n d e n c y , T a s k ) , E
=
\Gamma(
Position,
Region,
Direction,
Hierarchy,
Dependency,
Task
), E = Γ ( P os i t i o n , R e g i o n , D i r ec t i o n , H i er a r c h y , D e p e n d e n cy , T a s k ) ,
則稱模型具有某種:
Matrix-Native Interaction . \boxed{
\text{Matrix-Native Interaction}.
} Matrix-Native Interaction .
這個定義不要求模型內部真的保存一個 Excel grid。
它要求的是:
原始結構不能在進 attention 前完全消失。
3. 弱、中、強三種命題
3.1 弱命題
Structure → Sparse Attention Graph \boxed{
\text{Structure}
\rightarrow
\text{Sparse Attention Graph}
} Structure → Sparse Attention Graph
可以被工程實作。
目前已有原型支持。
3.2 中命題
對某類 structured tasks:
Q u a l i t y C o s t ( M M R - I F N ) > Q u a l i t y C o s t ( f l a t b a s e l i n e ) . QualityCost(MMR\text{-}IFN)
>
QualityCost(flat\ baseline). Q u a l i t y C os t ( M M R - I F N ) > Q u a l i t y C os t ( f l a t ba se l in e ) .
尚需 benchmark。
3.3 強命題
MMR-IFN is generally superior for large language models . \boxed{
\text{MMR-IFN is generally superior for large language models}.
} MMR-IFN is generally superior for large language models .
目前沒有證據。
4. IFN 不是 Transformer 的新名字
IFN 的概念層可寫:
I F N = M M R L o c a l U n i t + R e c u r s i v e A d d r e s s + R o u t i n g + E x p a n s i o n + S t o p p i n g + V e r i f i c a t i o n . \boxed{
IFN
=
MMRLocalUnit
+
RecursiveAddress
+
Routing
+
Expansion
+
Stopping
+
Verification.
} I F N = M M R L oc a l U ni t + R ec u r s i v e A dd r ess + R o u t in g + E x p an s i o n + S t o pp in g + V er i f i c a t i o n .
Transformer 只是其中一種有限 backend:
F a c t i v e → G → A t t e n t i o n . \mathfrak F_{\mathrm{active}}
\rightarrow
G
\rightarrow
Attention. F active → G → A tt e n t i o n .
因此:
I F N ≠ T r a n s f o r m e r . \boxed{
IFN
\neq
Transformer.
} I F N = T r an s f or m er .
5. 「Infinite」不是無限執行
IFN 的有限地址空間:
A < ω = ⋃ d = 0 ∞ Σ 9 d . \mathcal A_{<\omega}
=
\bigcup_{d=0}^{\infty}\Sigma_9^d. A < ω = d = 0 ⋃ ∞ Σ 9 d .
潛在無界地址:
A ω = Σ 9 N . \mathcal A_{\omega}
=
\Sigma_9^{\mathbb N}. A ω = Σ 9 N .
但任意時間:
A a c t i v e ( t ) ⊂ A < ω \mathcal A^{(t)}_{\mathrm{active}}
\subset
\mathcal A_{<\omega} A active ( t ) ⊂ A < ω
且:
∣ A a c t i v e ( t ) ∣ < ∞ . \boxed{
|\mathcal A^{(t)}_{\mathrm{active}}|<\infty.
} ∣ A active ( t ) ∣ < ∞.
所以:
Unbounded Grammar ≠ Infinite Runtime . \boxed{
\text{Unbounded Grammar}
\neq
\text{Infinite Runtime}.
} Unbounded Grammar = Infinite Runtime .
6. 九宮格不是本體必然
IFN 使用:
Σ 9 = { 0 , … , 8 } . \Sigma_9
=
\{0,\ldots,8\}. Σ 9 = { 0 , … , 8 } .
原因包括:
中心+八方向;
二維視覺直覺;
固定 fanout;
容易遞歸地址化。
但可以一般化為:
Σ b . \Sigma_b. Σ b .
所以:
b = 9 \boxed{
b=9
} b = 9
是設計選擇,
不是:
宇宙級最佳分支數 . \boxed{
\text{宇宙級最佳分支數}.
} 宇宙級最佳分支數 .
7. MMR Local Unit
定義:
M α = ( X α , D α , R α , P α , L α , C α , B α ) . \mathcal M_{\alpha}
=
(
X_{\alpha},
D_{\alpha},
R_{\alpha},
P_{\alpha},
L_{\alpha},
C_{\alpha},
B_{\alpha}
). M α = ( X α , D α , R α , P α , L α , C α , B α ) .
其中:
X α X_\alpha X α :局部 state;
D α D_\alpha D α :direction semantics;
R α R_\alpha R α :routes;
P α P_\alpha P α :traversal / update order;
L α L_\alpha L α :lineage;
C α C_\alpha C α :confidence / uncertainty;
B α B_\alpha B α :budget。
這延續前幾篇的一條主線:
矩陣不是只保存 value。 \boxed{
\text{矩陣不是只保存 value。}
} 矩陣不是只保存 value 。
8. Token 狀態
MMR-IFN Transformer v0.1 對 token i i i 定義:
z i = ( h i , p i , α i , ρ i , c i ) . \boxed{
z_i
=
(h_i,p_i,\alpha_i,\rho_i,c_i).
} z i = ( h i , p i , α i , ρ i , c i ) .
其中:
h i ∈ R d h_i\in\mathbb R^d h i ∈ R d
是內容,
p i p_i p i
是原始 sequence position,
α i \alpha_i α i
是 IFN address,
ρ i \rho_i ρ i
是 routing role,
c i c_i c i
是 confidence / risk / route state。
9. Address 不能取代 Position
必須:
α i ≠ p i . \boxed{
\alpha_i
\neq
p_i.
} α i = p i .
IFN address 決定:
token 可以和哪些位置交互?
position mechanism 回答:
原始順序/相對位置是什麼?
所以即使使用 IFN:
RoPE;
ALiBi;
learned position;
仍可能存在。
10. v0.1 的確定性地址器
給定:
sequence length n n n ;
target leaf size s s s ;
branch b = 9 b=9 b = 9 ;
深度:
D = max ( 1 , ⌈ log 9 n s ⌉ ) . D
=
\max
\left(
1,
\left\lceil
\log_9\frac ns
\right\rceil
\right). D = max ( 1 , ⌈ log 9 s n ⌉ ) .
再以 normalized sequence position:
x i = i + 1 / 2 n x_i
=
\frac{i+1/2}{n} x i = n i + 1/2
逐層取九元區間。
11. 地址器的目的不是語義最優
此地址器的優點:
deterministic;
order-preserving;
O ( n D ) O(nD) O ( n D ) ;
no training;
replayable。
缺點:
Address depends on position, not semantics . \boxed{
\text{Address depends on position, not semantics}.
} Address depends on position, not semantics .
所以它是一個:
Control Baseline . \boxed{
\text{Control Baseline}.
} Control Baseline .
不是完整 intelligence。
12. 為什麼先固定地址反而重要?
如果第一版同時學:
address;
route;
attention;
task;
成功時無法知道:
到底哪一層有用?
所以 v0.1 刻意把:
A d d r e s s L e a r n i n g = 0. AddressLearning=0. A dd r ess L e a r nin g = 0.
這是和 MMR-Bench 相同的研究節制:
One new uncertainty at a time . \boxed{
\text{One new uncertainty at a time}.
} One new uncertainty at a time .
13. 前綴群組
對地址前綴:
π \pi π
與深度 d d d :
G d , π = { i ∣ α i [ : d ] = π } . G_{d,\pi}
=
\{i\mid \alpha_i[:d]=\pi\}. G d , π = { i ∣ α i [ : d ] = π } .
v0.1 選:
r ( G d , π ) r(G_{d,\pi}) r ( G d , π )
為該群組中位 token,
作 deterministic representative。
14. 代表 token 的問題
這樣不增加:
n . n. n .
但它同時讓某個真實 token 承擔:
content role;
routing-control role。
可能產生:
C o n t e n t C o n t r o l E n t a n g l e m e n t . \boxed{
ContentControlEntanglement.
} C o n t e n tC o n t r o l E n t an g l e m e n t .
所以後續版本已提出:
V i r t u a l S u m m a r y T o k e n . \boxed{
VirtualSummaryToken.
} V i r t u a l S u mma r y T o k e n .
15. 八種路由
v0.1 定義:
E = ⋃ r = 0 7 E r . E
=
\bigcup_{r=0}^{7}E_r. E = r = 0 ⋃ 7 E r .
其中:
SELF;
LOCAL_FORWARD;
LOCAL_BACKWARD;
SAME_LEAF;
ANCESTOR_UP;
DESCENDANT_DOWN;
SIBLING_REP;
GLOBAL_ANCHOR。
16. Local edges
若 radius:
w , w, w ,
則:
E l o c a l = { ( i , j ) : ∣ i − j ∣ ≤ w } . E_{local}
=
\{(i,j):|i-j|\le w\}. E l oc a l = {( i , j ) : ∣ i − j ∣ ≤ w } .
這保留:
short-range sequence continuity . \boxed{
\text{short-range sequence continuity}.
} short-range sequence continuity .
它本身與 sliding-window sparse attention 有直接近鄰。
17. Same-leaf edges
對最深層群組:
G D , π , G_{D,\pi}, G D , π ,
建立:
G D , π × G D , π . G_{D,\pi}
\times
G_{D,\pi}. G D , π × G D , π .
若 leaf size:
s s s
有界,
成本近似:
O ( n s ) . \boxed{
O(ns).
} O ( n s ) .
18. Ancestor / Descendant edges
每個 token 指向各層代表:
( i , r d ) (i,r_d) ( i , r d )
並建立反向:
( r d , i ) . (r_d,i). ( r d , i ) .
所以資訊可以:
L e a f → A n c e s t o r → O t h e r S c a l e . Leaf
\rightarrow
Ancestor
\rightarrow
OtherScale. L e a f → A n ces t or → O t h er S c a l e .
這是 IFN 和純 local-window sparse 的主要差異之一。
19. Sibling Representative edges
同一父節點下不同子群組代表互連。
在:
b = 9 b=9 b = 9
時,單父節點 fully connected sibling candidate 最大為:
81 81 81
條有向邊。
因此 fanout 仍有明確 bounded constant。
20. Global Anchor
根代表:
r 0 r_0 r 0
和所有 tokens 雙向連接。
作用:
short global communication path . \boxed{
\text{short global communication path}.
} short global communication path .
但它也可能造成:
root shortcut / information bottleneck . \boxed{
\text{root shortcut / information bottleneck}.
} root shortcut / information bottleneck .
所以必須消融:
one root;
multiple global tokens;
no root;
periodic dense layers。
21. 和 BigBird 的近鄰
BigBird 也使用:
L o c a l + R a n d o m + G l o b a l . \boxed{
Local
+
Random
+
Global.
} L oc a l + R an d o m + Gl o ba l .
並說明少量 global tokens 對 expressive power 有重要作用。
因此:
G L O B A L _ A N C H O R \boxed{
GLOBAL\_ANCHOR
} G L O B A L _ A N C H O R
不是 MMR-IFN 獨有思想。
MMR-IFN 真正不同點要看:
hierarchy;
address lineage;
multiple route types;
deterministic certificate。
22. 和 Longformer 的近鄰
Longformer 使用:
S l i d i n g W i n d o w + T a s k G l o b a l A t t e n t i o n . \boxed{
SlidingWindow
+
TaskGlobalAttention.
} S l i d in g W in d o w + T a s k Gl o ba l A tt e n t i o n .
其 attention 隨 sequence length 線性增長。
所以:
L O C A L + G L O B A L LOCAL
+
GLOBAL L O C A L + G L O B A L
也不能作為 MMR-IFN 原創主張。
23. 和 Routing Transformer 的近鄰
Routing Transformer 使用 learned content-based clustering / routing,
目標是只讓 query attention 到內容相關位置。
其複雜度被設計成低於 dense:
O ( n 1.5 d ) . O(n^{1.5}d). O ( n 1.5 d ) .
這直接對應 MMR-IFN 未來:
L e a r n e d S h o r t c u t + L e a r n e d A d d r e s s . \boxed{
LearnedShortcut
+
LearnedAddress.
} L e a r n e d S h or t c u t + L e a r n e d A dd r ess .
所以後者必須與 content-based sparse baseline 正面比較。
24. 和 Graph Attention 的近鄰
Graph Attention Networks 已經顯示:
A t t e n t i o n \boxed{
Attention
} A tt e n t i o n
可以天然只在:
N e i g h b o r h o o d Neighborhood N e i g hb or h oo d
上執行。
因此:
attention over edge list \boxed{
\text{attention over edge list}
} attention over edge list
本身不是新理論。
MMR-IFN 的可研究增量在於:
邊是如何由 MMR/IFN 的地址、層級、來源與路由類型產生,以及這些邊是否可審計。
25. Edge-list Attention
對:
( i , j , r ) ∈ E , (i,j,r)\in E, ( i , j , r ) ∈ E ,
v0.1 分數:
s i j = Q i K j ⊤ d h + b r . s_{ij}
=
\frac{Q_iK_j^\top}{\sqrt{d_h}}
+
b_r. s ij = d h Q i K j ⊤ + b r .
其中:
b r b_r b r
是 route-type bias。
26. Segment Softmax
只對:
j ∈ N b r ( i ) j\in Nbr(i) j ∈ N b r ( i )
做:
a i j = e s i j ∑ m ∈ N b r ( i ) e s i m . a_{ij}
=
\frac{
e^{s_{ij}}
}{
\sum_{m\in Nbr(i)}e^{s_{im}}
}. a ij = ∑ m ∈ N b r ( i ) e s im e s ij .
所以:
softmax support = E . \boxed{
\text{softmax support}
=
E.
} softmax support = E .
這才是「結構真的進模型」的核心位置。
27. Message Aggregation
y i = ∑ j ∈ N b r ( i ) a i j V j . y_i
=
\sum_{j\in Nbr(i)}
a_{ij}V_j. y i = j ∈ N b r ( i ) ∑ a ij V j .
v0.1 用:
scatter_reduce(amax);
index_add;
實作。
因此 forward 不需要:
n × n n\times n n × n
完整 attention tensor。
28. Dense Reference 的真正用途
為了驗證 edge-list 數值語義,
建立:
M i j = 1 [ ( i , j ) ∈ E ] . M_{ij}
=
1[(i,j)\in E]. M ij = 1 [( i , j ) ∈ E ] .
再比較:
Y s p a r s e ≈ ? Y d e n s e − m a s k . Y_{sparse}
\stackrel{?}{\approx}
Y_{dense-mask}. Y s p a r se ≈ ? Y d e n se − ma s k .
最大誤差:
≲ 2.39 × 10 − 7 . \lesssim2.39\times10^{-7}. ≲ 2.39 × 1 0 − 7 .
所以:
Sparse backend \boxed{
\text{Sparse backend}
} Sparse backend
在相同 graph semantics 下通過數值等價測試。
29. 這個 dense reference 不是競爭基準
它不是:
FlashAttention;
xFormers;
Triton block-sparse kernel;
optimized SDPA。
所以:
T d e n s e − r e f e r e n c e T e d g e − l i s t \boxed{
\frac{T_{dense-reference}}{T_{edge-list}}
} T e d g e − l i s t T d e n se − r e f er e n ce
不能被當成:
production speedup . \boxed{
\text{production speedup}.
} production speedup .
30. Complexity
地址:
C A ( n ) = O ( n D ) , C_A(n)
=
O(nD), C A ( n ) = O ( n D ) ,
其中:
D = O ( log 9 ( n / s ) ) . D
=
O(\log_9(n/s)). D = O ( log 9 ( n / s )) .
31. 路由成本
局部:
O ( n w ) , O(nw), O ( n w ) ,
ancestor / descendant:
O ( n D ) , O(nD), O ( n D ) ,
same leaf:
O ( n s ) , O(ns), O ( n s ) ,
siblings:
O ( n b ) . O(nb). O ( nb ) .
在固定:
w , s , b w,s,b w , s , b
時:
C R ( n ) = O ( n log n ) . \boxed{
C_R(n)
=
O(n\log n).
} C R ( n ) = O ( n log n ) .
32. Attention cost
若:
∣ E ∣ = n k , |E|=nk, ∣ E ∣ = nk ,
則:
C a t t n = O ( n k d ) . \boxed{
C_{attn}
=
O(nkd).
} C a tt n = O ( nk d ) .
只有:
k k k
保持近常數或緩慢增長,
才有可能顯著低於:
O ( n 2 d ) . O(n^2d). O ( n 2 d ) .
33. Total Cost
T ( n ) = C A ( n ) + C R ( n ) + O ( n k d ) + C c e r t i f i c a t e ( n ) . T(n)
=
C_A(n)
+
C_R(n)
+
O(nkd)
+
C_{certificate}(n). T ( n ) = C A ( n ) + C R ( n ) + O ( nk d ) + C cer t i f i c a t e ( n ) .
這一式很重要。
因為 MMR-IFN 不應只算:
A t t e n t i o n K e r n e l . AttentionKernel. A tt e n t i o n K er n e l .
還必須算:
R o u t i n g C o n s t r u c t i o n + V e r i f i c a t i o n . \boxed{
RoutingConstruction
+
Verification.
} R o u t in g C o n s t r u c t i o n + V er i f i c a t i o n .
34. 稀疏不等於快
這是現代 sparse-attention 文獻給本系列最重要的外部教訓。
即使:
F L O P s ↓ , FLOPs\downarrow, F L O P s ↓ ,
wall-clock 仍可能因:
irregular memory;
kernel launch;
poor occupancy;
gather/scatter;
index overhead;
而不下降。
35. FlashAttention 的警告
FlashAttention 的核心不是 sparse,
而是:
I O - a w a r e e x a c t a t t e n t i o n . \boxed{
IO\text{-}aware exact attention.
} I O - a w a r ee x a c t a tt e n t i o n .
它指出:
理論 compute complexity 不是全部,HBM ↔ SRAM data movement 可能主導實際效能。
因此 MMR-IFN 不能只證明:
∣ E ∣ ≪ n 2 . |E|\ll n^2. ∣ E ∣ ≪ n 2 .
還必須證明:
edge layout is hardware-efficient . \boxed{
\text{edge layout is hardware-efficient}.
} edge layout is hardware-efficient .
36. Native Sparse Attention 的新壓力
較新的 Native Sparse Attention 直接把:
coarse compression;
fine token selection;
local precision;
hardware alignment;
end-to-end trainability;
放在同一設計中。
所以 2026 的 MMR-IFN benchmark 不應只和:
L o n g f o r m e r / B i g B i r d . Longformer / BigBird. L o n g f or m er / B i g B i r d .
還要面對:
hardware-aligned learned sparse attention . \boxed{
\text{hardware-aligned learned sparse attention}.
} hardware-aligned learned sparse attention .
37. MMR-IFN 的 CPU 原型數據
測試環境:
Python 3.11;
PyTorch 2.10 CPU;
no CUDA;
batch 1;
d = 64 d=64 d = 64 ;
4 heads;
inference mode。
因此所有數字都應加上:
Prototype / CPU / Same-Graph . \boxed{
\text{Prototype / CPU / Same-Graph}.
} Prototype / CPU / Same-Graph .
38. 10 項測試
既有文件列:
address range / order;
prefix;
deterministic route graph;
self edge;
subquadratic edge count within tested range;
sparse / dense numerical equivalence;
encoder shape / gradient;
root-anchor reachability;
route certificate tamper rejection;
certificate no formula/model-write authorization。
結果:
10 / 10 P A S S . \boxed{
10/10\ PASS.
} 10/10 P A S S .
39. Graph Scale
| n n n | ∣ E ∣ |E| ∣ E ∣ | 平均度數 | dense pairs | sparse/dense |
|---:|---:|---:|---:|---:|
| 81 | 977 | 12.06 | 6,561 | 14.891% |
| 243 | 2,597 | 10.69 | 59,049 | 4.398% |
| 729 | 10,193 | 13.98 | 531,441 | 1.918% |
| 2,187 | 27,365 | 12.51 | 4,782,969 | 0.572% |
| 6,561 | 103,505 | 15.78 | 43,046,721 | 0.240% |
這支持:
Fixed v0.1 routing remains sparse in tested sizes . \boxed{
\text{Fixed v0.1 routing remains sparse in tested sizes}.
} Fixed v0.1 routing remains sparse in tested sizes .
40. 它沒有證明 asymptotic 常數度數
平均度數:
10.69 ∼ 15.78 10.69\sim15.78 10.69 ∼ 15.78
在測試範圍內穩定,
但不能推出:
lim sup n → ∞ k ( n ) < ∞ . \boxed{
\limsup_{n\to\infty}k(n)<\infty.
} n → ∞ lim sup k ( n ) < ∞.
尤其:
learned routes;
dynamic expansion;
semantic shortcuts;
都可能讓:
k ( n ) k(n) k ( n )
上升。
41. Route Construction Time
內部數據:
n n n
路由建構時間
81
0.00047 s
243
0.00147 s
729
0.00595 s
2,187
0.01888 s
6,561
0.07662 s
這只量:
P y t h o n C P U g r a p h c o n s t r u c t i o n . \boxed{
Python\ CPU\ graph\ construction.
} P y t h o n C P U g r a p h co n s t r u c t i o n .
42. Same-Graph Attention Timing
n n n
edge-list
dense reference
ratio
max error
81
0.00071 s
0.00514 s
7.27
1.79 × 10 − 7 1.79\times10^{-7} 1.79 × 1 0 − 7
243
0.00114 s
0.01428 s
12.54
2.38 × 10 − 7 2.38\times10^{-7} 2.38 × 1 0 − 7
729
0.00483 s
0.05769 s
11.95
2.38 × 10 − 7 2.38\times10^{-7} 2.38 × 1 0 − 7
1,458
0.00569 s
0.12371 s
21.75
2.38 × 10 − 7 2.38\times10^{-7} 2.38 × 1 0 − 7
43. 正確解讀
這些數字支持:
Avoiding dense tensor allocation helps this CPU reference implementation . \boxed{
\text{Avoiding dense tensor allocation helps this CPU reference implementation}.
} Avoiding dense tensor allocation helps this CPU reference implementation .
它不支持:
LLM 21.75×;
GPU 21.75×;
training 21.75×;
FlashAttention comparison;
equal task quality。
44. Route Certificate
v0.1 定義:
C R = ( H i n p u t , m o d e l I D , r o u t e r I D , H G , n , ∣ E ∣ , k , G ) . \mathcal C_R
=
(
H_{input},
modelID,
routerID,
H_G,
n,
|E|,
k,
G
). C R = ( H in p u t , m o d e l I D , r o u t er I D , H G , n , ∣ E ∣ , k , G ) .
證書可以驗證:
address;
edges;
route types;
config;
payload tampering。
45. Certificate 仍然很弱
它不能驗證:
model weights;
output tensor;
training data;
kernel nondeterminism;
task truth;
human intent。
所以:
R o u t e I n t e g r i t y ≠ M o d e l C o r r e c t n e s s . \boxed{
RouteIntegrity
\neq
ModelCorrectness.
} R o u t e I n t e g r i t y = M o d e l C or r ec t n ess .
46. 為什麼 Route Certificate 仍有價值?
因為 learned / sparse systems 最大問題之一是:
模型到底看了誰?
如果 route graph 不保存,
就只能事後推測。
Route certificate 至少能回答:
Which interactions were allowed? \boxed{
\text{Which interactions were allowed?}
} Which interactions were allowed?
47. 從 MLF / Executable Identity 接回來
MLF 前一篇保存:
R o u t e G r a p h . RouteGraph. R o u t e G r a p h .
Executable Identity 保存:
R u n t i m e / V e r s i o n / S o u r c e . Runtime / Version / Source. R u n t im e / V er s i o n / S o u r ce .
MMR-IFN 可以再保存:
M o d e l I n t e r a c t i o n G r a p h . \boxed{
ModelInteractionGraph.
} M o d e l I n t er a c t i o n G r a p h .
因此整條線形成:
Data Structure → Execution Structure → Neural Interaction Structure . \boxed{
\text{Data Structure}
\rightarrow
\text{Execution Structure}
\rightarrow
\text{Neural Interaction Structure}.
} Data Structure → Execution Structure → Neural Interaction Structure .
48. 固定路由訓練
第一階段:
G G G
固定,
只學:
θ . \theta. θ .
θ ∗ = arg min θ L t a s k ( f θ ( X , G ) , Y ) . \theta^\ast
=
\arg\min_{\theta}
\mathcal L_{task}(f_\theta(X,G),Y). θ ∗ = arg θ min L t a s k ( f θ ( X , G ) , Y ) .
目的:
先問 graph 本身能不能承載任務。
49. Static Semantic Address
第二階段由:
document section;
AST;
syntax tree;
dependency graph;
region;
建立:
α i . \alpha_i. α i .
這是:
data-dependent but not model-learned routing . \boxed{
\text{data-dependent but not model-learned routing}.
} data-dependent but not model-learned routing .
這一步和 MLF / MMR-Bench 最容易直接接合。
50. Learned Shortcut
固定 backbone:
E 0 E_0 E 0
只學:
E l e a r n e d . E_{learned}. E l e a r n e d .
E = E 0 ∪ E l e a r n e d . E
=
E_0
\cup
E_{learned}. E = E 0 ∪ E l e a r n e d .
可以加入:
L = L t a s k + λ E ∣ E l e a r n e d ∣ + λ H H ( P r o u t e ) + λ S L s t a b i l i t y . \mathcal L
=
\mathcal L_{task}
+
\lambda_E|E_{learned}|
+
\lambda_HH(P_{route})
+
\lambda_S\mathcal L_{stability}. L = L t a s k + λ E ∣ E l e a r n e d ∣ + λ H H ( P r o u t e ) + λ S L s t abi l i t y .
51. 為什麼只先學 shortcut?
因為:
Known Structure + Learned Exception \boxed{
\text{Known Structure}
+
\text{Learned Exception}
} Known Structure + Learned Exception
比:
Learn Everything From Scratch \boxed{
\text{Learn Everything From Scratch}
} Learn Everything From Scratch
更容易稽核。
也更容易做 ablation:
learned route 是否真的有用?
52. Learned Address 是最高風險層
最後才讓:
P ( α i ∣ h i , p i , q ) P(\alpha_i\mid h_i,p_i,q) P ( α i ∣ h i , p i , q )
可學。
風險:
address collapse;
root collapse;
over-depth;
route instability;
discrete assignment;
cache invalidation。
53. 這和 MoE Routing 有相似失敗模式
Mixture-of-Experts 系統已有:
load imbalance;
routing instability;
expert collapse;
communication overhead;
等問題。
所以 MMR-IFN learned addressing 不能假設:
可學就一定比固定地址好。
必須監控:
L o a d B a l a n c e + D e p t h C o s t + R o u t e E n t r o p y + S t a b i l i t y + R e c a l l . \boxed{
LoadBalance
+
DepthCost
+
RouteEntropy
+
Stability
+
Recall.
} L o a d B a l an ce + D e pt h C os t + R o u t e E n t r o p y + S t abi l i t y + R ec a l l .
54. Necessary Baselines
MMR-IFN 既有文件已正確列出至少:
Dense attention;
Local window;
Local + global;
BigBird;
Longformer;
flat top-k learned sparse;
tree Transformer;
GNN message passing;
block-sparse;
MMR-IFN。
本文再加入現代基準:
IO-aware dense / FlashAttention;
hardware-aligned learned sparse / NSA 類方案。
55. 為什麼不能只比 Dense?
如果 MMR-IFN 比:
O ( n 2 ) O(n^2) O ( n 2 )
dense 快,
但比:
L o n g f o r m e r Longformer L o n g f or m er
更慢、更差,
那麼:
它沒有實際研究優勢 . \boxed{
\text{它沒有實際研究優勢}.
} 它沒有實際研究優勢 .
所以真正 benchmark 必須是:
Sparse vs Sparse . \boxed{
\text{Sparse vs Sparse}.
} Sparse vs Sparse .
56. Benchmark 指標
至少報:
task quality;
training loss;
perplexity / accuracy;
FLOPs;
wall-clock;
peak memory;
graph construction;
forward time;
backward time;
route recall;
average degree;
path length;
kernel utilization;
energy if available;
certificate overhead。
57. Synthetic Task 1 — Nested Key Retrieval
資料有:
section;
subsection;
local key。
查詢需沿 address prefix 找答案。
測:
R o u t e R e c a l l ( d e p t h ) . \boxed{
RouteRecall(depth).
} R o u t e R ec a l l ( d e pt h ) .
58. Synthetic Task 2 — Tree Path Recovery
給兩 leaf nodes:
u , v , u,v, u , v ,
輸出:
直接測:
L C P ( α u , α v ) . LCP(\alpha_u,\alpha_v). L C P ( α u , α v ) .
59. Synthetic Task 3 — Long-range Variable Binding
在:
B l o c k A Block_A B l oc k A
定義變數,
在:
B l o c k B Block_B B l oc k B
使用。
測 ancestor / shortcut 是否能保持 binding。
這比純 language modeling 更能測真正 hierarchy value。
60. Synthetic Task 4 — Spreadsheet Dependency
把 MMR-Bench 的:
region;
formula AST;
lineage;
blast radius;
轉成 node task。
問:
錯誤 upstream cell 會影響哪些區域?
這是本系列最自然的 end-to-end bridge。
61. 必須設計反例任務
資料:
D e p e n d e n c y ≈ R a n d o m G r a p h . Dependency
\approx
RandomGraph. D e p e n d e n cy ≈ R an d o m G r a p h .
沒有穩定 hierarchy。
若:
M M R - I F N < F l a t S p a r s e MMR\text{-}IFN
<
FlatSparse M M R - I F N < F l a tS p a r se
反而是好結果。
因為這能界定:
HierarchyBias is useful only when hierarchy exists . \boxed{
\text{HierarchyBias is useful only when hierarchy exists}.
} HierarchyBias is useful only when hierarchy exists .
62. Matrix-Native Intelligence 的最小正主張
目前可以說:
Matrix / hierarchical structure can directly constrain neural interaction edges . \boxed{
\text{Matrix / hierarchical structure can directly constrain neural interaction edges}.
} Matrix / hierarchical structure can directly constrain neural interaction edges .
這已不是:
U I . UI. U I .
也不是:
M e t a d a t a O n l y . MetadataOnly. M e t a d a t a O n l y .
63. 中等主張
若未來實驗證明:
Q u a l i t y ( M M R - I F N ) ≥ Q u a l i t y ( B a s e l i n e ) Quality(MMR\text{-}IFN)
\ge
Quality(Baseline) Q u a l i t y ( M M R - I F N ) ≥ Q u a l i t y ( B a se l in e )
同時:
C o s t ( M M R - I F N ) < C o s t ( B a s e l i n e ) Cost(MMR\text{-}IFN)
<
Cost(Baseline) C os t ( M M R - I F N ) < C os t ( B a se l in e )
且:
A u d i t a b i l i t y ( M M R - I F N ) > A u d i t a b i l i t y ( B a s e l i n e ) , Auditability(MMR\text{-}IFN)
>
Auditability(Baseline), A u d i t abi l i t y ( M M R - I F N ) > A u d i t abi l i t y ( B a se l in e ) ,
才可以說:
Matrix-native routing provides a useful architecture tradeoff . \boxed{
\text{Matrix-native routing provides a useful architecture tradeoff}.
} Matrix-native routing provides a useful architecture tradeoff .
64. 強主張仍不成立
目前完全不能說:
Matrix-native intelligence replaces Transformer . \boxed{
\text{Matrix-native intelligence replaces Transformer}.
} Matrix-native intelligence replaces Transformer .
因為:
沒有 causal LM;
沒有 pretraining;
沒有 downstream LM tasks;
沒有 CUDA/Triton;
沒有 end-to-end wall-clock training;
沒有 quality parity;
沒有 large-scale scaling law。
65. 原型目前 12 個限制
既有文件已列:
position-only address;
representative-content/control entanglement;
one route label per edge;
no edge prior;
no causal mask;
no variable-length graph batching;
Python batch loop;
no CUDA/Triton;
no training task result;
hash-only certificate;
no dynamic stopping;
no proof that branching factor 9 is best。
這些應視為:
Research TODO \boxed{
\text{Research TODO}
} Research TODO
而不是 footnote。
66. v0.2 的合理順序
現有路線:
graph batching;
causal mode;
virtual representatives;
multi-route labels;
hierarchical synthetic benchmark;
signed route certificate。
這個順序是合理的。
因為它先補:
Correctness / Systems Foundations \boxed{
\text{Correctness / Systems Foundations}
} Correctness / Systems Foundations
再談:
Large-Scale Intelligence . \boxed{
\text{Large-Scale Intelligence}.
} Large-Scale Intelligence .
67. 本文再增加一個 v0.3 建議:Hardware Profile
未來每個 route graph 應除:
∣ E ∣ |E| ∣ E ∣
外,記錄:
degree distribution;
contiguous edge blocks;
gather locality;
block occupancy;
index bytes;
kernel launches;
HBM traffic estimate。
因為:
G r a p h S p a r s e ≠ H a r d w a r e S p a r s e . \boxed{
GraphSparse
\neq
HardwareSparse.
} G r a p h S p a r se = H a r d w a r e S p a r se .
68. Routing Layout Compilation
未來可以定義:
G → Λ G h w G
\xrightarrow{\Lambda}
G_{hw} G Λ G h w
其中:
Λ \Lambda Λ
把 semantic route graph 重新編譯成:
block sparse;
tiled sparse;
grouped query blocks;
fused neighborhood batches。
只要保持:
S e m a n t i c E d g e P r e s e r v a t i o n . \boxed{
SemanticEdgePreservation.
} S e man t i c E d g e P r eser v a t i o n .
就可以讓:
semantic topology \text{semantic topology} semantic topology
和:
hardware topology \text{hardware topology} hardware topology
分開優化。
69. 這和 MLF 的 Projection Philosophy 再次接上
MLF:
C a n o n i c a l S t r u c t u r e → P r o j e c t i o n . CanonicalStructure
\rightarrow
Projection. C an o ni c a l S t r u c t u r e → P r o j ec t i o n .
MMR-IFN 可以類比:
S e m a n t i c R o u t e G r a p h → H a r d w a r e R o u t e P r o j e c t i o n . SemanticRouteGraph
\rightarrow
HardwareRouteProjection. S e man t i c R o u t e G r a p h → H a r d w a r e R o u t e P r o j ec t i o n .
因此:
Model topology ≠ kernel layout . \boxed{
\text{Model topology}
\neq
\text{kernel layout}.
} Model topology = kernel layout .
只要兩者可驗證對應。
70. Route Certificate 應進一步升級
下一版可加入:
input hash;
model checkpoint hash;
router version;
semantic graph hash;
compiled hardware graph hash;
kernel version;
environment;
output digest;
Ed25519 signature。
形成:
Model Interaction Certificate . \boxed{
\text{Model Interaction Certificate}.
} Model Interaction Certificate .
71. Certificate 不是可解釋性萬靈丹
即使知道:
i → j i\rightarrow j i → j
有 attention edge,
也不代表:
token j j j 就是 token i i i 做出決策的唯一原因。
所以:
I n t e r a c t i o n T r a c e ≠ C a u s a l E x p l a n a t i o n . \boxed{
InteractionTrace
\neq
CausalExplanation.
} I n t er a c t i o n T r a ce = C a u s a l E x pl ana t i o n .
這點必須和 mechanistic interpretability 分開。
72. 但它比完全不保存 interaction 強
如果 dynamic routing 每次都改,
卻完全不記:
E t , E_t, E t ,
那麼:
replay;
debugging;
comparison;
failure analysis;
都會困難。
所以:
Route Provenance \boxed{
\text{Route Provenance}
} Route Provenance
本身仍有工程價值。
73. 三個真正值得驗證的優勢
本文認為 MMR-IFN 最值得測的不是「更像大腦」,而是三件具體事。
A — Structured Recall
階層/依賴任務上:
R o u t e R e c a l l ↑ . RouteRecall\uparrow. R o u t e R ec a l l ↑ .
B — Sparse Cost
在 quality parity 下:
M e m o r y / C o m p u t e ↓ . Memory/Compute\downarrow. M e m or y / C o m p u t e ↓ .
C — Auditable Interaction
能回答:
why these nodes were allowed to interact . \boxed{
\text{why these nodes were allowed to interact}.
} why these nodes were allowed to interact .
74. 三個最可能失敗的地方
F-A — Hierarchy Is Wrong
真實語言關係不是穩定九元 tree。
F-B — Routing Cost Dominates
建圖、gather、scatter 比 dense optimized attention 更慢。
F-C — Sparse Recall Loss
重要長距離 edge 不在:
E . E. E .
則:
No attention weight can recover a missing edge . \boxed{
\text{No attention weight can recover a missing edge}.
} No attention weight can recover a missing edge .
這是 sparse model 最本質的風險。
75. Missing-edge Error
對 task 必要關係集合:
E ∗ , E^\ast, E ∗ ,
router 給:
E . E. E .
定義:
R e c a l l E = ∣ E ∩ E ∗ ∣ ∣ E ∗ ∣ . Recall_E
=
\frac{|E\cap E^\ast|}{|E^\ast|}. R ec a l l E = ∣ E ∗ ∣ ∣ E ∩ E ∗ ∣ .
如果:
R e c a l l E ≪ 1 , Recall_E\ll1, R ec a l l E ≪ 1 ,
attention 再聰明也救不了。
因此:
R o u t i n g R e c a l l \boxed{
Routing Recall
} R o u t in g R ec a l l
應是核心指標。
76. Over-routing Error
反過來,
若:
∣ E ∣ → n 2 , |E|
\rightarrow
n^2, ∣ E ∣ → n 2 ,
則:
S p a r s e B e n e f i t → 0. \boxed{
SparseBenefit\rightarrow0.
} S p a r se B e n e f i t → 0.
所以需要:
R e c a l l − C o s t F r o n t i e r . \boxed{
Recall-Cost Frontier.
} R ec a l l − C os tF r o n t i er .
77. Route Quality Frontier
可定義:
F r o u t e = ( R e c a l l E , ∣ E ∣ , L a t e n c y , M e m o r y , T a s k Q u a l i t y ) . \boxed{
\mathcal F_{route}
=
(
Recall_E,
|E|,
Latency,
Memory,
TaskQuality
).
} F r o u t e = ( R ec a l l E , ∣ E ∣ , L a t e n cy , M e m or y , T a s k Q u a l i t y ) .
MMR-IFN 真正要證明的是:
在某些 structured tasks 上,它形成比 baseline 更好的 Pareto frontier。
78. 和 learned sparse 的真正比較
如果 NSA 類模型能直接從 query/key content 找到重要 tokens,
而 MMR-IFN 需要昂貴外部結構,
則後者必須證明至少一項:
更高 recall;
更低 route cost;
更強 structured inductive bias;
更穩定;
更可稽核;
更少 training data。
否則沒有必要。
79. Matrix-Native 不等於 Matrix-Only
MMR-IFN 仍保留:
p i . p_i. p i .
也可保留:
sequence embeddings;
semantic embeddings;
learned shortcuts。
所以:
M a t r i x N a t i v e ≠ S e q u e n c e R e j e c t e d . \boxed{
MatrixNative
\neq
SequenceRejected.
} M a t r i x N a t i v e = S e q u e n ce R e j ec t e d .
它更像:
S e q u e n c e + S t r u c t u r e + R o u t e . \boxed{
Sequence
+
Structure
+
Route.
} S e q u e n ce + S t r u c t u r e + R o u t e .
80. 本系列最初問題的最強回答
最早:
Excel/matrix 能不能變成 AI?
到這裡,最強但仍誠實的答案是:
矩陣結構本身可以不只儲存資料, 而能被編譯成神經模型真正的可交互拓撲。 \boxed{
\textbf{
矩陣結構本身可以不只儲存資料,
而能被編譯成神經模型真正的可交互拓撲。
}
} 矩陣結構本身可以不只儲存資料, 而能被編譯成神經模型真正的可交互拓撲。
這已經超過:
CSV state;
spreadsheet UI;
control plane;
data format。
81. 但「大模型」仍然沒有被證明
目前 MMR-IFN 只是:
Minimal Executable Sparse Transformer Backend . \boxed{
\text{Minimal Executable Sparse Transformer Backend}.
} Minimal Executable Sparse Transformer Backend .
不是:
Trained Large Language Model . \boxed{
\text{Trained Large Language Model}.
} Trained Large Language Model .
所以早期「Excel 大模型」直覺到這裡只能說:
路徑已經接到 model architecture。
還不能說:
大模型已完成。
82. 可證偽條件
F1 — Quality Collapse
相同 compute budget 下:
T a s k Q u a l i t y I F N < T a s k Q u a l i t y b a s e l i n e TaskQuality_{IFN}
<
TaskQuality_{baseline} T a s k Q u a l i t y I F N < T a s k Q u a l i t y ba se l in e
且無 audit benefit 抵償。
F2 — Route Recall Failure
重要依賴 edge recall 長期低於可用門檻。
F3 — Hardware Loss
理論:
∣ E ∣ ≪ n 2 |E|\ll n^2 ∣ E ∣ ≪ n 2
但 GPU wall-clock:
T I F N ≥ T d e n s e . T_{IFN}\ge T_{dense}. T I F N ≥ T d e n se .
F4 — Construction Dominates
T r o u t e ≫ T a t t n s a v e d . T_{route}
\gg
T_{attn\ saved}. T r o u t e ≫ T a tt n s a v e d .
F5 — Hierarchy No Gain
在真正 hierarchical tasks 上:
I F N ≈ F l a t S p a r s e IFN
\approx
FlatSparse I F N ≈ F l a tS p a r se
但成本更高。
F6 — Root Shortcut Cheat
模型只依賴 global root,
hierarchical routes 被完全忽略。
F7 — Learned Address Collapse
大部分 token:
α i \alpha_i α i
集中少數地址,
導致負載失衡。
F8 — No Replay
相同 input / router / version 無法重建同一 route graph。
F9 — Certificate Theater
route certificate 雖存在,
但無法支援 debugging / audit / reproduction。
83. 本文結論
MMR-IFN Transformer v0.1 的真正成果不是:
Sparse Transformer Victory . \boxed{
\text{Sparse Transformer Victory}.
} Sparse Transformer Victory .
而是:
Research Object Closure . \boxed{
\text{Research Object Closure}.
} Research Object Closure .
也就是:
Sequence → Hierarchical Address → Semantic Route Graph → Edge-list Attention → Verifiable Route Record . \boxed{
\text{Sequence}
\rightarrow
\text{Hierarchical Address}
\rightarrow
\text{Semantic Route Graph}
\rightarrow
\text{Edge-list Attention}
\rightarrow
\text{Verifiable Route Record}.
} Sequence → Hierarchical Address → Semantic Route Graph → Edge-list Attention → Verifiable Route Record .
此 pipeline 已經可以:
construct;
execute;
compare with dense same-graph reference;
backpropagate;
measure;
hash;
tamper-test。
因此:
「矩陣原生智能」已經從表示論問題, 推進成可以被模型實驗直接否證的架構問題。 \boxed{
\textbf{
「矩陣原生智能」已經從表示論問題,
推進成可以被模型實驗直接否證的架構問題。
}
} 「矩陣原生智能」已經從表示論問題, 推進成可以被模型實驗直接否證的架構問題。
但真正重要的下一階段不是繼續堆概念,而是:
Train + Compare + Profile + Ablate + Fail . \boxed{
\text{Train}
+
\text{Compare}
+
\text{Profile}
+
\text{Ablate}
+
\text{Fail}.
} Train + Compare + Profile + Ablate + Fail .
如果 MMR-IFN 在 hierarchical / dependency-rich tasks 上不能形成更好的:
Q u a l i t y − C o s t − A u d i t a b i l i t y Quality
-
Cost
-
Auditability Q u a l i t y − C os t − A u d i t abi l i t y
折衷,
那它就應退回:
一種可稽核 sparse routing schema . \boxed{
\text{一種可稽核 sparse routing schema}.
} 一種可稽核 sparse routing schema .
如果它能,
那麼本系列最早那個看似奇怪的問題——
「表格/矩陣能不能成為 AI 架構的一部分?」
才會第一次得到真正強的實驗答案。
84. 下一篇
EML-MNIAC-2026-09
《從智能矩陣到 Agent 控制平面:可見狀態、任務帳本與人機共同操作》
下一篇將轉向 Agent / Operations 支線,整合:
EML-LQ Agent;
D-ALAN;
Veritaxa Workbench;
Spreadsheet Control Plane;
MLF governed inference;
PHOSPHOR control;
AI proposal vs canonical promotion;
human review;
multi-Agent shared ledger。
參考資料
內部理論與工程
EveMissLab, 《無限分形九宮格:基於多向矩陣表徵的遞歸計算拓撲》, 2026-07-23.
EveMissLab, 《MMR-IFN Transformer:基於遞歸多向路由的層級稀疏注意力架構》v0.1, 2026-07-23.
EveMissLab, MMR-IFN-Transformer_v0.1_完整實作包.
EML-MNIAC-2026-04, 《從二維表格到多向矩陣帳本》.
EML-MNIAC-2026-06, 《AI Matrix Ledger Format》.
EML-MNIAC-2026-07, 《單一狀態、多重投影》.
外部技術近鄰
Beltagy, I., Peters, M. E., & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv:2004.05150.
Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. arXiv:2007.14062.
Roy, A., Saffar, M., Vaswani, A., & Grangier, D. (2020). Efficient Content-Based Sparse Attention with Routing Transformers. arXiv:2003.05997.
Veličković, P. et al. (2017/2018). Graph Attention Networks. arXiv:1710.10903.
Dao, T., Fu, D. Y., Ermon, S., Rudra, A., & Ré, C. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. arXiv:2205.14135.
Yuan, J. et al. (2025). Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention. arXiv:2502.11089.
Fedus, W., Zoph, B., & Shazeer, N. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
這些工作共同說明 sparse attention 已有成熟的 local、global、random、content-based、graph-neighborhood、hardware-aware 與 learned-routing 研究脈絡。因此 MMR-IFN 的新增價值不能只來自「稀疏」兩字;它必須由可追溯 hierarchy、route typing、cross-representation lineage、route certificates,以及在真正具有結構的任務上可測的 quality–cost–auditability frontier 來證明。
系列狀態: 第 08 篇完成。下一篇: EML-MNIAC-2026-09 —《從智能矩陣到 Agent 控制平面:可見狀態、任務帳本與人機共同操作》