計算不是只有 FLOPs：記憶體、互連、硬體占用與計算時空體積
Computation Is More Than FLOPs: Memory, Interconnect, Hardware Occupancy, and Computational Spacetime Volume
系列： 《智能的物理計量：從最小語意執行到成果品質與計算時空》英文系列： Physical Metrology of Intelligence: From Minimal Semantic Execution to Quality and Computational Spacetime 系列編號： EML-IPM篇次： Paper 05 / 10文件編號： EML-IPM-05作者： Neo.K with Aletheia（GPT-5.6 Sol）機構： EveMissLab／一言諾科技有限公司版本： v0.1日期： 2026-09-02文件性質： 公開純理論論文／智能計量方法論工程狀態： 無 MVP；本文建立計算物理成本的多軸與時空表示，不宣稱存在單一跨硬體「完美成本常數」
摘要
現代 AI 計算經常以 FLOPs、tokens/s、GPU-hours 或 Joules 描述成本。然而，這些量各自只投影了整個物理計算過程的一部分。
兩個系統即使具有：
F L O P s A = F L O P s B \boxed{
FLOPs_A=FLOPs_B
} F L O P s A = F L O P s B 也可能具有：
M e m o r y T r a f f i c A ≠ M e m o r y T r a f f i c B , \boxed{
MemoryTraffic_A\neq MemoryTraffic_B,
} M e m or y T r a f f i c A = M e m or y T r a f f i c B , I n t e r c o n n e c t A ≠ I n t e r c o n n e c t B , \boxed{
Interconnect_A\neq Interconnect_B,
} I n t er co nn ec t A = I n t er co nn ec t B , L a t e n c y A ≠ L a t e n c y B , \boxed{
Latency_A\neq Latency_B,
} L a t e n c y A = L a t e n c y B , H a r d w a r e O c c u p a n c y A ≠ H a r d w a r e O c c u p a n c y B , \boxed{
HardwareOccupancy_A\neq HardwareOccupancy_B,
} H a r d w a r e O cc u p an c y A = H a r d w a r e O cc u p an c y B , 甚至：
E n e r g y A ≠ E n e r g y B . \boxed{
Energy_A\neq Energy_B.
} E n er g y A = E n er g y B . 因此：
FLOPs ≠ Physical Computational Cost . \boxed{
\text{FLOPs}
\neq
\text{Physical Computational Cost}.
} FLOPs = Physical Computational Cost . 本文提出 Physical Computation Cost Vector ：
C P = ( O , B M , B I , B N , M R , D , T , E ) \boxed{
\mathbf C_P
=
(
O,
B_M,
B_I,
B_N,
M_R,
D,
T,
E
)
} C P = ( O , B M , B I , B N , M R , D , T , E ) 其中：
O O O B M B_M B M B I B_I B I B N B_N B N M R M_R M R D D D T T T E E E
本文並引入 Arithmetic Intensity ：
I A = O B M \boxed{
I_A
=
\frac{O}{B_M}
} I A = B M O 以及經典 Roofline 型性能限制：
P a t t a i n a b l e ≤ min ( P p e a k , B W m e m ⋅ I A ) . \boxed{
P_{\mathrm{attainable}}
\le
\min
\left(
P_{\mathrm{peak}},
BW_{\mathrm{mem}}\cdot I_A
\right).
} P attainable ≤ min ( P peak , B W mem ⋅ I A ) . 這揭示一個重要事實：一個 workload 即使 FLOPs 不變，也可能因資料重用差、memory bandwidth 不足或 communication overhead 而大幅增加執行時間與能源。
本文進一步提出 Computational Spacetime（計算時空） 。其出發點不是把所有物理成本硬壓成單一 scalar，而是先定義任務期間的資源占用場：
R ( t ) = ( r C ( t ) , r M ( t ) , r N ( t ) , r S ( t ) ) \boxed{
\mathbf R(t)
=
(
r_C(t),
r_M(t),
r_N(t),
r_S(t)
)
} R ( t ) = ( r C ( t ) , r M ( t ) , r N ( t ) , r S ( t )) 其中：
r C ( t ) r_C(t) r C ( t ) r M ( t ) r_M(t) r M ( t ) r N ( t ) r_N(t) r N ( t ) r S ( t ) r_S(t) r S ( t )
則 Raw Computational Spacetime Measure 為：
V C S T = ∫ t 0 t f R ( t ) d t \boxed{
\mathbf V_{CST}
=
\int_{t_0}^{t_f}
\mathbf R(t)\,dt
} V C S T = ∫ t 0 t f R ( t ) d t 因此：
V C S T = ( V C , V M , V N , V S ) \boxed{
\mathbf V_{CST}
=
(
V_C,
V_M,
V_N,
V_S
)
} V C S T = ( V C , V M , V N , V S ) 其中：
V C = ∫ r C ( t ) d t V_C
=
\int r_C(t)\,dt V C = ∫ r C ( t ) d t 可用 device·seconds 或 normalized accelerator-seconds 表示；
V M = ∫ r M ( t ) d t V_M
=
\int r_M(t)\,dt V M = ∫ r M ( t ) d t 可用 byte·seconds 表示；
V N = ∫ r N ( t ) d t V_N
=
\int r_N(t)\,dt V N = ∫ r N ( t ) d t 可表示為 interconnect-resource·seconds，而實際傳輸量則另外由 B N B_N B N
V S = ∫ r S ( t ) d t . V_S
=
\int r_S(t)\,dt. V S = ∫ r S ( t ) d t . 本文特別主張：
V C + V M + V N + V S \boxed{
V_C+V_M+V_N+V_S
} V C + V M + V N + V S 在未指定正規化、權重與量綱轉換前沒有合法的物理意義。
因此 Computational Spacetime 首先應是一個：
vector / measure , \boxed{
\text{vector / measure},
} vector / measure , 而不是任意相加的單一數字。
若研究需要 scalar comparison，必須先指定 reference capacities：
C r e f , M r e f , N r e f , S r e f C_{ref},
M_{ref},
N_{ref},
S_{ref} C r e f , M r e f , N r e f , S r e f 以及權重：
w C , w M , w N , w S , w_C,w_M,w_N,w_S, w C , w M , w N , w S , 再定義 normalized scalar：
V C S T ∗ = ∫ t 0 t f [ w C r C ( t ) C r e f + w M r M ( t ) M r e f + w N r N ( t ) N r e f + w S r S ( t ) S r e f ] d t . \boxed{
V_{CST}^{*}
=
\int_{t_0}^{t_f}
\left[
w_C\frac{r_C(t)}{C_{ref}}
+
w_M\frac{r_M(t)}{M_{ref}}
+
w_N\frac{r_N(t)}{N_{ref}}
+
w_S\frac{r_S(t)}{S_{ref}}
\right]dt.
} V C S T ∗ = ∫ t 0 t f [ w C C r e f r C ( t ) + w M M r e f r M ( t ) + w N N r e f r N ( t ) + w S S r e f r S ( t ) ] d t . 因此：
V C S T ∗ = V C S T ∗ ( R e f e r e n c e , W e i g h t s , B o u n d a r y ) . \boxed{
V_{CST}^{*}
=
V_{CST}^{*}
(
Reference,
Weights,
Boundary
).
} V C S T ∗ = V C S T ∗ ( R e f er e n ce , W e i g h t s , B o u n d a r y ) . 沒有 reference scheme 的 scalar CST 不應被宣稱為普適物理量。
本文再指出，即使兩個系統具有相同 integrated device-time：
8 G P U × 10 s = 1 G P U × 80 s = 80 G P U ⋅ s , 8\ GPU\times10s
=
1\ GPU\times80s
=
80\ GPU\cdot s, 8 GP U × 10 s = 1 GP U × 80 s = 80 GP U ⋅ s , 它們也不是等價執行。
因為：
V C equal ⇏ T w a l l equal . \boxed{
V_C
\text{ equal}
\not\Rightarrow
T_{\mathrm{wall}}
\text{ equal}.
} V C equal ⇒ T wall equal . 更不代表：
same critical path, same energy, same memory pressure, same communication topology . \boxed{
\text{same critical path, same energy, same memory pressure, same communication topology}.
} same critical path, same energy, same memory pressure, same communication topology . 因此本文進一步引入 Computational Spacetime Topology ：
Θ C S T = ( T w a l l , T s e r i a l , P p a r a l l e l , D p e a k , M p e a k , B p e a k , Γ c o m m ) \boxed{
\Theta_{CST}
=
(
T_{\mathrm{wall}},
T_{\mathrm{serial}},
P_{\mathrm{parallel}},
D_{\mathrm{peak}},
M_{\mathrm{peak}},
B_{\mathrm{peak}},
\Gamma_{\mathrm{comm}}
)
} Θ C S T = ( T wall , T serial , P parallel , D peak , M peak , B peak , Γ comm ) 其中：
T w a l l T_{\mathrm{wall}} T wall T s e r i a l T_{\mathrm{serial}} T serial P p a r a l l e l P_{\mathrm{parallel}} P parallel D p e a k D_{\mathrm{peak}} D peak M p e a k M_{\mathrm{peak}} M peak B p e a k B_{\mathrm{peak}} B peak Γ c o m m \Gamma_{\mathrm{comm}} Γ comm
所以：
same spacetime volume ≠ same spacetime topology . \boxed{
\text{same spacetime volume}
\neq
\text{same spacetime topology}.
} same spacetime volume = same spacetime topology . 本文將 Paper 04 的能源向量：
E = ( E g r o s s , E b a s e , E m a r g , E a t t r i b , E t h e r m o , m i n ) \mathcal E
=
(
E_{\mathrm{gross}},
E_{\mathrm{base}},
E_{\mathrm{marg}},
E_{\mathrm{attrib}},
E_{\mathrm{thermo,min}}
) E = ( E gross , E base , E marg , E attrib , E thermo , min ) 與本篇的 C P , V C S T , Θ C S T \mathbf C_P,\mathbf V_{CST},\Theta_{CST} C P , V C S T , Θ C S T
P c o m p u t e = ( C P , V C S T , Θ C S T , E , B o u n d a r y P ) . \boxed{
\mathfrak P_{\mathrm{compute}}
=
(
\mathbf C_P,
\mathbf V_{CST},
\Theta_{CST},
\mathcal E,
Boundary_P
).
} P compute = ( C P , V C S T , Θ C S T , E , B o u n d a r y P ) . 這才是一次智能成果的完整物理成本描述。
本文終端命題是：
計算不是「做了多少乘法」， 而是某組物理資源在某段時間內， 以某種拓撲搬移、保存、同步與轉換狀態。 FLOPs 只是這個計算時空中的一條投影。 \boxed{
\textbf{
計算不是「做了多少乘法」，
而是某組物理資源在某段時間內，
以某種拓撲搬移、保存、同步與轉換狀態。
FLOPs 只是這個計算時空中的一條投影。
}
} 計算不是「做了多少乘法」， 而是某組物理資源在某段時間內， 以某種拓撲搬移、保存、同步與轉換狀態。 FLOPs 只是這個計算時空中的一條投影。 1. FLOPs 為什麼如此流行？
因為它容易：
若 workload 有：
N m u l , N a d d N_{\mathrm{mul}},
N_{\mathrm{add}} N mul , N add 可粗略估：
O = N m u l + N a d d + ⋯ . O
=
N_{\mathrm{mul}}+N_{\mathrm{add}}+\cdots. O = N mul + N add + ⋯ . 2. FLOPs 很重要，但它只看 arithmetic work
它沒有直接描述：
data 在哪裡；
data 搬了多少次；
等待多久；
跨幾顆 device；
是否 synchronization；
是否 memory-bound。
所以：
F L O P s = one projection of computation . \boxed{
FLOPs
=
\text{one projection of computation}.
} F L O P s = one projection of computation . 3. Roofline model 的核心啟示
Williams、Waterman 與 Patterson 的 Roofline model 將可達 performance 約束在：
P ≤ min ( P p e a k , B W ⋅ I A ) . \boxed{
P
\le
\min
(
P_{\mathrm{peak}},
BW\cdot I_A
).
} P ≤ min ( P peak , B W ⋅ I A ) . 其中：
I A = operations bytes transferred . \boxed{
I_A=
\frac{\text{operations}}{\text{bytes transferred}}.
} I A = bytes transferred operations . 4. Arithmetic intensity 很低時
即使有極高：
P p e a k , P_{\mathrm{peak}}, P peak , 系統也可能吃不到。
因為：
P ≈ B W ⋅ I A . \boxed{
P
\approx
BW\cdot I_A.
} P ≈ B W ⋅ I A . 5. 所以「加更多算力」不一定有效
如果 bottleneck 是：
data movement . \boxed{
\text{data movement}.
} data movement . 增加 ALU / tensor cores 可能幾乎沒有改善。
6. Memory Wall
處理器 arithmetic throughput 的成長，長期快於某些記憶體延遲與頻寬改善。
這形成：
Compute Capability ≫ Data Supply Capability \boxed{
\text{Compute Capability}
\gg
\text{Data Supply Capability}
} Compute Capability ≫ Data Supply Capability 的結構性壓力。
7. AI 尤其依賴 memory hierarchy
典型層級包括：
R e g i s t e r s → O n C h i p C a c h e / S R A M → H B M / D R A M → H o s t M e m o r y → S t o r a g e . \boxed{
Registers
\rightarrow
OnChipCache/SRAM
\rightarrow
HBM/DRAM
\rightarrow
HostMemory
\rightarrow
Storage.
} R e g i s t er s → O n C hi pC a c h e / S R A M → H B M / D R A M → H os tM e m or y → S t or a g e . 8. 同一資料被放在哪一層很重要
因為：
latency 不同；
bandwidth 不同；
energy per access 不同；
capacity 不同。
因此：
1 B y t e A c c e s s ≠ 1 F i x e d C o s t . \boxed{
1\ Byte\ Access
\neq
1\ FixedCost.
} 1 B y t e A ccess = 1 F i x e d C os t . 9. Data movement 可能比 arithmetic 更昂貴
DNN accelerator literature 長期強調，資料搬移是能源與性能設計的主要成本來源之一。
因此：
C o m p u t e O p t i m i z a t i o n ≠ A r i t h m e t i c O p t i m i z a t i o n O n l y . \boxed{
ComputeOptimization
\neq
ArithmeticOptimizationOnly.
} C o m p u t e O pt imi z a t i o n = A r i t hm e t i c O pt imi z a t i o n O n l y . 10. Memory Traffic
本文定義：
B M = ∑ ℓ B ℓ \boxed{
B_M
=
\sum_{\ell}
B_{\ell}
} B M = ℓ ∑ B ℓ 其中 ℓ \ell ℓ
register；
cache；
SRAM；
HBM/DRAM；
host memory。
11. 但直接相加仍有資訊損失
因為：
1 G B S R A M 1GB_{\mathrm{SRAM}} 1 G B SRAM 和：
1 G B D R A M 1GB_{\mathrm{DRAM}} 1 G B DRAM 不是相同物理成本。
12. 所以更完整是階層向量
B M = ( B r e g , B c a c h e , B s r a m , B h b m , B h o s t ) . \boxed{
\mathbf B_M
=
(
B_{reg},
B_{cache},
B_{sram},
B_{hbm},
B_{host}
).
} B M = ( B r e g , B c a c h e , B sr am , B hbm , B h os t ) . 13. Memory Energy 可以寫成
E M = ∑ ℓ ϵ ℓ B ℓ , \boxed{
E_M
=
\sum_{\ell}
\epsilon_{\ell}B_{\ell},
} E M = ℓ ∑ ϵ ℓ B ℓ , 其中：
ϵ ℓ \epsilon_\ell ϵ ℓ 是該平台下每 byte movement 的有效能源係數。
14. ϵ ℓ \epsilon_\ell ϵ ℓ
它依賴：
process node；
memory technology；
utilization；
access pattern；
voltage；
controller。
所以：
M e m o r y C o s t = M e m o r y C o s t ( H a r d w a r e , P a t t e r n ) . \boxed{
MemoryCost
=
MemoryCost(Hardware,Pattern).
} M e m or y C os t = M e m or y C os t ( H a r d w a r e , P a tt er n ) . 15. Memory Residency 與 Memory Traffic 不一樣
模型權重常駐：
M = 100 G B M=100GB M = 100 GB 一分鐘，
和只搬移：
100 G B 100GB 100 GB 一次，
不是同一成本。
16. 因此定義 Memory Residency
V M = ∫ t 0 t f M r e s i d e n t ( t ) d t . \boxed{
V_M
=
\int_{t_0}^{t_f}
M_{\mathrm{resident}}(t)\,dt.
} V M = ∫ t 0 t f M resident ( t ) d t . 單位可為：
B y t e ⋅ s e c o n d . \boxed{
Byte\cdot second.
} B y t e ⋅ seco n d . 17. V M V_M V M
而：
B M B_M B M 測「搬了多少資料」。
兩者都需要。
18. 所以：
M e m o r y T r a f f i c ≠ M e m o r y R e s i d e n c y . \boxed{
MemoryTraffic
\neq
MemoryResidency.
} M e m or y T r a f f i c = M e m or y R es i d e n cy . 19. KV cache 是很好的例子
長 context inference 中：
KV cache 會占記憶體；
每個 decoding step 又要讀取相關 cache；
context 越長，memory pressure 越高。
所以只看 output token 數非常不完整。
20. Context 的物理成本不是只有「多幾個 token」
它改變：
M e m o r y R e s i d e n c y , M e m o r y T r a f f i c , A t t e n t i o n W o r k , L a t e n c y . \boxed{
MemoryResidency,
MemoryTraffic,
AttentionWork,
Latency.
} M e m or y R es i d e n cy , M e m or y T r a f f i c , A tt e n t i o nW or k , L a t e n cy . 21. Interconnect 是下一個成本層
多 GPU / accelerator 系統需要：
all-reduce；
all-gather；
all-to-all；
point-to-point；
synchronization。
22. 定義 Network / Interconnect Traffic
B N = ∑ l i n k s B y t e s t r a n s f e r r e d . \boxed{
B_N
=
\sum_{links}
Bytes_{\mathrm{transferred}}.
} B N = l ink s ∑ B y t e s transferred . 23. 但 bytes 也不是全部
因為 topology 很重要。
同樣：
100 G B 100GB 100 GB 在：
on-package link；
NVLink-class interconnect；
PCIe；
Ethernet / fabric；
有不同：
latency；
energy；
contention。
24. 所以需要 communication graph
令：
G C = ( V D , E L ) \boxed{
G_C=(V_D,E_L)
} G C = ( V D , E L ) 其中：
V D V_D V D E L E_L E L
25. 每條 edge 可以具有
e i j = ( B i j , L i j , B W i j , E i j ) . \boxed{
e_{ij}
=
(
B_{ij},
L_{ij},
BW_{ij},
E_{ij}
).
} e ij = ( B ij , L ij , B W ij , E ij ) . 26. Communication Cost 不是只看總流量
還要看：
T o p o l o g y + S y n c h r o n i z a t i o n + C o n t e n t i o n . \boxed{
Topology
+
Synchronization
+
Contention.
} T o p o l o g y + S y n c h r o ni z a t i o n + C o n t e n t i o n . 27. Collective operations 很重要
例如 all-reduce：
即使每 device arithmetic 很快，
也可能：
T c o m m ≫ T c o m p u t e . T_{\mathrm{comm}}
\gg
T_{\mathrm{compute}}. T comm ≫ T compute . 28. 所以：
M o r e D e v i c e s ⇏ L o w e r L a t e n c y . \boxed{
MoreDevices
\not\Rightarrow
LowerLatency.
} M or eD e v i ces ⇒ L o w er L a t e n cy . 29. Parallelism 不是免費
假設任務可以拆成：
n n n 份。
理想：
T n = T 1 n . T_n
=
\frac{T_1}{n}. T n = n T 1 . 30. 但實際：
T n = T s e r i a l + T p a r a l l e l ( n ) + T c o m m ( n ) + T s y n c ( n ) . \boxed{
T_n
=
T_{\mathrm{serial}}
+
T_{\mathrm{parallel}}(n)
+
T_{\mathrm{comm}}(n)
+
T_{\mathrm{sync}}(n).
} T n = T serial + T parallel ( n ) + T comm ( n ) + T sync ( n ) . 31. Amdahl-like pressure
只要存在不可平行部分：
f s > 0 , f_s>0, f s > 0 , 加速比就有上界。
32. 所以 GPU 數不是「算力乘法器」而已
它也增加：
coordination；
communication；
failure surface；
idle imbalance。
33. Device Occupancy
定義：
D ( t ) = number/equivalent fraction of occupied devices at t . \boxed{
D(t)
=
\text{number/equivalent fraction of occupied devices at }t.
} D ( t ) = number/equivalent fraction of occupied devices at t . 34. Compute Device-Time
V C = ∫ t 0 t f D ( t ) d t . \boxed{
V_C
=
\int_{t_0}^{t_f}
D(t)\,dt.
} V C = ∫ t 0 t f D ( t ) d t . 35. 最簡單情況
8 GPU 占滿 10 秒：
V C = 80 G P U ⋅ s . \boxed{
V_C=80\ GPU\cdot s.
} V C = 80 GP U ⋅ s . 36. 1 GPU 占滿 80 秒：
V C = 80 G P U ⋅ s . \boxed{
V_C=80\ GPU\cdot s.
} V C = 80 GP U ⋅ s . 37. 但兩者 latency 不同
T A = 10 s , T B = 80 s . \boxed{
T_A=10s,
\quad
T_B=80s.
} T A = 10 s , T B = 80 s . 所以：
V C ≠ T . \boxed{
V_C
\neq
T.
} V C = T . 38. 兩者甚至能源也可不同
多 GPU 系統可能有：
higher idle overhead；
interconnect energy；
different utilization。
所以：
S a m e D e v i c e T i m e ≠ S a m e E n e r g y . \boxed{
SameDeviceTime
\neq
SameEnergy.
} S am eD e v i ce T im e = S am e E n er g y . 39. 同樣 Device-Time 也不代表相同硬體
80 A100·s 和 80 RTX-class·s 不能直接當相同 resource volume。
40. 因此需要 hardware equivalence rule
可以用：
reference device；
normalized peak throughput；
measured workload throughput；
area / transistor / power boundary；
建立等價投影。
41. 但不同 normalizer 會產生不同答案
所以必須寫：
V C ∗ = V C ∗ ( R e f e r e n c e ) . \boxed{
V_C^{*}
=
V_C^{*}(Reference).
} V C ∗ = V C ∗ ( R e f er e n ce ) . 42. 這與 Paper 04 的 Energy Boundary 同構
所有跨硬體比較都需要：
B o u n d a r y + R e f e r e n c e + A t t r i b u t i o n R u l e . \boxed{
Boundary
+
Reference
+
AttributionRule.
} B o u n d a r y + R e f er e n ce + A tt r ib u t i o n R u l e . 43. Computational Spacetime 的起點
物理計算不是一個點。
它是一段：
[ t 0 , t f ] [t_0,t_f] [ t 0 , t f ] 期間內資源被占用的歷史。
44. 定義資源場
R ( t ) = ( r C ( t ) , r M ( t ) , r N ( t ) , r S ( t ) ) . \boxed{
\mathbf R(t)
=
(
r_C(t),
r_M(t),
r_N(t),
r_S(t)
).
} R ( t ) = ( r C ( t ) , r M ( t ) , r N ( t ) , r S ( t )) . 45. Compute occupancy
r C ( t ) . r_C(t). r C ( t ) . 46. Memory occupancy
r M ( t ) . r_M(t). r M ( t ) . 47. Network / interconnect occupancy
r N ( t ) . r_N(t). r N ( t ) . 48. Storage / I/O occupancy
r S ( t ) . r_S(t). r S ( t ) . 49. Raw Computational Spacetime Measure
V C S T = ∫ R ( t ) d t . \boxed{
\mathbf V_{CST}
=
\int
\mathbf R(t)\,dt.
} V C S T = ∫ R ( t ) d t . 50. 展開
V C S T = ( V C , V M , V N , V S ) . \boxed{
\mathbf V_{CST}
=
(
V_C,V_M,V_N,V_S
).
} V C S T = ( V C , V M , V N , V S ) . 51. 這是向量，不是單位混合的 scalar
其中：
V C V_C V C 可能是 device·s；
V M V_M V M 可能是 byte·s。
52. 因此不能寫
80 G P U ⋅ s + 500 G B ⋅ s = 580. 80GPU\cdot s
+
500GB\cdot s
=
580. 80 GP U ⋅ s + 500 GB ⋅ s = 580. 這沒有物理意義。
53. Type Safety
V C ⊕ V M ⊕ V N ⊕ V S \boxed{
V_C
\oplus
V_M
\oplus
V_N
\oplus
V_S
} V C ⊕ V M ⊕ V N ⊕ V S 只能形成向量。
不能自然相加。
54. 如果真的需要 scalar
必須先 normalize。
55. 定義 reference
C r e f , M r e f , N r e f , S r e f . C_{ref},M_{ref},N_{ref},S_{ref}. C r e f , M r e f , N r e f , S r e f . 56. 以及權重
w C , w M , w N , w S . w_C,w_M,w_N,w_S. w C , w M , w N , w S . 57. 才能定義
V C S T ∗ = ∫ [ w C r C ( t ) C r e f + w M r M ( t ) M r e f + w N r N ( t ) N r e f + w S r S ( t ) S r e f ] d t . \boxed{
V_{CST}^{*}
=
\int
\left[
w_C\frac{r_C(t)}{C_{ref}}
+
w_M\frac{r_M(t)}{M_{ref}}
+
w_N\frac{r_N(t)}{N_{ref}}
+
w_S\frac{r_S(t)}{S_{ref}}
\right]dt.
} V C S T ∗ = ∫ [ w C C r e f r C ( t ) + w M M r e f r M ( t ) + w N N r e f r N ( t ) + w S S r e f r S ( t ) ] d t . 58. 這個 scalar 不是自然常數
所以：
V C S T ∗ = V C S T ∗ ( R e f e r e n c e , W e i g h t s , B o u n d a r y ) . \boxed{
V_{CST}^{*}
=
V_{CST}^{*}
(
Reference,
Weights,
Boundary
).
} V C S T ∗ = V C S T ∗ ( R e f er e n ce , W e i g h t s , B o u n d a r y ) . 59. 使用場景不同，weights 可以不同
例如 edge AI：
w E n e r g y ↑ , w M e m o r y ↑ . w_Energy\uparrow,
w_Memory\uparrow. w E n er g y ↑ , w M e m or y ↑ . 60. 即時控制：
w T i m e ↑ . w_Time\uparrow. w T im e ↑ . 61. data-center batch：
可能更重視：
T h r o u g h p u t / C a p a c i t y . Throughput/Capacity. T h r o ug h p u t / C a p a c i t y . 62. 所以 IPM 應先報 Pareto vector
而不是先報單一總分。
63. Spacetime Volume 還不夠
因為：
8 × 10 = 1 × 80. 8\times10
=
1\times80. 8 × 10 = 1 × 80. 積分值一樣。
64. 但形狀不同
因此需要：
Θ C S T = Computational Spacetime Topology . \boxed{
\Theta_{CST}
=
\text{Computational Spacetime Topology}.
} Θ C S T = Computational Spacetime Topology . 65. 定義
Θ C S T = ( T w a l l , T s e r i a l , P p a r a l l e l , D p e a k , M p e a k , B p e a k , Γ c o m m ) . \boxed{
\Theta_{CST}
=
(
T_{\mathrm{wall}},
T_{\mathrm{serial}},
P_{\mathrm{parallel}},
D_{\mathrm{peak}},
M_{\mathrm{peak}},
B_{\mathrm{peak}},
\Gamma_{\mathrm{comm}}
).
} Θ C S T = ( T wall , T serial , P parallel , D peak , M peak , B peak , Γ comm ) . 66. T w a l l T_{\mathrm{wall}} T wall
使用者實際等多久。
67. T s e r i a l T_{\mathrm{serial}} T serial
critical path 中不能被並行消除的時間。
68. P p a r a l l e l P_{\mathrm{parallel}} P parallel
可視為有效 parallelism，例如：
P p a r a l l e l = V C T w a l l \boxed{
P_{\mathrm{parallel}}
=
\frac{V_C}{T_{\mathrm{wall}}}
} P parallel = T wall V C 在簡化同質 device 條件下。
69. D p e a k D_{\mathrm{peak}} D peak
任務最高同時占用多少 device。
70. M p e a k M_{\mathrm{peak}} M peak
peak memory footprint。
71. B p e a k B_{\mathrm{peak}} B peak
peak bandwidth demand。
72. Γ c o m m \Gamma_{\mathrm{comm}} Γ comm
communication graph / synchronization topology。
73. 所以：
S a m e V o l u m e ≠ S a m e T o p o l o g y . \boxed{
SameVolume
\neq
SameTopology.
} S am e V o l u m e = S am e T o p o l o g y . 74. Computational Shape
可以把一次執行看成：
S C S T = ( V C S T , Θ C S T ) . \boxed{
\mathcal S_{CST}
=
(
\mathbf V_{CST},
\Theta_{CST}
).
} S C S T = ( V C S T , Θ C S T ) . 75. 這比 GPU-hours 更完整
GPU-hours 只近似：
V C . V_C. V C . 76. 它看不到：
memory footprint；
network traffic；
latency shape；
peak resource demand。
77. Peak demand 對文明尺度很重要
兩個任務總資源一樣：
A：
1000 G P U 1000GPU 1000 GP U 跑 1 秒。
B：
1 G P U 1GPU 1 GP U 跑 1000 秒。
78. Integrated compute volume 相近
但 A 需要：
large instantaneous infrastructure . \boxed{
\text{large instantaneous infrastructure}.
} large instantaneous infrastructure . 79. 所以資源可部署性不同
D e p l o y a b i l i t y A ≠ D e p l o y a b i l i t y B . \boxed{
Deployability_A
\neq
Deployability_B.
} D e pl oy abi l i t y A = D e pl oy abi l i t y B . 80. Peak Hardware Footprint
本文定義：
H p e a k = ( D p e a k , M p e a k , N p e a k , P p e a k , a c t u a l ) . \boxed{
H_{\mathrm{peak}}
=
(
D_{\mathrm{peak}},
M_{\mathrm{peak}},
N_{\mathrm{peak}},
P_{\mathrm{peak,actual}}
).
} H peak = ( D peak , M peak , N peak , P peak , actual ) . 81. 它是 capacity barrier
若你沒有 1000 GPU，
即使總 GPU·s 很合理，
也不能執行 A。
82. 所以：
T o t a l R e s o u r c e ≠ R e q u i r e d I n s t a n t a n e o u s C a p a c i t y . \boxed{
TotalResource
\neq
RequiredInstantaneousCapacity.
} T o t a l R eso u r ce = R e q u i r e d I n s t an t an eo u s C a p a c i t y . 83. 這對 AI benchmark 特別重要
某 benchmark 結果可能使用：
huge batch；
enormous parallel rollouts；
verifier farm。
84. 使用者只看到一個 answer
但：
H p e a k ≫ ordinary deployment capacity . \boxed{
H_{\mathrm{peak}}
\gg
\text{ordinary deployment capacity}.
} H peak ≫ ordinary deployment capacity . 85. 這正好回到 Paper 01
O n e U s e r T u r n ≠ O n e P h y s i c a l T u r n . \boxed{
OneUserTurn
\neq
OnePhysicalTurn.
} O n e U ser T u r n = O n e P h y s i c a l T u r n . 86. FLOPs 還有 precision 問題
一個：
F P 64 FP64 F P 64 operation 與：
I N T 8 INT8 I N T 8 operation 的：
hardware cost；
energy；
throughput；
不同。
87. 所以 operation count 也應 typed
O = ( O F P 64 , O F P 32 , O B F 16 , O F P 16 , O I N T 8 , … ) . \boxed{
\mathbf O
=
(
O_{FP64},
O_{FP32},
O_{BF16},
O_{FP16},
O_{INT8},
\ldots
).
} O = ( O F P 64 , O F P 32 , O B F 16 , O F P 16 , O I N T 8 , … ) . 88. 「一 FLOP」本身也不是完全同質的工程成本
即使數學上都叫 operation。
89. Sparse computation
若模型有 sparsity / MoE：
nominal FLOPs 和 active FLOPs 又不同。
90. 所以至少分：
O n o m i n a l \boxed{
O_{\mathrm{nominal}}
} O nominal 與：
O e x e c u t e d . \boxed{
O_{\mathrm{executed}}.
} O executed . 91. 再與：
O u s e f u l O_{\mathrm{useful}} O useful 區分。
92. Useful Operations 不能單靠硬體知道
它需要回到：
μ I e f f . \mu_I^{eff}. μ I e f f . 93. 因此三層：
O e x e c u t e d → N μ g r o s s → N μ e f f . \boxed{
O_{\mathrm{executed}}
\rightarrow
N_{\mu}^{gross}
\rightarrow
N_{\mu}^{eff}.
} O executed → N μ g r oss → N μ e f f . 94. 物理 activity 不等於語意 activity
再次得到：
P h y s i c a l A c t i v i t y ≠ S e m a n t i c A c t i v i t y . \boxed{
PhysicalActivity
\neq
SemanticActivity.
} P h y s i c a l A c t i v i t y = S e man t i c A c t i v i t y . 95. Utilization
硬體宣稱：
P p e a k . P_{\mathrm{peak}}. P peak . 實際 workload：
P a c t u a l . P_{\mathrm{actual}}. P actual . 96. 定義 compute utilization
u C = P a c t u a l P p e a k . \boxed{
u_C
=
\frac{P_{\mathrm{actual}}}{P_{\mathrm{peak}}}.
} u C = P peak P actual . 97. 但 utilization 也不能單獨判斷好壞
低 utilization 可能是 memory-bound。
98. 也可能是 latency-optimized small batch
所以：
L o w U t i l i z a t i o n ≠ B a d S y s t e m . \boxed{
LowUtilization
\neq
BadSystem.
} L o w U t i l i z a t i o n = B a d S y s t e m . 99. Memory utilization
也可以定義：
u M = B W a c t u a l B W p e a k . u_M
=
\frac{BW_{\mathrm{actual}}}{BW_{\mathrm{peak}}}. u M = B W peak B W actual . 100. Roofline state
可以用：
R f = ( I A , u C , u M ) \boxed{
\mathcal R_f
=
(
I_A,
u_C,
u_M
)
} R f = ( I A , u C , u M ) 描述 workload 在 compute-bound / memory-bound 區域的位置。
101. Communication intensity
仿照 arithmetic intensity，可定義：
I C = O B N . \boxed{
I_C
=
\frac{O}{B_N}.
} I C = B N O . 102. 或 semantic communication intensity
I μ , N = N μ e f f B N . \boxed{
I_{\mu,N}
=
\frac{N_{\mu}^{eff}}{B_N}.
} I μ , N = B N N μ e f f . 103. 這能問
每搬 1 GB 跨 device 資訊，換來多少有效語意工作？
104. 但仍需 task semantics
所以它不是硬體 universal metric。
105. Memory Semantic Density
同樣可以定義：
D μ , M = N μ e f f V M . \boxed{
D_{\mu,M}
=
\frac{N_{\mu}^{eff}}{V_M}.
} D μ , M = V M N μ e f f . 106. 它表示：
每單位 memory spacetime 支撐多少有效語意工作。
107. Compute Semantic Density
D μ , C = N μ e f f V C . \boxed{
D_{\mu,C}
=
\frac{N_{\mu}^{eff}}{V_C}.
} D μ , C = V C N μ e f f . 108. 最終 Quality Density
D Q , C S T = Q V C S T ∗ \boxed{
D_{Q,CST}
=
\frac{Q}{V_{CST}^{*}}
} D Q , C S T = V C S T ∗ Q 只在 scalar normalization 已明示時使用。
109. 更安全的是向量式效率
η Q / C S T = ( Q V C , Q V M , Q V N , Q V S ) . \boxed{
\boldsymbol{\eta}_{Q/CST}
=
\left(
\frac{Q}{V_C},
\frac{Q}{V_M},
\frac{Q}{V_N},
\frac{Q}{V_S}
\right).
} η Q / C S T = ( V C Q , V M Q , V N Q , V S Q ) . 110. 這保留量綱
也避免任意 weights。
111. Computational Spacetime Boundary
與 energy boundary 一樣，
必須指定：
B o u n d a r y C S T . \boxed{
Boundary_{CST}.
} B o u n d a r y C S T . 112. accelerator-only
只看 GPU。
113. node-level
加入：
114. cluster-level
再加入：
network fabric；
shared storage；
orchestration resources。
115. data-center-level
再加入：
power/cooling infrastructure；
networking。
116. lifecycle-level
甚至加入：
hardware manufacturing；
amortized embodied resource。
117. 本篇不要求一開始用最大 boundary
但要求：
Boundary must be declared . \boxed{
\text{Boundary must be declared}.
} Boundary must be declared . 118. Measurement Grade
本文提出 CST measurement grade：
CST-D — Spec Estimate
由 model config / device spec 推估。
119. CST-C — Runtime Software Trace
有 framework profiler：
kernel；
memory；
device timing。
120. CST-B — Hardware Telemetry
有 device-level：
occupancy；
memory bandwidth；
interconnect counters。
121. CST-A — Cluster Trace
有 multi-node synchronized telemetry。
122. CST-A+ — Causal Resource Attribution
能透過 controlled baseline / workload isolation，把 shared resource 因果分攤到任務。
123. 這與 Paper 04 E-Grade 對齊
所以每次 IPM report 可同時給：
G r a d e μ , E G r a d e , C S T G r a d e . Grade_{\mu},
EGrade,
CSTGrade. G r a d e μ , E G r a d e , C S T G r a d e . 124. 這形成 Measurement Confidence Bundle
G M = ( G r a d e μ , G r a d e E , G r a d e C S T ) . \boxed{
\mathcal G_M
=
(
Grade_{\mu},
Grade_E,
Grade_{CST}
).
} G M = ( G r a d e μ , G r a d e E , G r a d e C S T ) . 125. Physical Computation Cost Vector
現在正式定義：
C P = ( O , B M , B I , B N , V M , V C , T , E ) . \boxed{
\mathbf C_P
=
(
\mathbf O,
\mathbf B_M,
B_I,
\mathbf B_N,
V_M,
V_C,
T,
\mathcal E
).
} C P = ( O , B M , B I , B N , V M , V C , T , E ) . 126. 這裡刻意保留階層向量
而不是太早總和。
127. 完整物理事件描述
P c o m p u t e = ( C P , V C S T , Θ C S T , H p e a k , E , B o u n d a r y P , G M ) . \boxed{
\mathfrak P_{\mathrm{compute}}
=
(
\mathbf C_P,
\mathbf V_{CST},
\Theta_{CST},
H_{\mathrm{peak}},
\mathcal E,
Boundary_P,
\mathcal G_M
).
} P compute = ( C P , V C S T , Θ C S T , H peak , E , B o u n d a r y P , G M ) . 128. 接回語意層
Paper 02–03 已有：
N μ , C o n f μ . \mathbf N_{\mu},
Conf_{\mu}. N μ , C o n f μ . 129. 所以跨層完整鏈
P c o m p u t e → N μ → Q . \boxed{
\mathfrak P_{\mathrm{compute}}
\rightarrow
\mathbf N_{\mu}
\rightarrow
Q.
} P compute → N μ → Q . 130. 這才是「智能花了多少物理世界」
而不是：
T o k e n C o u n t \boxed{
TokenCount
} T o k e n C o u n t 或：
F L O P s \boxed{
FLOPs
} F L O P s 單獨回答。
131. 十六個 Canonical Invariants
Invariant 1
F L O P s ≠ P h y s i c a l C o m p u t a t i o n a l C o s t . \boxed{
FLOPs
\neq
PhysicalComputationalCost.
} F L O P s = P h y s i c a l C o m p u t a t i o na l C os t . Invariant 2
M e m o r y T r a f f i c ≠ M e m o r y R e s i d e n c y . \boxed{
MemoryTraffic
\neq
MemoryResidency.
} M e m or y T r a f f i c = M e m or y R es i d e n cy . Invariant 3
S a m e F L O P s ≠ S a m e L a t e n c y . \boxed{
SameFLOPs
\neq
SameLatency.
} S am e F L O P s = S am e L a t e n cy . Invariant 4
S a m e F L O P s ≠ S a m e E n e r g y . \boxed{
SameFLOPs
\neq
SameEnergy.
} S am e F L O P s = S am e E n er g y . Invariant 5
S a m e D e v i c e T i m e ≠ S a m e E n e r g y . \boxed{
SameDeviceTime
\neq
SameEnergy.
} S am eD e v i ce T im e = S am e E n er g y . Invariant 6
S a m e C S T V o l u m e ≠ S a m e C S T T o p o l o g y . \boxed{
SameCSTVolume
\neq
SameCSTTopology.
} S am e C S T V o l u m e = S am e C S T T o p o l o g y . Invariant 7
T o t a l R e s o u r c e ≠ P e a k C a p a c i t y R e q u i r e m e n t . \boxed{
TotalResource
\neq
PeakCapacityRequirement.
} T o t a l R eso u r ce = P e ak C a p a c i t y R e q u i r e m e n t . Invariant 8
M o r e D e v i c e s ⇏ L o w e r L a t e n c y . \boxed{
MoreDevices
\not\Rightarrow
LowerLatency.
} M or eD e v i ces ⇒ L o w er L a t e n cy . Invariant 9
B y t e A c c e s s ≠ F i x e d C o s t . \boxed{
ByteAccess
\neq
FixedCost.
} B y t e A ccess = F i x e d C os t . Invariant 10
C o m m u n i c a t i o n B y t e s ≠ C o m m u n i c a t i o n C o s t . \boxed{
CommunicationBytes
\neq
CommunicationCost.
} C o mm u ni c a t i o n B y t es = C o mm u ni c a t i o n C os t . Invariant 11
P e a k T h r o u g h p u t ≠ A t t a i n a b l e T h r o u g h p u t . \boxed{
PeakThroughput
\neq
AttainableThroughput.
} P e ak T h r o ug h p u t = A tt ainab l e T h r o ug h p u t . Invariant 12
L o w U t i l i z a t i o n ≠ B a d S y s t e m . \boxed{
LowUtilization
\neq
BadSystem.
} L o w U t i l i z a t i o n = B a d S y s t e m . Invariant 13
N o m i n a l O p s ≠ E x e c u t e d O p s . \boxed{
NominalOps
\neq
ExecutedOps.
} N o mina l O p s = E x ec u t e d O p s . Invariant 14
E x e c u t e d O p s ≠ U s e f u l S e m a n t i c W o r k . \boxed{
ExecutedOps
\neq
UsefulSemanticWork.
} E x ec u t e d O p s = U se f u l S e man t i c W or k . Invariant 15
S c a l a r C S T ⇒ D e c l a r e d N o r m a l i z a t i o n . \boxed{
ScalarCST
\Rightarrow
DeclaredNormalization.
} S c a l a r C S T ⇒ D ec l a r e d N or ma l i z a t i o n . Invariant 16
C S T C o m p a r i s o n ⇒ S a m e B o u n d a r y O r E x p l i c i t C o n v e r s i o n . \boxed{
CSTComparison
\Rightarrow
SameBoundaryOrExplicitConversion.
} C S T C o m p a r i so n ⇒ S am e B o u n d a r y O r E x pl i c i tC o n v er s i o n . 132. 對 IPM 統一事件向量的再擴張
Paper 04：
E ′ ′ ′ = ( Q , N μ , C o n f μ , G r a d e μ , U , G , I , L , R , S , T , E , B o u n d a r y E , V C S T ) . \mathfrak E'''=
(
Q,
\mathbf N_{\mu},
Conf_{\mu},
Grade_{\mu},
U,G,I,L,R,S,T,
\mathcal E,
Boundary_E,
V_{CST}
). E ′′′ = ( Q , N μ , C o n f μ , G r a d e μ , U , G , I , L , R , S , T , E , B o u n d a r y E , V C S T ) . 133. Paper 05 正式替換單一 V C S T V_{CST} V C S T
得到：
E ( 5 ) = ( Q , N μ , C o n f μ , U , G , I , L , R , S , P c o m p u t e ) . \boxed{
\mathfrak E^{(5)}
=
(
Q,
\mathbf N_{\mu},
Conf_{\mu},
U,G,I,L,R,S,
\mathfrak P_{\mathrm{compute}}
).
} E ( 5 ) = ( Q , N μ , C o n f μ , U , G , I , L , R , S , P compute ) . 134. 這是更乾淨的 hierarchical representation
最上層：
Q . Q. Q . 135. 中間層：
N μ . \mathbf N_{\mu}. N μ . 136. 底層：
P c o m p u t e . \mathfrak P_{\mathrm{compute}}. P compute . 137. 因此完整因果方向
Physical Resources → Algorithmic Execution → Semantic Work → Quality . \boxed{
\text{Physical Resources}
\rightarrow
\text{Algorithmic Execution}
\rightarrow
\text{Semantic Work}
\rightarrow
\text{Quality}.
} Physical Resources → Algorithmic Execution → Semantic Work → Quality . 138. 逆向量測方向
則是：
Q → N ^ μ → P ^ c o m p u t e . \boxed{
Q
\rightarrow
\widehat{\mathbf N}_{\mu}
\rightarrow
\widehat{\mathfrak P}_{\mathrm{compute}}.
} Q → N μ → P compute . 其中每一層都有 measurement uncertainty。
139. 智能效率最終不應只有一個 scalar
至少先報：
F I P M = ( Q , T , E m a r g , V C , V M , B M , B N , H p e a k , L , R ) . \boxed{
\mathcal F_{\mathrm{IPM}}
=
(
Q,
T,
E_{\mathrm{marg}},
V_C,
V_M,
B_M,
B_N,
H_{\mathrm{peak}},
L,R
).
} F IPM = ( Q , T , E marg , V C , V M , B M , B N , H peak , L , R ) . 140. Pareto dominance
若 A：
Q A ≥ Q B Q_A\ge Q_B Q A ≥ Q B 且所有成本軸：
C A , j ≤ C B , j , C_{A,j}\le C_{B,j}, C A , j ≤ C B , j , 至少一項嚴格較優，
則：
A ≻ P B . \boxed{
A\succ_P B.
} A ≻ P B . 141. 若不是 dominance
就不要假裝有唯一優勝者。
142. 例如
A：
B：
143. 哪個更好
取決於：
D e p l o y m e n t O b j e c t i v e . \boxed{
DeploymentObjective.
} D e pl oy m e n tO bj ec t i v e . 144. 這就是為什麼 IPM 不是 AI IQ 榜
它是一套：
physical-semantic metrology . \boxed{
\text{physical-semantic metrology}.
} physical-semantic metrology . 145. 結論：計算其實是一段資源占用歷史
如果只看：
F L O P s , FLOPs, F L O P s , 我們看到的是：
系統做了多少 arithmetic。
如果只看：
J o u l e s , Joules, J o u l es , 我們看到的是：
系統總共耗散多少能源。
如果只看：
G P U ⋅ h o u r s , GPU\cdot hours, GP U ⋅ h o u r s , 我們看到的是：
某類 device 被占用了多久。
這些都重要。
但都不是完整計算。
真正一次物理計算更接近：
一組計算、記憶體、互連與儲存資源， 在一段時間中以特定並行與通訊拓撲， 維持並轉換物理狀態的歷史。 \boxed{
\textbf{
一組計算、記憶體、互連與儲存資源，
在一段時間中以特定並行與通訊拓撲，
維持並轉換物理狀態的歷史。
}
} 一組計算、記憶體、互連與儲存資源， 在一段時間中以特定並行與通訊拓撲， 維持並轉換物理狀態的歷史。 所以本文把「計算時空」從修辭改造成可操作結構：
V C S T = ∫ R ( t ) d t . \boxed{
\mathbf V_{CST}
=
\int \mathbf R(t)\,dt.
} V C S T = ∫ R ( t ) d t . 但我們同時拒絕把不同量綱亂加。
因此：
V C S T \boxed{
\mathbf V_{CST}
} V C S T 首先是向量。
而不是：
一個看起來很酷的總分。
只有在 reference、weights、boundary 全部明示後，
才允許：
V C S T ∗ . V_{CST}^{*}. V C S T ∗ . 而且即使 volume 相同，
仍必須保留：
Θ C S T \Theta_{CST} Θ C S T 因為：
8 G P U × 10 s \boxed{
8GPU\times10s
} 8 GP U × 10 s 和：
1 G P U × 80 s \boxed{
1GPU\times80s
} 1 GP U × 80 s 不具有相同：
latency；
peak capacity；
communication；
deployability。
因此：
Volume ≠ Topology . \boxed{
\text{Volume}
\neq
\text{Topology}.
} Volume = Topology . 這一篇也把我們最初的「時空間函數」真正往物理計算語言落下來。
現在，一次智能成果可以被描述為：
P c o m p u t e → N μ → Q . \boxed{
\mathfrak P_{\mathrm{compute}}
\rightarrow
\mathbf N_{\mu}
\rightarrow
Q.
} P compute → N μ → Q . 也就是：
世界占用了多少實體計算時空？
這些時空真正完成多少有效語意工作？
最後換回多少成果品質？
到這一步，分母已經相對完整。
下一個真正的大問題就變成：
那分子 Q 到底怎麼量？ \boxed{
\textbf{
那分子 $Q$ 到底怎麼量？
}
} 那分子 Q 到底怎麼量？ 對數學、程式與形式邏輯，我們可以大量依賴：
correctness；
proof；
tests；
verification；
constraint satisfaction。
所以 Paper 06 將正式進入：
《成果品質到底怎麼量？：從形式化正確性到結構化智能品質》 。
這會開始建立 IPM 的品質測量端，並為 Paper 07 的 IBQF 二元人類評估準備基礎。
文獻基礎
[1] Williams, S., Waterman, A., & Patterson, D. (2009). Roofline: An Insightful Visual Performance Model for Multicore Architectures. Communications of the ACM , 52(4), 65–76. DOI: 10.1145/1498765.1498785.
[2] Wulf, W. A., & McKee, S. A. (1995). Hitting the Memory Wall: Implications of the Obvious. ACM SIGARCH Computer Architecture News , 23(1), 20–24. DOI: 10.1145/216585.216588.
[3] Sze, V., Chen, Y.-H., Yang, T.-J., & Emer, J. S. (2017). Efficient Processing of Deep Neural Networks: A Tutorial and Survey. Proceedings of the IEEE , 105(12), 2295–2329. DOI: 10.1109/JPROC.2017.2761740.
[4] Chen, Y.-H., Emer, J., & Sze, V. (2016). Eyeriss: A Spatial Architecture for Energy-Efficient Dataflow for Convolutional Neural Networks. ISCA 2016 . DOI: 10.1109/ISCA.2016.40.
[5] Jouppi, N. P. et al. (2017). In-Datacenter Performance Analysis of a Tensor Processing Unit. ISCA 2017 , 1–12. DOI: 10.1145/3079856.3080246.
[6] Patterson, D. et al. (2021). Carbon Emissions and Large Neural Network Training. arXiv:2104.10350.
[7] Ivanov, A., Dryden, N., Ben-Nun, T., Li, S., & Hoefler, T. (2021). Data Movement Is All You Need: A Case Study on Optimizing Transformers. MLSys 2021 .
[8] Chen, Y., Yang, T.-J., Emer, J., & Sze, V. (2018/2019). Understanding the Limitations of Existing Energy-Efficient Design Approaches for Deep Neural Networks. SysML / MLSys .
系列路徑
Paper 01｜一輪到底是一輪什麼？：使用者回合、隱藏 LOOP 與單次智能的重新定義 Paper 02｜智能到底算了一次什麼？：最小智能語意執行單位的候選理論 Paper 03｜從認知到神經元：人腦如何跨層測量智能計算 Paper 04｜從神經元到焦耳：智能計算的能量、熱力學與物理下界 Paper 05｜計算不是只有 FLOPs：記憶體、互連、硬體占用與計算時空體積 Paper 06｜成果品質到底怎麼量？：從形式化正確性到結構化智能品質 Paper 07｜不要叫人類替自己的感覺打分數：IBQF 二元測量與低負擔品質評估 Paper 08｜自然語言、圖像與創意如何被量？：高歧義成果的結構化品質空間 Paper 09｜拿掉 LOOP 還剩多少智能？：單次智能、鷹架依賴與隱藏計算成本 Paper 10｜一個答案值多少物理世界？：智能產率的統一計量框架