從像素差分到語義差分：連續多模態感知中的變化階層
英文題名：From Pixel Difference to Semantic Difference: A Hierarchy of Change in Continuous Multimodal Perception 系列：Adaptive Perceptual Reading（APR）／自適應感知閱讀理論，第 2 篇 作者：Neo.K 機構：EveMissLab／一言諾科技有限公司 版本：v0.1（2026-08-02）
摘要
連續多模態系統若以固定影格率、固定解析度與固定視覺 token 預算反覆處理完整輸入，會大量重複計算沒有新增任務資訊的內容。影片編碼、事件相機與近期 Video-LLM token pruning 研究均已證明時間冗餘可以被利用；語義變化偵測與 object state change 研究則進一步顯示，真正重要的變化並不等同於像素差異。然而，現有方法多半分別處理訊號冗餘、特徵冗餘、場景變化、物件狀態或特定任務相關性，尚缺乏一個直接服務於持續多模態智能體的統一變化階層。
本文提出「階層差分感知」（Hierarchical Differential Perception, HDP）作為自適應感知閱讀理論的第二層。本文將連續感知中的變化分解為六個層次：
Δ p i x → Δ f e a t → Δ o b j → Δ s t a t e → Δ s e m → Δ s i g \Delta^{pix}
\rightarrow
\Delta^{feat}
\rightarrow
\Delta^{obj}
\rightarrow
\Delta^{state}
\rightarrow
\Delta^{sem}
\rightarrow
\Delta^{sig} Δ p i x → Δ f e a t → Δ o bj → Δ s t a t e → Δ se m → Δ s i g 它們分別表示像素／訊號差分、特徵差分、物件差分、世界狀態差分、語義差分與任務重要性差分。本文主張，高階智能體不應把「變了多少」與「變得多重要」視為同一問題；大量像素改變可能只是鏡頭移動或光照變化，而少量像素改變也可能對世界狀態、風險或決策造成巨大影響。
本文進一步提出變化提升算子、干擾不變性、重要性函數、差分不對稱性、狀態更新規則與感知升級機制，並給出可驗證假說及 MVP 實驗架構。其核心命題為：
連續智能的有效感知單位不應只是「新影格」，而應逐步轉向「具有任務意義的狀態變化」。
關鍵詞： 差分感知、語義變化、狀態變化、Video-LLM、事件視覺、場景變化偵測、物件狀態、視覺 token、持續感知、Agentic Perception
1. 問題：畫面變化不等於世界變化
對兩個相鄰影格 F t − 1 F_{t-1} F t − 1 F t F_t F t
Δ t p i x = D ( F t , F t − 1 ) \Delta^{pix}_t = D(F_t,F_{t-1}) Δ t p i x = D ( F t , F t − 1 ) 其中 D D D
然而，對智能體而言，真正重要的通常不是：
有多少像素不同？
而是：
世界發生了什麼變化？
考慮兩種極端情形。
1.1 大像素差，小世界差
攝影機向右平移時，幾乎所有像素都可能改變：
∥ Δ t p i x ∥ ≫ 0 \lVert\Delta^{pix}_t\rVert \gg 0 ∥ Δ t p i x ∥ ≫ 0 但如果場景中的桌子、門、人物與物件關係都沒有真正改變，則：
∥ Δ t s t a t e ∥ ≈ 0 \lVert\Delta^{state}_t\rVert \approx 0 ∥ Δ t s t a t e ∥ ≈ 0 1.2 小像素差，大世界差
控制介面上的文字由：
OFF → ON \text{OFF}\rightarrow\text{ON} OFF → ON 或價格由：
99.9 → 999 99.9\rightarrow999 99.9 → 999 只改變很小區域，甚至只改變少量字元與像素：
∥ Δ t p i x ∥ ≈ 0 \lVert\Delta^{pix}_t\rVert \approx 0 ∥ Δ t p i x ∥ ≈ 0 但若該訊號代表設備啟動、交易價格改變或安全狀態切換，則：
∥ Δ t s i g ∥ ≫ 0 \lVert\Delta^{sig}_t\rVert \gg 0 ∥ Δ t s i g ∥ ≫ 0 因此本文區分兩個問題：
Change Magnitude \text{Change Magnitude} Change Magnitude 與：
Change Significance \text{Change Significance} Change Significance 兩者不能互相替代。
2. 既有技術已證明「重複世界」可以被利用
本文並不主張時間差分本身是新的。
2.1 影片編碼：先利用訊號冗餘
現代影片編碼長期透過 inter prediction、motion vector prediction、reference picture、residual coding 等技術避免完整重複編碼相鄰畫面。H.266/VVC 仍包含 temporal motion vector prediction、subblock-based temporal motion vector prediction、motion-vector difference 與多種 residual coding 工具。
其抽象形式可寫為：
F t = F ^ t ( F t − k , M t ) + R t F_t
=
\widehat F_t(F_{t-k},M_t)
+
R_t F t = F t ( F t − k , M t ) + R t 其中 M t M_t M t R t R_t R t
影片編碼因此首先證明：
Raw Video Volume ≠ New Information Volume \text{Raw Video Volume}
\neq
\text{New Information Volume} Raw Video Volume = New Information Volume 但 codec 的目標主要是重建訊號，而不是判斷事件對智能體任務的意義。
2.2 Event Camera：沒有低階變化就沒有事件
事件相機不以固定 FPS 傳送完整影格，而是讓每個像素在亮度變化超過門檻時非同步產生事件。若沒有足夠的亮度變化，便不產生對應資料。
可簡化為：
∣ Δ log I ( x , y , t ) ∣ > θ ⇒ e = ( x , y , t , p ) |\Delta\log I(x,y,t)|>\theta
\Rightarrow
e=(x,y,t,p) ∣Δ log I ( x , y , t ) ∣ > θ ⇒ e = ( x , y , t , p ) 否則：
No Event \text{No Event} No Event 這從感測器層直接展示：
No Change ⇒ No Full Re-observation Required \text{No Change}
\Rightarrow
\text{No Full Re-observation Required} No Change ⇒ No Full Re-observation Required 然而，事件視覺主要解決的是低階亮度變化；「哪個 event 對目前任務重要」仍是另一層問題。
2.3 Video-LLM：開始利用時間 token 冗餘
ResidualViT 利用連續影格間大量時間冗餘，以 residual connections 與 token reduction 降低高時間解析度影片特徵抽取成本。
PruneVid 會合併 temporally static 與 spatially similar tokens，並依查詢去除不相關視覺 token。
StreamingTOM 更直接依據相鄰影格變化與 token saliency 在串流影片中進行固定預算的 token 選擇。
ForestPrune 則把影片 token 組織為具有語義、空間與時間限制的森林，對高度冗餘的影片 token 進行大比例壓縮。
這些研究共同支持：
Adjacent Frames ⇏ Equal New Information \text{Adjacent Frames}
\not\Rightarrow
\text{Equal New Information} Adjacent Frames ⇒ Equal New Information 3. 但「變化」本身不是單一層級
本文提出六層差分階梯：
Δ p i x → Δ f e a t → Δ o b j → Δ s t a t e → Δ s e m → Δ s i g \boxed{
\Delta^{pix}
\rightarrow
\Delta^{feat}
\rightarrow
\Delta^{obj}
\rightarrow
\Delta^{state}
\rightarrow
\Delta^{sem}
\rightarrow
\Delta^{sig}
} Δ p i x → Δ f e a t → Δ o bj → Δ s t a t e → Δ se m → Δ s i g 此箭頭不是表示每個系統都必須嚴格逐層運算，而是表示從低階訊號變化向高階智能意義提升的概念關係。
4. 第一層：像素／訊號差分
定義：
Δ t p i x = D p i x ( X t , X t − 1 ) \Delta^{pix}_t
=
D_{pix}(X_t,X_{t-1}) Δ t p i x = D p i x ( X t , X t − 1 ) 對影像而言，它可以是 RGB、亮度、深度、事件流或其他感測訊號的局部改變。
優點是：
成本低；
可以高頻運行；
適合產生 early warning；
適合快速篩除完全靜態區域。
但其主要問題是對 nuisance variation 過度敏感。
令：
N t = { camera motion , illumination , noise , compression artifact , viewpoint } N_t
=
\{
\text{camera motion},
\text{illumination},
\text{noise},
\text{compression artifact},
\text{viewpoint}
\} N t = { camera motion , illumination , noise , compression artifact , viewpoint } 則可能發生：
Δ t p i x = Δ t w o r l d + Δ t n u i s a n c e \Delta^{pix}_t
=
\Delta^{world}_t
+
\Delta^{nuisance}_t Δ t p i x = Δ t w or l d + Δ t n u i s an ce 而：
∣ Δ t n u i s a n c e ∣ > ∣ Δ t w o r l d ∣ |\Delta^{nuisance}_t|
>
|\Delta^{world}_t| ∣ Δ t n u i s an ce ∣ > ∣ Δ t w or l d ∣ 因此低階差分只能作為候選訊號，不能直接等同於「世界變了」。
5. 第二層：特徵差分
將原始輸入映射到特徵空間：
z t = ϕ ( X t ) z_t=\phi(X_t) z t = ϕ ( X t ) 則：
Δ t f e a t = D f ( z t , z t − 1 ) \Delta^{feat}_t
=
D_f(z_t,z_{t-1}) Δ t f e a t = D f ( z t , z t − 1 ) 其中 ϕ \phi ϕ
特徵差分的目標是：
Δ f e a t ≈ Δ t a s k - r e l e v a n t s t r u c t u r e \Delta^{feat}
\approx
\Delta^{task\text{-}relevant\ structure} Δ f e a t ≈ Δ t a s k - r e l e v an t s t r u c t u r e 而降低對部分低階干擾的敏感度。
近期 visual token pruning 大量採用 token similarity、跨幀特徵相似性、saliency 或 query relevance，本質上都在嘗試回答：
哪些 latent representation 沒有提供足夠的新資訊？
但特徵差分仍可能存在模型依賴。
同一個視覺變化：
X t − 1 → X t X_{t-1}\rightarrow X_t X t − 1 → X t 在不同 encoder 下可能得到：
Δ A f e a t ≠ Δ B f e a t \Delta^{feat}_{A}
\neq
\Delta^{feat}_{B} Δ A f e a t = Δ B f e a t 所以「特徵差分」還不是客觀世界狀態本身。
6. 第三層：物件差分
令場景中的物件集合為：
O t = { o t 1 , o t 2 , … , o t n } O_t
=
\{o_t^1,o_t^2,\ldots,o_t^n\} O t = { o t 1 , o t 2 , … , o t n } 則物件差分不再關心每個 patch 是否變動，而關心：
哪個物件出現？
哪個物件消失？
哪個物件移動？
哪個物件被遮擋？
哪個物件被替換？
哪個物件本身改變？
可表示為：
Δ t o b j = { O t + , O t − , O t m o v e , O t t r a n s f o r m } \Delta^{obj}_t
=
\{
O_t^{+},
O_t^{-},
O_t^{move},
O_t^{transform}
\} Δ t o bj = { O t + , O t − , O t m o v e , O t t r an s f or m } 例如攝影機平移造成大量像素變化，但若 object correspondence 成功建立：
o t i ≡ o t − 1 i o_t^i
\equiv
o_{t-1}^i o t i ≡ o t − 1 i 則可判定：
Δ o b j ≈ 0 \Delta^{obj}\approx0 Δ o bj ≈ 0 反之，如果畫面中突然多出一把工具：
O t + = { tool } O_t^{+}
=
\{\text{tool}\} O t + = { tool } 即使其面積很小，也可得到明確的物件層變化。
2025–2026 的 scene change detection 已開始大量研究如何從二元 change map 走向 semantic change；UniChange 進一步使用多模態大型模型統一 binary change detection 與 semantic change detection，而 LangSCD 則利用語言描述與幾何—語義匹配提高 changed-object 的辨識能力。
這表示研究前沿已逐漸從：
Where changed? \text{Where changed?} Where changed? 走向：
What changed? \text{What changed?} What changed? 7. 第四層：世界狀態差分
物件存在不代表物件狀態不變。
令世界狀態為：
S t = { s t 1 , s t 2 , … , s t m } S_t
=
\{
s_t^1,s_t^2,\ldots,s_t^m
\} S t = { s t 1 , s t 2 , … , s t m } 其中狀態可以包括：
位置；
開／關；
完整／損壞；
空／滿；
生／熟；
鎖定／解鎖；
正常／警報；
持有者；
物件關係；
任務階段。
則：
Δ t s t a t e = S t ⊖ S t − 1 \Delta^{state}_t
=
S_t\ominus S_{t-1} Δ t s t a t e = S t ⊖ S t − 1 這裡的 ⊖ \ominus ⊖
例如：
d o o r . s t a t e : c l o s e d → o p e n door.state:
closed\rightarrow open d oor . s t a t e : c l ose d → o p e n c u p . c o n t e n t : e m p t y → f u l l cup.content:
empty\rightarrow full c u p . co n t e n t : e m pt y → f u l l r o b o t . g r a s p : n o n e → w r e n c h robot.grasp:
none\rightarrow wrench r o b o t . g r a s p : n o n e → w r e n c h 近期 object state change 研究顯示，這一層仍是多模態模型的重要難題。ObjChangeVR 專門研究連續第一人稱視角中、甚至缺乏直接動作提示的背景物件狀態變化；OSCBench 也指出，現代影片模型即使能維持整體場景與語義對齊，對細緻、連續且可組合的 object state change 仍然不穩定。
因此：
Scene Understanding ≠ State Transition Understanding \text{Scene Understanding}
\neq
\text{State Transition Understanding} Scene Understanding = State Transition Understanding 8. 第五層：語義差分
世界狀態變化之後，仍需判斷「這個變化意味著什麼」。
本文定義語義差分：
Δ t s e m = Ψ ( S t − 1 , S t , C t , G t ) \Delta^{sem}_t
=
\Psi(
S_{t-1},
S_t,
C_t,
G_t
) Δ t se m = Ψ ( S t − 1 , S t , C t , G t ) 其中：
C t C_t C t G t G_t G t
例如：
d o o r : c l o s e d → o p e n door:
closed\rightarrow open d oor : c l ose d → o p e n 本身是狀態差分。
但在不同上下文中可以代表：
有人進入；
緊急出口被打開；
機器人已完成開門步驟；
安全區域失去隔離；
只是風把門吹開。
因此：
Δ s t a t e ⇏ unique Δ s e m \Delta^{state}
\not\Rightarrow
\text{unique }\Delta^{sem} Δ s t a t e ⇒ unique Δ se m 語義差分必須結合上下文、時間序列、因果假說與任務。
這也是為什麼單純 change mask 不足以支撐高階智能體。
9. 第六層：重要性差分
即使兩個事件在語義上都能被理解，它們也不一定值得投入相同感知資源。
本文定義重要性差分：
Δ t s i g = Γ ( Δ t s e m , G t , R t , U t , K t , H t ) \Delta^{sig}_t
=
\Gamma(
\Delta^{sem}_t,
G_t,
R_t,
U_t,
K_t,
H_t
) Δ t s i g = Γ ( Δ t se m , G t , R t , U t , K t , H t ) 其中：
G t G_t G t R t R_t R t U t U_t U t K t K_t K t H t H_t H t
可進一步寫成：
S i g t = α R e l t + β R i s k t + γ N o v e l t y t + δ C a u s a l R e a c h t + η I r r e v e r s i b i l i t y t + μ U n c e r t a i n t y t Sig_t
=
\alpha Rel_t
+
\beta Risk_t
+
\gamma Novelty_t
+
\delta CausalReach_t
+
\eta Irreversibility_t
+
\mu Uncertainty_t S i g t = α R e l t + β R i s k t + γ N o v e l t y t + δ C a u s a l R e a c h t + η I r r e v er s ibi l i t y t + μU n cer t ain t y t 此函數不要求固定線性形式；其目的只是說明「重要性」由多項因素共同決定。
因此：
∣ Δ a p i x ∣ > ∣ Δ b p i x ∣ |\Delta^{pix}_a|
>
|\Delta^{pix}_b| ∣ Δ a p i x ∣ > ∣ Δ b p i x ∣ 不代表：
S i g ( a ) > S i g ( b ) Sig(a)>Sig(b) S i g ( a ) > S i g ( b ) 甚至可能完全相反。
10. 差分不對稱性
本文提出 APR 系列中的一項重要原則：
差分不對稱原則
在一般智能任務中：
Physical Magnitude of Change ∝̸ Decision Significance of Change \boxed{
\text{Physical Magnitude of Change}
\not\propto
\text{Decision Significance of Change}
} Physical Magnitude of Change ∝ Decision Significance of Change 也就是：
Δ s i g Δ p i x \frac{
\Delta^{sig}
}{
\Delta^{pix}
} Δ p i x Δ s i g 可以非常大，也可以非常小。
例 1：攝影機快速平移
Δ p i x ≫ 0 \Delta^{pix}\gg0 Δ p i x ≫ 0 但：
Δ s i g ≈ 0 \Delta^{sig}\approx0 Δ s i g ≈ 0 例 2：一個警告 icon 出現
Δ p i x ≪ 1 \Delta^{pix}\ll1 Δ p i x ≪ 1 但：
Δ s i g ≫ 0 \Delta^{sig}\gg0 Δ s i g ≫ 0 例 3：背景人群持續移動
Δ o b j > 0 \Delta^{obj}>0 Δ o bj > 0 但若任務是讀取前景儀表：
R e l G ≈ 0 Rel_G\approx0 R e l G ≈ 0 因此：
Δ s i g ≈ 0 \Delta^{sig}\approx0 Δ s i g ≈ 0 例 4：價格最後一位數改變
同樣的像素差大小，在一般瀏覽中可能不重要，但在高頻交易監控中：
R e l G ↑ ⇒ Δ s i g ↑ Rel_G\uparrow
\Rightarrow
\Delta^{sig}\uparrow R e l G ↑⇒ Δ s i g ↑ 所以重要性不是輸入本身的固定屬性。
11. 變化提升算子
本文將從低階變化到高階變化的過程稱為：
Change Lifting／變化提升
令：
L k : Δ ( k ) → Δ ( k + 1 ) L_k:
\Delta^{(k)}
\rightarrow
\Delta^{(k+1)} L k : Δ ( k ) → Δ ( k + 1 ) 則：
L p i x → f e a t L_{pix\rightarrow feat} L p i x → f e a t 把訊號差異提升為表示差異；
L f e a t → o b j L_{feat\rightarrow obj} L f e a t → o bj 把局部特徵差異聚合為物件變化；
L o b j → s t a t e L_{obj\rightarrow state} L o bj → s t a t e 辨識物件狀態轉移；
L s t a t e → s e m L_{state\rightarrow sem} L s t a t e → se m 結合上下文解釋狀態意義；
L s e m → s i g L_{sem\rightarrow sig} L se m → s i g 依任務、風險與不確定性評估重要性。
整體：
Δ s i g = L s e m → s i g ∘ L s t a t e → s e m ∘ L o b j → s t a t e ∘ L f e a t → o b j ∘ L p i x → f e a t ( Δ p i x ) \Delta^{sig}
=
L_{sem\rightarrow sig}
\circ
L_{state\rightarrow sem}
\circ
L_{obj\rightarrow state}
\circ
L_{feat\rightarrow obj}
\circ
L_{pix\rightarrow feat}
(
\Delta^{pix}
) Δ s i g = L se m → s i g ∘ L s t a t e → se m ∘ L o bj → s t a t e ∘ L f e a t → o bj ∘ L p i x → f e a t ( Δ p i x ) 但實際系統不必每次完整走完所有層。
可以採 early exit。
若：
Δ p i x ≈ 0 \Delta^{pix}\approx0 Δ p i x ≈ 0 且風險低，可直接停止。
若低階差異高但被判定為 camera motion：
Δ w o r l d f e a t ≈ 0 \Delta^{feat}_{world}\approx0 Δ w or l d f e a t ≈ 0 可在中間停止。
只有當候選變化可能影響世界狀態時，才升級到高成本語義推理。
12. 干擾不變性與「假變化」
真正的差分感知必須處理大量假變化：
N = { i l l u m i n a t i o n , v i e w p o i n t , c a m e r a m o t i o n , c o m p r e s s i o n , s e n s o r n o i s e , o c c l u s i o n } \mathcal N
=
\{
illumination,
viewpoint,
camera\ motion,
compression,
sensor\ noise,
occlusion
\} N = { i l l u mina t i o n , v i e w p o in t , c am er a m o t i o n , co m p r ess i o n , se n sor n o i se , occ l u s i o n } 理想的高階變化算子希望滿足近似不變性：
Δ s t a t e ( T n ( X t − 1 ) , T n ( X t ) ) ≈ Δ s t a t e ( X t − 1 , X t ) \Delta^{state}
(
T_n(X_{t-1}),
T_n(X_t)
)
\approx
\Delta^{state}
(
X_{t-1},X_t
) Δ s t a t e ( T n ( X t − 1 ) , T n ( X t )) ≈ Δ s t a t e ( X t − 1 , X t ) 其中 T n T_n T n
這一點對持續 Agent 尤其重要。
如果機器人走動本身造成的視覺變化每次都被當成世界劇烈改變，感知系統將持續錯誤升級到高成本模式。
因此應區分：
Δ e g o \Delta^{ego} Δ e g o 智能體自身運動造成的觀測變化；
以及：
Δ e x o \Delta^{exo} Δ e x o 外部世界真正發生的變化。
目標是估計：
Δ w o r l d ≈ Δ o b s ⊖ Δ e g o \Delta^{world}
\approx
\Delta^{obs}
\ominus
\Delta^{ego} Δ w or l d ≈ Δ o b s ⊖ Δ e g o 13. 從差分偵測到差分狀態更新
本文的目標不是只建立 change detector，而是讓變化成為持續世界狀態更新的基本輸入。
令：
W t − 1 W_{t-1} W t − 1 為智能體已持有的世界模型。
傳統完整重建可近似為：
W t = B u i l d ( X t ) W_t
=
Build(X_t) W t = B u i l d ( X t ) 每次都重新從輸入推定當前世界。
APR/HDP 改為：
W t = U p d a t e ( W t − 1 , Δ t s t a t e ) W_t
=
Update(
W_{t-1},
\Delta^{state}_t
) W t = U p d a t e ( W t − 1 , Δ t s t a t e ) 如果只改變一個局部狀態：
Δ t s t a t e = { d o o r 4 : c l o s e d → o p e n } \Delta^{state}_t
=
\{
door_4: closed\rightarrow open
\} Δ t s t a t e = { d oo r 4 : c l ose d → o p e n } 則沒有必要重新建構：
{ r o o m , w a l l s , t a b l e s , c h a i r s , w i n d o w s , d o o r 1 , d o o r 2 , d o o r 3 , . . . } \{
room,
walls,
tables,
chairs,
windows,
door_1,
door_2,
door_3,
...
\} { r oo m , w a l l s , t ab l es , c hai r s , w in d o w s , d oo r 1 , d oo r 2 , d oo r 3 , ... } 這將連續感知從：
Repeated Reconstruction \text{Repeated Reconstruction} Repeated Reconstruction 轉換成：
Persistent State + Differential Update \text{Persistent State + Differential Update} Persistent State + Differential Update 14. 感知升級機制
HDP 應與 APR-01 的 Perceptual Reading Policy 連接。
低成本監控器首先估計：
c t = ( Δ p i x , Δ f e a t ) c_t
=
(
\Delta^{pix},
\Delta^{feat}
) c t = ( Δ p i x , Δ f e a t ) 再計算候選重要性：
S i g ^ t = g ( c t , G t , R t , U t ) \widehat{Sig}_t
=
g(c_t,G_t,R_t,U_t) S i g t = g ( c t , G t , R t , U t ) 當：
S i g ^ t < τ 1 \widehat{Sig}_t<\tau_1 S i g t < τ 1 採：
s k i p / m o n i t o r skip/monitor s k i p / m o ni t or 當：
τ 1 ≤ S i g ^ t < τ 2 \tau_1
\le
\widehat{Sig}_t
<
\tau_2 τ 1 ≤ S i g t < τ 2 採：
g l a n c e / s c a n glance/scan g l an ce / sc an 當：
τ 2 ≤ S i g ^ t < τ 3 \tau_2
\le
\widehat{Sig}_t
<
\tau_3 τ 2 ≤ S i g t < τ 3 採：
i n s p e c t inspect in s p ec t 當：
S i g ^ t ≥ τ 3 \widehat{Sig}_t\ge\tau_3 S i g t ≥ τ 3 或：
U t ≫ 0 U_t\gg0 U t ≫ 0 採：
d e e p / r e o b s e r v e deep/reobserve d ee p / r eo b ser v e 因此：
C h a n g e → S i g n i f i c a n c e → P e r c e p t u a l B u d g e t \boxed{
Change
\rightarrow
Significance
\rightarrow
Perceptual Budget
} C han g e → S i g ni f i c an ce → P er ce pt u a l B u d g e t 而不是：
N e w F r a m e → F u l l V i s i o n \boxed{
New Frame
\rightarrow
Full Vision
} N e w F r am e → F u l l V i s i o n 15. 差分事件封包
為工程化本文概念，可以定義一個抽象的 Differential Perceptual Event：
E t = ( t , s o u r c e , r e g i o n , Δ p i x , Δ f e a t , e n t i t y , Δ s t a t e , Δ s e m , S i g , c o n f i d e n c e ) E_t
=
(
t,
source,
region,
\Delta^{pix},
\Delta^{feat},
entity,
\Delta^{state},
\Delta^{sem},
Sig,
confidence
) E t = ( t , so u r ce , r e g i o n , Δ p i x , Δ f e a t , e n t i t y , Δ s t a t e , Δ se m , S i g , co n f i d e n ce ) 例如：
time: 21:08:13.412
source: desktop.window.4
region: [842, 121, 1034, 184]
entity: payment_total
state_before: 99.90
state_after: 999.00
semantic_change: price_increase
significance: 0.93
confidence: 0.98
後續大型模型未必需要重新接收整張螢幕。
只需要在必要時讀取：
E t E_t E t 並在信心不足時要求：
R e o b s e r v e ( r e g i o n , t ) Reobserve(region,t) R eo b ser v e ( r e g i o n , t ) 這提供一條從低階視覺到 Agent state bus 的工程路徑。
16. 跨模態推廣
本文雖以視覺為主，但差分階層並非視覺專屬。
16.1 音訊
低階：
Δ w a v e \Delta^{wave} Δ w a v e 頻譜：
Δ s p e c \Delta^{spec} Δ s p ec 聲學事件：
Δ e v e n t \Delta^{event} Δ e v e n t 狀態：
f a n : o n → o f f fan:on\rightarrow off f an : o n → o f f 語義：
m a c h i n e s t o p p e d machine\ stopped ma c hin e s t o pp e d 重要性：
p r o d u c t i o n i n t e r r u p t i o n production\ interruption p r o d u c t i o n in t er r u pt i o n 16.2 文字
字元差：
Δ c h a r \Delta^{char} Δ c ha r token 差：
Δ t o k e n \Delta^{token} Δ t o k e n 命題差：
Δ p r o p \Delta^{prop} Δ p r o p 狀態差：
c o n t r a c t . v e r s i o n : v 3 → v 4 contract.version:
v3\rightarrow v4 co n t r a c t . v er s i o n : v 3 → v 4 語義／重要性差：
p a y m e n t t e r m : 30 d a y s → 90 d a y s payment\ term:
30\ days\rightarrow90\ days p a y m e n t t er m : 30 d a y s → 90 d a y s 即使整份文件只有一行改動，任務影響仍可能非常大。
16.3 GUI / Computer Use
GUI 特別適合 HDP，因為系統可同時取得：
D O M D e l t a , A c c e s s i b i l i t y D e l t a , E v e n t D e l t a , F r a m e b u f f e r D e l t a DOM\ Delta,
Accessibility\ Delta,
Event\ Delta,
Framebuffer\ Delta D O M D e l t a , A ccess ibi l i t y D e l t a , E v e n t D e l t a , F r am e b u f f er D e l t a 因此可優先使用結構化差分，而只在必要時重新啟動完整視覺模型。
17. 可驗證假說
H1：階層差分優於像素差分
在存在 camera motion、光照變化與背景動態的影片中，加入 feature/object/state lifting 的系統應比單純 pixel threshold 更能保持低 false-positive rate。
H2：重要性與像素幅度低相關
在人為設計的小變化高風險資料集中：
C o r r ( ∣ Δ p i x ∣ , S i g ) Corr(
|\Delta^{pix}|,
Sig
) C or r ( ∣ Δ p i x ∣ , S i g ) 應顯著低於：
C o r r ( ∣ Δ s t a t e / s e m ∣ , S i g ) Corr(
|\Delta^{state/sem}|,
Sig
) C or r ( ∣ Δ s t a t e / se m ∣ , S i g ) 若結果相反，本文的重要性階層假說將受到挑戰。
H3：差分狀態更新可降低重複 token
對固定背景、局部變化的長影片或 GUI 任務：
C H D P < C F u l l C_{HDP}
<
C_{Full} C H D P < C F u l l 並應在保持任務準確率的同時顯著降低：
visual tokens；
prefill cost；
KV cache；
GPU time。
H4：語義差分可降低關鍵事件漏失
如果只有低階 token pruning，微小但關鍵的文字、圖示或狀態切換可能被刪除。加入 state/semantic significance routing 後，Critical Miss Rate 應下降。
H5：重觀察可以修復 lifting error
若前置差分模型對某一事件信心不足：
U t > τ U U_t>\tau_U U t > τ U 允許高解析度 re-observation 的系統應比「一次 pruning 後不可回頭」系統更穩健。
18. MVP 實驗設計
18.1 三類場景
A. 靜態背景＋局部 UI 改變
例如：
數字更新；
警告燈；
按鈕狀態；
游標移動；
文字出現。
B. 高像素變化＋低世界變化
例如：
camera pan；
zoom；
曝光變化；
視角改變。
C. 低像素變化＋高任務重要性
例如：
OFF→ON；
99→999；
access denied→granted；
safe→warning。
18.2 比較系統
System A：Full Frame
F t → V L M F_t\rightarrow VLM F t → V L M System B：Pixel Difference
Δ p i x → R O I → V L M \Delta^{pix}
\rightarrow ROI
\rightarrow VLM Δ p i x → R O I → V L M System C：Feature/Token Difference
Δ f e a t → T o k e n S e l e c t i o n → V L M \Delta^{feat}
\rightarrow TokenSelection
\rightarrow VLM Δ f e a t → T o k e n S e l ec t i o n → V L M System D：HDP
Δ p i x → Δ f e a t → Δ o b j / s t a t e → S i g → A d a p t i v e O b s e r v a t i o n \Delta^{pix}
\rightarrow
\Delta^{feat}
\rightarrow
\Delta^{obj/state}
\rightarrow
Sig
\rightarrow
Adaptive\ Observation Δ p i x → Δ f e a t → Δ o bj / s t a t e → S i g → A d a pt i v e O b ser v a t i o n 18.3 指標
T o k e n C o s t TokenCost T o k e n C os t G P U T i m e GPUTime GP U T im e L a t e n c y Latency L a t e n cy C h a n g e R e c a l l ChangeRecall C han g e R ec a l l S e m a n t i c C h a n g e A c c u r a c y SemanticChangeAccuracy S e man t i c C han g e A cc u r a cy C r i t i c a l M i s s R a t e CriticalMissRate C r i t i c a l M i ss R a t e F a l s e E s c a l a t i o n R a t e FalseEscalationRate F a l se E sc a l a t i o n R a t e S t a t e C o n s i s t e n c y StateConsistency S t a t e C o n s i s t e n cy 其中最關鍵的是：
Critical Miss Rate \text{Critical Miss Rate} Critical Miss Rate 因為一個效率系統如果靠忽略重要的小變化省 token，工程上沒有意義。
19. 與既有研究的邊界
本文不主張以下技術為新的：
inter-frame prediction；
residual coding；
event-based sensing；
scene change detection；
semantic change detection；
object state change recognition；
visual token pruning；
temporal redundancy compression；
query-guided change detection。
本文提出的理論位置是：
將這些不同層次的「change」重新排列為持續多模態 Agent 可操作的變化階層，並把最高層的 task significance 直接連接到感知預算配置與 persistent world-state update。
換句話說：
Compression \text{Compression} Compression 問的是：
哪些資訊可以少表示？
Change Detection \text{Change Detection} Change Detection 問的是：
哪裡／什麼發生了變化？
而 HDP 進一步問：
哪一層發生了什麼變化？這個變化對目前智能體意味著什麼？值得投入多少新的感知計算？
20. 理論限制
20.1 層級不是完全離散
真實模型可能沒有明確的 pixel、feature、object、state 分界，而是在共享 latent space 中聯合完成多層推理。
因此本文的六層首先是一個可分析的功能分解，而非神經網路必須遵守的硬體分層。
20.2 高階差分可能比完整重算更昂貴
在高度動態、全局變化的場景：
∣ Δ s t a t e ∣ ≈ ∣ S ∣ |\Delta^{state}|\approx|S| ∣ Δ s t a t e ∣ ≈ ∣ S ∣ 此時維持複雜差分追蹤可能不如直接重建划算。
所以 APR 應允許：
D i f f e r e n t i a l M o d e ↔ F u l l R e f r e s h DifferentialMode
\leftrightarrow
FullRefresh D i f f er e n t ia l M o d e ↔ F u l l R e f r es h 動態切換。
20.3 世界模型錯誤會累積
若：
W t = U p d a t e ( W t − 1 , Δ t ) W_t
=
Update(W_{t-1},\Delta_t) W t = U p d a t e ( W t − 1 , Δ t ) 中的早期 Δ t \Delta_t Δ t
因此系統需要週期性或事件觸發的 full refresh：
W t ← R e b u i l d ( X t ) W_t
\leftarrow
Rebuild(X_t) W t ← R e b u i l d ( X t ) 20.4 重要性具有任務依賴性
不存在唯一客觀的：
S i g ( Δ ) Sig(\Delta) S i g ( Δ ) 因為不同任務可能給同一事件完全不同的權重。
APR/HDP 必須明確把：
G t G_t G t 放在重要性函數中。
21. 討論：從「幀」轉向「事件與狀態」
影格是一種非常成功的攝影與計算表示。
但它不一定是持續智能的最佳基本單位。
對影片播放器而言：
F r a m e Frame F r am e 是自然的。
對 codec 而言：
P r e d i c t i o n + R e s i d u a l Prediction+Residual P r e d i c t i o n + R es i d u a l 已經更自然。
對 event camera 而言：
B r i g h t n e s s C h a n g e E v e n t BrightnessChangeEvent B r i g h t n ess C han g e E v e n t 更自然。
對持續多模態智能體而言，本文主張最終更自然的單位可能是：
M e a n i n g f u l S t a t e T r a n s i t i o n \boxed{
Meaningful State Transition
} M e anin g f u l S t a t e T r an s i t i o n 也就是：
S t − 1 → Δ s i g S t S_{t-1}
\xrightarrow{\Delta^{sig}}
S_t S t − 1 Δ s i g S t 此時影片不再只是：
F 1 , F 2 , … , F T F_1,F_2,\ldots,F_T F 1 , F 2 , … , F T 而可以被理解為：
S 0 , E 1 , E 2 , … , E k S_0,
E_1,
E_2,
\ldots,
E_k S 0 , E 1 , E 2 , … , E k 其中：
k ≪ T k\ll T k ≪ T 在大量穩態場景中甚至可能：
k ≪ ≪ T k\ll\ll T k ≪≪ T 這不表示原始影格可以全部丟棄；它們仍然是可回溯證據。
真正的改變是：
原始資料成為可按需重觀察的證據層，而「狀態變化」成為持續推理的主工作層。
22. 結論
本文提出階層差分感知 HDP，作為 Adaptive Perceptual Reading 的第二層理論。
核心區分為：
Δ p i x ≠ Δ f e a t ≠ Δ o b j ≠ Δ s t a t e ≠ Δ s e m ≠ Δ s i g \boxed{
\Delta^{pix}
\neq
\Delta^{feat}
\neq
\Delta^{obj}
\neq
\Delta^{state}
\neq
\Delta^{sem}
\neq
\Delta^{sig}
} Δ p i x = Δ f e a t = Δ o bj = Δ s t a t e = Δ se m = Δ s i g 它們描述的是不同問題：
像素差：畫面哪裡不同？
特徵差：表示哪裡產生新資訊？
物件差：什麼東西改變？
狀態差：世界的哪個屬性改變？
語義差：這個改變代表什麼？
重要性差：這個改變值得多少注意與計算？
因此：
Change Magnitude ≠ Change Meaning ≠ Change Significance \boxed{
\text{Change Magnitude}
\neq
\text{Change Meaning}
\neq
\text{Change Significance}
} Change Magnitude = Change Meaning = Change Significance 持續多模態智能的理想流程應從：
N e w F r a m e → F u l l P r o c e s s i n g NewFrame
\rightarrow
FullProcessing N e w F r am e → F u l l P r ocess in g 轉向：
C h a n g e D e t e c t i o n → C h a n g e L i f t i n g → S i g n i f i c a n c e E s t i m a t i o n → A d a p t i v e P e r c e p t i o n → S t a t e U p d a t e \boxed{
ChangeDetection
\rightarrow
ChangeLifting
\rightarrow
SignificanceEstimation
\rightarrow
AdaptivePerception
\rightarrow
StateUpdate
} C han g eD e t ec t i o n → C han g e L i f t in g → S i g ni f i c an ce E s t ima t i o n → A d a pt i v e P er ce pt i o n → S t a t e U p d a t e 而當不確定性、風險或重要性升高時，系統仍可回到原始資料進行高解析度重觀察。
本文因此將 APR-01 的「感知資源配置」補上了第一個核心訊號：
不是所有變化都值得相同的注意；不是所有重要變化都具有大的表面差異。 \boxed{
\text{不是所有變化都值得相同的注意；不是所有重要變化都具有大的表面差異。}
} 不是所有變化都值得相同的注意；不是所有重要變化都具有大的表面差異。 下一篇 APR-03 將處理另一半問題：
即使知道哪裡值得注意，智能體究竟可以用哪些不同方式「看」？
也就是正式建立瞥視、掃視、精視、深視與重觀察等多尺度 Visual Reading Modes。
參考文獻
ITU-T. Recommendation H.266 (V4): Versatile Video Coding . January 2026.
Adra, M., Melcarne, S., Mirabet-Herranz, N., & Dugelay, J.-L. (2025). Event-based solutions for human-centered applications: a comprehensive review . Frontiers in Signal Processing, 5.
Soldan, M., Caba Heilbron, F., Ghanem, B., Sivic, J., & Russell, B. (2025). ResidualViT for Efficient Temporally Dense Video Encoding . ICCV 2025, 22305–22315.
Huang, X., Zhou, H., & Han, K. (2025). PruneVid: Visual Token Pruning for Efficient Video Large Language Models . Findings of ACL 2025.
Chen, X., Tao, K., Shao, K., & Wang, H. (2026). StreamingTOM: Streaming Token Compression for Efficient Video Understanding . CVPR 2026, 24675–24685.
Ju, S., Song, B., Chen, T., et al. (2026). ForestPrune: High-ratio Visual Token Compression for Video Multimodal Large Language Models via Spatial-Temporal Forest Modeling . arXiv:2603.22911.
Zhang, X., Li, D., Dong, X., et al. (2026). UniChange: Unifying Change Detection with Multimodal Large Language Model . CVPR 2026, 42169–42179.
Sheng, D., Gohil, V., Gaba, S., et al. (2026). Scene Change Detection with Vision-Language Representation Learning . arXiv:2604.11402.
Galappaththige, C. J., Lai, J., Windrim, L., et al. (2026). Changes in Real Time: Online Scene Change Detection with Multi-View Fusion . CVPR 2026, 32246–32256.
Ding, S., Wu, S., & Chen, Y. (2026). ObjChangeVR: Object State Change Reasoning from Continuous Egocentric Views in VR Environments . EACL 2026.
Han, X., Zhu, B., Hu, S., et al. (2026). OSCBench: Benchmarking Object State Change in Text-to-Video Generation . ACL 2026.
Nguyen, N., Bi, J., Vosoughi, A., et al. (2024). OSCaR: Object State Captioning and State Change Representation . arXiv:2402.17128.
系列位置
APR-01：從均勻感知到自適應感知閱讀：多模態智能的感知資源配置理論APR-02：從像素差分到語義差分：連續多模態感知中的變化階層 ← 本文