感知預算分配：從固定視覺 Token 到動態資訊獲益最大化
英文題名：Perceptual Budget Allocation: From Fixed Visual Tokens to Dynamic Information-Gain Maximization 系列：Adaptive Perceptual Reading（APR）／自適應感知閱讀理論，第 5 篇 作者：Neo.K 機構：EveMissLab／一言諾科技有限公司 版本：v0.1（2026-08-07）
摘要
多模態人工智慧的效率問題正由「如何壓縮視覺 token」逐步轉向「如何在不同輸入與任務之間動態配置有限計算資源」。2025–2026 年的研究已分別展示 context-aware resolution selection、per-frame visual budget allocation、query-aware long-video token routing、dynamic sparse attention，以及視覺 token 與 LLM compute 的聯合調度。這些成果共同說明：固定解析度、固定 token 數與固定推理成本並不是多模態推論的必要形式。
本文提出「感知預算經濟」（Perceptual Budget Economy, PBE）作為 Adaptive Perceptual Reading（APR）的第五層。本文將感知與推理資源表示成多維預算：
B t = ( B t t o k , B t f l o p , B t l a t , B t m e m , B t e n g , B t i o ) \mathbf B_t
=
(
B^{tok}_t,
B^{flop}_t,
B^{lat}_t,
B^{mem}_t,
B^{eng}_t,
B^{io}_t
) B t = ( B t t o k , B t f l o p , B t l a t , B t m e m , B t e n g , B t i o ) 並將智能體可分配的資源位置擴展到：
a t = ( a m o d , a s p a c e , a t i m e , a r e p r , a r e a s o n , a m e m o r y , a r e o b s ) \mathbf a_t
=
(
a^{mod},
a^{space},
a^{time},
a^{repr},
a^{reason},
a^{memory},
a^{reobs}
) a t = ( a m o d , a s p a ce , a t im e , a r e p r , a r e a so n , a m e m or y , a r eo b s ) 分別對應模態選擇、空間解析度、時間解析度、表示 token、推理深度、記憶與重觀察。智能體的目標不再是單純最小化 token，而是在風險與可靠性約束下，最大化單位成本能取得的任務資訊與行動效用。
本文提出多資源約束優化、邊際資訊價值、影子價格、最小充分感知、預算彈性、風險保留預算、感知—推理耦合與停止規則，並把 APR-01 至 APR-04 的差分感知、觀看模式與 Persistent World State 納入同一個 constrained decision process。本文的核心命題為：
有限資源下的多模態智能，不應問「每個輸入給多少固定 token」，而應持續問「下一單位計算資源現在花在哪裡最有價值」。
關鍵詞： 感知預算、視覺 token、動態計算、資訊增益、資源配置、Adaptive Compute、Multimodal LLM、Active Perception、Persistent World State、Agentic Perception
1. 問題：Token 數不是唯一的成本
多模態模型經常用：
N v i s i o n t o k e n s N_{vision\ tokens} N v i s i o n t o k e n s 描述視覺成本。
這很重要，但不完整。
實際系統至少同時受到：
Token \text{Token} Token FLOPs \text{FLOPs} FLOPs Latency \text{Latency} Latency Memory \text{Memory} Memory Energy \text{Energy} Energy I/O \text{I/O} I/O 等約束。
因此本文定義多維預算：
B t = ( B t t o k , B t f l o p , B t l a t , B t m e m , B t e n g , B t i o ) \boxed{
\mathbf B_t
=
(
B^{tok}_t,
B^{flop}_t,
B^{lat}_t,
B^{mem}_t,
B^{eng}_t,
B^{io}_t
)
} B t = ( B t t o k , B t f l o p , B t l a t , B t m e m , B t e n g , B t i o ) 在雲端離線影片分析中，主要瓶頸可能是：
B t o k , B f l o p B^{tok},B^{flop} B t o k , B f l o p 在即時機器人中，可能是：
B l a t , B e n g B^{lat},B^{eng} B l a t , B e n g 在邊緣裝置中，可能是：
B m e m , B e n g B^{mem},B^{eng} B m e m , B e n g 因此不存在一個普遍的：
Best Token Count \text{Best Token Count} Best Token Count 更合理的是：
Best Allocation Under Current Resource Constraints \boxed{
\text{Best Allocation Under Current Resource Constraints}
} Best Allocation Under Current Resource Constraints 2. 前沿研究已開始把「多少計算」變成決策
2.1 CARES：最小充分解析度
CARES 對 image–query pair 預測「最小充分輸入解析度」，而不是所有圖片一律以最高解析度送入 VLM。其核心思想可抽象為：
ρ ∗ = min ρ { ρ : P e r f ( ρ , Q ) ≥ P e r f t a r g e t } \rho^*
=
\min_{\rho}
\{
\rho:
Perf(\rho,Q)\ge Perf_{target}
\} ρ ∗ = ρ min { ρ : P er f ( ρ , Q ) ≥ P er f t a r g e t } 這已非常接近本文後面提出的：
Sufficient Perception \text{Sufficient Perception} Sufficient Perception 概念。
2.2 ResAdapt：每幀視覺預算
ResAdapt 在視覺 encoder 之前決定每個 frame 應接受多少 input-side visual budget，並將配置問題形式化為 contextual bandit。
因此：
b i f r a m e ≠ b j f r a m e b^{frame}_i
\neq
b^{frame}_j b i f r am e = b j f r am e 可以依內容與任務動態變化。
2.3 Tempo：固定總預算下的動態時間頻寬
Tempo 對長影片使用 Adaptive Token Allocation，在嚴格總視覺 token 預算下，對 query-critical segments 給予較高 token 密度，對冗餘背景大幅壓縮。
這意味著：
∑ i b i ≤ B \sum_i b_i
\le
B i ∑ b i ≤ B 但：
b i b_i b i 由資訊價值而不是固定 frame rate 決定。
2.4 Dynamic Sparse Attention：動態 attention 稀疏度
2026 年 Dynamic Sparse Attention 使用 entropy-conditioned predictor 產生 input-adaptive masks，把跨模態 attention computation 集中到較有訊號的 token pair。
所以可動態配置的不只是 input tokens，還包括：
Attention Edges \text{Attention Edges} Attention Edges 2.5 SmartVL：視覺 token 與模型計算聯合調度
SmartVL 進一步同時控制：
N v i s u a l N_{visual} N v i s u a l 與：
C L L M C_{LLM} C LL M 並使用共享 budget encoding 協調 vision-side token controller 與 LLM-side compute controller。
這是非常重要的轉變：
Perception Budget ↔ Reasoning Budget \boxed{
\text{Perception Budget}
\leftrightarrow
\text{Reasoning Budget}
} Perception Budget ↔ Reasoning Budget 已開始被當成同一個資源調度問題。
3. APR-05 的位置
上述工作已證明：
解析度可以動態；
frame budget 可以動態；
token 數可以動態；
attention sparsity 可以動態；
LLM compute 可以動態。
因此 APR-05 不主張：
Dynamic token allocation 是新的。
本文要提出的是更高層的資源市場：
Perceptual Budget Economy \boxed{
\text{Perceptual Budget Economy}
} Perceptual Budget Economy 其中以下資源共同競爭有限預算：
{ modality , space , time , representation , reasoning , memory , re-observation } \{
\text{modality},
\text{space},
\text{time},
\text{representation},
\text{reasoning},
\text{memory},
\text{re-observation}
\} { modality , space , time , representation , reasoning , memory , re-observation } 也就是：
a t = ( a t m o d , a t s p a c e , a t t i m e , a t r e p r , a t r e a s o n , a t m e m o r y , a t r e o b s ) \mathbf a_t
=
(
a^{mod}_t,
a^{space}_t,
a^{time}_t,
a^{repr}_t,
a^{reason}_t,
a^{memory}_t,
a^{reobs}_t
) a t = ( a t m o d , a t s p a ce , a t t im e , a t r e p r , a t r e a so n , a t m e m or y , a t r eo b s ) 4. 從固定 Token 到資源配置向量
傳統配置可以近似為：
b i = b 0 ∀ i b_i=b_0
\quad
\forall i b i = b 0 ∀ i 例如每個 frame：
256 t o k e n s 256\ tokens 256 t o k e n s 或每秒：
1 F P S 1\ FPS 1 F P S 或每張圖：
ρ = 1024 \rho=1024 ρ = 1024 APR 則允許：
b i = f ( X i , G t , W t , U t , R t , B t ) b_i
=
f(
X_i,
G_t,
W_t,
U_t,
R_t,
B_t
) b i = f ( X i , G t , W t , U t , R t , B t ) 其中：
X i X_i X i G t G_t G t W t W_t W t U t U_t U t R t R_t R t B t B_t B t
所以同一影片中的不同時刻可有：
b 1 = 1 b_1=1 b 1 = 1 b 2 = 1 b_2=1 b 2 = 1 b 3 = 16 b_3=16 b 3 = 16 b 4 = 0 b_4=0 b 4 = 0 但更進一步，同一時刻還可以把資源分到不同維度：
a t s p a c e = H a_t^{space}=H a t s p a ce = H a t t i m e = L a_t^{time}=L a t t im e = L a t r e a s o n = M a_t^{reason}=M a t r e a so n = M 這比單一 token budget 更一般。
5. 感知資源項目
本文將可調整資源分成七大類。
5.1 模態預算
a m o d a^{mod} a m o d 決定：
看 RGB 嗎？
聽 audio 嗎？
讀 depth 嗎？
讀 DOM 嗎？
讀 LiDAR 嗎？
讀 sensor state 嗎？
如果 structured state 已足夠：
V i s u a l B u d g e t → 0 VisualBudget\rightarrow0 V i s u a l B u d g e t → 0 也是合法決策。
5.2 空間預算
a s p a c e = ( ρ s , ω ) a^{space}
=
(
\rho^s,
\omega
) a s p a ce = ( ρ s , ω ) 決定：
解析度；
ROI 面積；
tile 數；
zoom level。
5.3 時間預算
a t i m e = ( ρ t , h ) a^{time}
=
(
\rho^t,
h
) a t im e = ( ρ t , h ) 決定：
frame rate；
temporal window；
history horizon；
playback density。
5.4 表示預算
a r e p r a^{repr} a r e p r 決定：
保留多少 visual tokens；
哪些 tokens 被 merge/prune；
attention sparsity；
KV retention。
5.5 推理預算
a r e a s o n a^{reason} a r e a so n 決定：
LLM layers；
reasoning tokens；
tool calls；
search depth；
verification rounds。
5.6 記憶預算
a m e m o r y a^{memory} a m e m or y 決定：
哪些狀態長期保存；
哪些證據留在 hot memory；
compression ratio；
cache size。
5.7 重觀察預算
a r e o b s a^{reobs} a r eo b s 決定：
是否回看；
回看哪裡；
回看多久；
用何解析度；
是否 full refresh。
6. 效用函數
本文令一次感知配置 a \mathbf a a
U ( a ) = I ( a ) + α G ( a ) + β R ( a ) + γ S ( a ) − C ( a ) U(\mathbf a)
=
I(\mathbf a)
+
\alpha G(\mathbf a)
+
\beta R(\mathbf a)
+
\gamma S(\mathbf a)
-
C(\mathbf a) U ( a ) = I ( a ) + α G ( a ) + β R ( a ) + γ S ( a ) − C ( a ) 其中：
I I I G G G R R R S S S C C C
成本又可以表示為：
C ( a ) = λ t o k C t o k + λ f l o p C f l o p + λ l a t C l a t + λ m e m C m e m + λ e n g C e n g + λ i o C i o C(\mathbf a)
=
\lambda_{tok}C_{tok}
+
\lambda_{flop}C_{flop}
+
\lambda_{lat}C_{lat}
+
\lambda_{mem}C_{mem}
+
\lambda_{eng}C_{eng}
+
\lambda_{io}C_{io} C ( a ) = λ t o k C t o k + λ f l o p C f l o p + λ l a t C l a t + λ m e m C m e m + λ e n g C e n g + λ i o C i o 不同硬體與任務使用不同：
λ \lambda λ 例如手機端：
λ e n g ↑ \lambda_{eng}\uparrow λ e n g ↑ 即時控制：
λ l a t ↑ \lambda_{lat}\uparrow λ l a t ↑ 離線研究：
λ l a t ↓ \lambda_{lat}\downarrow λ l a t ↓ 7. 多資源約束問題
APR-PBE 的一般形式：
a t ∗ = arg max a E [ U ( a ) ] \boxed{
\mathbf a_t^*
=
\arg\max_{\mathbf a}
\mathbb E[
U(\mathbf a)
]
} a t ∗ = arg a max E [ U ( a )] subject to：
C t o k ( a ) ≤ B t t o k C_{tok}(\mathbf a)
\le
B^{tok}_t C t o k ( a ) ≤ B t t o k C f l o p ( a ) ≤ B t f l o p C_{flop}(\mathbf a)
\le
B^{flop}_t C f l o p ( a ) ≤ B t f l o p C l a t ( a ) ≤ B t l a t C_{lat}(\mathbf a)
\le
B^{lat}_t C l a t ( a ) ≤ B t l a t C m e m ( a ) ≤ B t m e m C_{mem}(\mathbf a)
\le
B^{mem}_t C m e m ( a ) ≤ B t m e m C e n g ( a ) ≤ B t e n g C_{eng}(\mathbf a)
\le
B^{eng}_t C e n g ( a ) ≤ B t e n g 以及安全約束：
P ( C r i t i c a l M i s s ∣ a ) ≤ ϵ P(
CriticalMiss
\mid
\mathbf a
)
\le
\epsilon P ( C r i t i c a l M i ss ∣ a ) ≤ ϵ 因此最優解不是：
min T o k e n s \min Tokens min T o k e n s 而是：
max T a s k U t i l i t y under bounded resources and bounded risk \boxed{
\max TaskUtility
\quad
\text{under bounded resources and bounded risk}
} max T a s k U t i l i t y under bounded resources and bounded risk 8. 邊際資訊價值
假設資源類型為 j j j
定義它的邊際價值：
M V j = ∂ E [ U ] ∂ b j MV_j
=
\frac{
\partial \mathbb E[U]
}{
\partial b_j
} M V j = ∂ b j ∂ E [ U ] 智能體應優先把下一單位資源配置到：
j ∗ = arg max j M V j M C j j^*
=
\arg\max_j
\frac{
MV_j
}{
MC_j
} j ∗ = arg j max M C j M V j 其中：
M C j MC_j M C j 為 marginal cost。
例如目前問題是讀小字。
增加：
1 u n i t s p a t i a l r e s o l u t i o n 1\ unit\ spatial\ resolution 1 u ni t s p a t ia l r eso l u t i o n 的邊際價值可能很高：
M V s p a c e ≫ M V r e a s o n MV_{space}\gg MV_{reason} M V s p a ce ≫ M V r e a so n 因此不應繼續增加 reasoning tokens。
相反地，如果影像已經非常清楚但問題需要多步因果推理：
M V r e a s o n ≫ M V s p a c e MV_{reason}\gg MV_{space} M V r e a so n ≫ M V s p a ce 就應停止放大圖片，把資源轉給推理。
這正是 APR-03：
ρ s ≠ ρ t ≠ ρ r \rho^s
\neq
\rho^t
\neq
\rho^r ρ s = ρ t = ρ r 在資源經濟上的意義。
9. 感知與推理的替代與互補
感知與推理不是永遠可互相替代。
9.1 替代區
某些任務中：
M o r e P e r c e p t i o n ↔ M o r e R e a s o n i n g MorePerception
\leftrightarrow
MoreReasoning M or e P er ce pt i o n ↔ M or e R e a so nin g 例如場景模糊時，多看幾個 frame 可能降低推理難度。
9.2 不可替代區
如果影像中的細字根本沒有被解析：
E v i d e n c e = 0 Evidence=0 E v i d e n ce = 0 則：
R e a s o n i n g → ∞ Reasoning\rightarrow\infty R e a so nin g → ∞ 也不能恢復不存在的證據。
因此：
R e a s o n i n g c a n n o t r e c o v e r u n a v a i l a b l e e v i d e n c e \boxed{
Reasoning\ cannot\ recover\ unavailable\ evidence
} R e a so nin g c ann o t r eco v er u na v ai l ab l e e v i d e n ce 反過來，如果證據已充分但問題需要邏輯推導：
P e r c e p t i o n → ∞ Perception\rightarrow\infty P er ce pt i o n → ∞ 也不能替代必要推理。
所以兩者更接近互補投入：
P e r f o r m a n c e = F ( P , R ) Performance
=
F(
P,
R
) P er f or man ce = F ( P , R ) 其中：
P = P e r c e p t u a l I n v e s t m e n t P=PerceptualInvestment P = P er ce pt u a l I n v es t m e n t R = R e a s o n i n g I n v e s t m e n t R=ReasoningInvestment R = R e a so nin g I n v es t m e n t 其最優解要求動態平衡，而非固定比例。
10. 最小充分感知
CARES 已經明確使用 minimal sufficient resolution 的思想。
本文把它推廣成：
Minimum Sufficient Perception
尋找：
a s u f f \mathbf a_{suff} a s u f f 使：
P ( S u c c e s s ∣ a s u f f ) ≥ 1 − ϵ P(
Success
\mid
\mathbf a_{suff}
)
\ge
1-\epsilon P ( S u ccess ∣ a s u f f ) ≥ 1 − ϵ 且：
C ( a s u f f ) C(\mathbf a_{suff}) C ( a s u f f ) 最小。
形式上：
a s u f f = arg min a C ( a ) \boxed{
\mathbf a_{suff}
=
\arg\min_{\mathbf a}
C(\mathbf a)
} a s u f f = arg a min C ( a ) subject to：
P ( T a s k S u c c e s s ∣ a ) ≥ τ P(
TaskSuccess|\mathbf a
)
\ge
\tau P ( T a s k S u ccess ∣ a ) ≥ τ 與：
P ( C r i t i c a l M i s s ∣ a ) ≤ ϵ P(
CriticalMiss|\mathbf a
)
\le
\epsilon P ( C r i t i c a l M i ss ∣ a ) ≤ ϵ APR 的目標因此不是：
Minimal Perception \text{Minimal Perception} Minimal Perception 而是：
Minimal Sufficient Reliable Perception \boxed{
\text{Minimal Sufficient Reliable Perception}
} Minimal Sufficient Reliable Perception 11. 影子價格：不同資源在不同時刻的價值不同
多資源 constrained optimization 可以引入 Lagrangian：
L = − E [ U ( a ) ] + ∑ k λ k ( C k ( a ) − B k ) \mathcal L
=
-\mathbb E[U(\mathbf a)]
+
\sum_k
\lambda_k
(
C_k(\mathbf a)-B_k
) L = − E [ U ( a )] + k ∑ λ k ( C k ( a ) − B k ) 其中：
λ k \lambda_k λ k 可以解釋為資源 k k k
S h a d o w P r i c e \boxed{
ShadowPrice
} S ha d o w P r i ce 例如 GPU 接近滿載：
λ f l o p ↑ \lambda_{flop}\uparrow λ f l o p ↑ 電池不足：
λ e n g ↑ \lambda_{eng}\uparrow λ e n g ↑ 延遲快超時：
λ l a t ↑ \lambda_{lat}\uparrow λ l a t ↑ 此時同一任務的最優觀看方式會改變。
因此：
Perceptual Policy \boxed{
\text{Perceptual Policy}
} Perceptual Policy 不只依任務與場景，也依：
Current System Condition \text{Current System Condition} Current System Condition 12. 動態預算與預算彈性
令初始 budget：
B 0 B_0 B 0 智能體不一定必須一次決定全部消耗。
可以先投入：
b 1 b_1 b 1 觀察結果。
若：
U 1 ↓ U_1\downarrow U 1 ↓ 則追加：
b 2 b_2 b 2 形成：
B = b 1 + b 2 + ⋯ + b n B
=
b_1+b_2+\cdots+b_n B = b 1 + b 2 + ⋯ + b n 這可以稱為：
P r o g r e s s i v e B u d g e t C o m m i t m e n t \boxed{
Progressive Budget Commitment
} P r o g r ess i v e B u d g e tC o mmi t m e n t 例如：
G l a n c e ( c h e a p ) Glance(cheap) Gl an ce ( c h e a p ) 若足夠：
S t o p Stop S t o p 否則：
S c a n Scan S c an 仍不夠：
I n s p e c t Inspect I n s p ec t 再不夠：
D e e p / R e o b s e r v e Deep/Reobserve D ee p / R eo b ser v e 因此 APR-03 的 mode transition 本質上也是：
B u d g e t E s c a l a t i o n P o l i c y \boxed{
Budget Escalation Policy
} B u d g e tE sc a l a t i o n P o l i cy 13. 預算升級條件
增加感知預算可由下列條件觸發。
不確定性
U t > τ U U_t>\tau_U U t > τ U 風險
R t > τ R R_t>\tau_R R t > τ R 新奇性
N o v e l t y t > τ N Novelty_t>\tau_N N o v e l t y t > τ N 任務相關性
R e l t > τ G Rel_t>\tau_G R e l t > τ G 狀態矛盾
C o n f l i c t ( W t ) > 0 Conflict(W_t)>0 C o n f l i c t ( W t ) > 0 預測誤差
D ( O t , O ^ t ) > τ D D(O_t,\hat O_t)>\tau_D D ( O t , O ^ t ) > τ D 因此：
b t + 1 = b t + Δ b ( U , R , N , G , D ) b_{t+1}
=
b_t
+
\Delta b(
U,R,N,G,D
) b t + 1 = b t + Δ b ( U , R , N , G , D ) 14. 停止規則
智能體也必須知道何時不再花錢。
若額外資源：
δ b \delta b δ b 帶來的預期增益：
Δ U \Delta U Δ U 小於成本：
Δ C \Delta C Δ C 則：
Δ U Δ C < τ s t o p \frac{\Delta U}{\Delta C}
<
\tau_{stop} Δ C Δ U < τ s t o p 應停止。
即：
M a r g i n a l I n f o r m a t i o n G a i n < M a r g i n a l C o s t ⇒ S t o p \boxed{
MarginalInformationGain
<
MarginalCost
\Rightarrow
Stop
} M a r g ina l I n f or ma t i o n G ain < M a r g ina l C os t ⇒ S t o p 這可以防止：
無限 zoom；
無限回看；
無限 reasoning；
無限 tool call；
無限 verification。
15. 風險保留預算
若系統把所有預算都投入目前最相關區域，可能漏掉未知的重要事件。
因此定義：
B t = B t t a s k + B t s a f e t y + B t e x p l o r e B_t
=
B_t^{task}
+
B_t^{safety}
+
B_t^{explore} B t = B t t a s k + B t s a f e t y + B t e x pl or e 任務預算
B t a s k B^{task} B t a s k 用於當前 goal。
安全預算
B s a f e t y B^{safety} B s a f e t y 保留給：
全局監視；
高風險區域；
critical-state verification。
探索預算
B e x p l o r e B^{explore} B e x pl or e 用於：
隨機抽查；
新奇事件；
避免 attention tunnel vision。
因此即使：
R e l G ( r e g i o n ) = 0 Rel_G(region)=0 R e l G ( r e g i o n ) = 0 某些區域仍可能獲得最低：
b m i n > 0 b_{min}>0 b min > 0 以避免純 exploitation。
16. Exploration–Exploitation in Perception
感知資源配置也具有：
E x p l o r a t i o n ↔ E x p l o i t a t i o n Exploration
\leftrightarrow
Exploitation E x pl or a t i o n ↔ E x pl o i t a t i o n 問題。
Exploitation：
多看目前認為重要的地方 \text{多看目前認為重要的地方} 多看目前認為重要的地方 Exploration：
確認是不是漏掉其他重要東西 \text{確認是不是漏掉其他重要東西} 確認是不是漏掉其他重要東西 如果只做 exploitation：
P ( B l i n d S p o t ) ↑ P(BlindSpot)\uparrow P ( B l in d S p o t ) ↑ 如果只做 exploration：
E f f i c i e n c y ↓ Efficiency\downarrow E f f i c i e n cy ↓ 所以可定義：
a t = arg max a [ E x p e c t e d U t i l i t y ( a ) + κ U n c e r t a i n t y R e d u c t i o n ( a ) ] a_t
=
\arg\max_a
[
ExpectedUtility(a)
+
\kappa UncertaintyReduction(a)
] a t = arg a max [ E x p ec t e d U t i l i t y ( a ) + κ U n cer t ain t y R e d u c t i o n ( a )] 其中：
κ \kappa κ 控制探索程度。
這使 active perception 與 contextual bandit 類方法自然進入 APR。
17. Persistent World State 對預算的影響
APR-04 提出：
W t W_t W t 作為持續世界狀態。
如果目前世界狀態高度可信：
C o n f i d e n c e ( W t ) ↑ Confidence(W_t)\uparrow C o n f i d e n ce ( W t ) ↑ 且新變化低：
Δ s i g ↓ \Delta^{sig}\downarrow Δ s i g ↓ 則：
P e r c e p t u a l B u d g e t ↓ PerceptualBudget\downarrow P er ce pt u a l B u d g e t ↓ 反之：
S t a t e S t a l e n e s s ↑ StateStaleness\uparrow S t a t e S t a l e n ess ↑ C o n f l i c t ↑ Conflict\uparrow C o n f l i c t ↑ U n c e r t a i n t y ↑ Uncertainty\uparrow U n cer t ain t y ↑ 則：
R e o b s e r v a t i o n B u d g e t ↑ ReobservationBudget\uparrow R eo b ser v a t i o n B u d g e t ↑ 因此：
M e m o r y c a n s a v e p e r c e p t i o n , b u t s t a l e m e m o r y s h o u l d s p e n d p e r c e p t i o n . \boxed{
Memory can save perception,
but stale memory should spend perception.
} M e m or y c an s a v e p er ce pt i o n , b u t s t a l e m e m or y s h o u l d s p e n d p er ce pt i o n . Persistent state 不只是記憶機制，也會改變未來的資源分配。
18. State Value of Information
對某個世界狀態 s i s_i s i
V O I ( s i ) = E [ U ∣ V e r i f y ( s i ) ] − E [ U ∣ N o V e r i f y ( s i ) ] VOI(s_i)
=
\mathbb E[
U\mid Verify(s_i)
]
-
\mathbb E[
U\mid NoVerify(s_i)
] V O I ( s i ) = E [ U ∣ V er i f y ( s i )] − E [ U ∣ N o V er i f y ( s i )] 若：
V O I ( s i ) > C o s t ( V e r i f y ( s i ) ) VOI(s_i)>Cost(Verify(s_i)) V O I ( s i ) > C os t ( V er i f y ( s i )) 則應重觀察。
例如：
d o o r . l o c k e d ? door.locked? d oor . l oc k e d ? 若接下來機器人要高速通過該門：
R i s k ↑ Risk\uparrow R i s k ↑ 因此：
V O I ( d o o r . s t a t e ) ↑ VOI(door.state)\uparrow V O I ( d oor . s t a t e ) ↑ 即使門的像素完全沒變，也值得重新看。
這與 APR-02：
Δ p i x ≠ Δ s i g \Delta^{pix}
\neq
\Delta^{sig} Δ p i x = Δ s i g 完全一致。
19. Tokenization After Policy 的嚴格版本
APR-01 曾提出：
T o k e n i z a t i o n A f t e r A t t e n t i o n TokenizationAfterAttention T o k e ni z a t i o n A f t er A tt e n t i o n 但嚴格而言，完全沒有低成本前置感知就不可能先知道哪裡重要。
APR-05 將其改寫成三段：
C h e a p P r o b e → B u d g e t D e c i s i o n → E x p e n s i v e E n c o d i n g \boxed{
CheapProbe
\rightarrow
BudgetDecision
\rightarrow
ExpensiveEncoding
} C h e a pP r o b e → B u d g e t D ec i s i o n → E x p e n s i v e E n co d in g 即：
X → C c h e a p z p r o b e X
\xrightarrow{C_{cheap}}
z^{probe} X C c h e a p z p r o b e z p r o b e , G , W , B → a z^{probe},G,W,B
\rightarrow
\mathbf a z p r o b e , G , W , B → a X → a C e x p e n s i v e Z X
\xrightarrow[\mathbf a]{C_{expensive}}
Z X C e x p e n s i v e a Z 所以最精確的命題是：
Expensive Tokenization Conditioned on Perceptual Policy \boxed{
\text{Expensive Tokenization Conditioned on Perceptual Policy}
} Expensive Tokenization Conditioned on Perceptual Policy 不是：
No Tokenization Before Attention \text{No Tokenization Before Attention} No Tokenization Before Attention 20. 預算市場
可把不同感知／推理模組想成競爭資源的 bidder。
令模組：
j ∈ { V i s i o n , A u d i o , M e m o r y , R e a s o n i n g , R e o b s e r v e , S a f e t y } j
\in
\{
Vision,
Audio,
Memory,
Reasoning,
Reobserve,
Safety
\} j ∈ { V i s i o n , A u d i o , M e m or y , R e a so nin g , R eo b ser v e , S a f e t y } 每個模組提交：
B i d j = ( E x p e c t e d G a i n j , C o s t j , U r g e n c y j , R i s k j ) Bid_j
=
(
ExpectedGain_j,
Cost_j,
Urgency_j,
Risk_j
) B i d j = ( E x p ec t e d G ai n j , C os t j , U r g e n c y j , R i s k j ) Budget Controller 選：
A ∗ = arg max A ∑ j ∈ A E x p e c t e d G a i n j A^*
=
\arg\max_A
\sum_{j\in A}
ExpectedGain_j A ∗ = arg A max j ∈ A ∑ E x p ec t e d G ai n j subject to：
∑ j ∈ A C o s t j ≤ B \sum_{j\in A}Cost_j
\le
B j ∈ A ∑ C os t j ≤ B 這不一定要實作成真正拍賣。
「市場」只是功能類比：
多個認知操作競爭同一有限計算資源。
這使 APR 可與未來多 Agent / modular cognitive architectures 接合。
21. 時間價值
感知結果的價值也與時間相關。
若答案在：
100 m s 100ms 100 m s 後才有用，但模型需要：
2 s 2s 2 s 才能完成 deep perception：
U t i l i t y ≈ 0 Utility\approx0 U t i l i t y ≈ 0 因此加入 deadline：
T d e a d l i n e T_{deadline} T d e a d l in e 有效效用：
U e f f = U ⋅ D ( L a t e n c y , T d e a d l i n e ) U_{eff}
=
U
\cdot
D(
Latency,T_{deadline}
) U e f f = U ⋅ D ( L a t e n cy , T d e a d l in e ) 其中：
D → 0 D\rightarrow0 D → 0 當：
L a t e n c y > T d e a d l i n e Latency>T_{deadline} L a t e n cy > T d e a d l in e 因此即時 Agent 應最大化：
T i m e l y U s e f u l I n f o r m a t i o n \boxed{
Timely Useful Information
} T im e l y U se f u l I n f or ma t i o n 而不只是最終 accuracy。
22. 能源與邊緣裝置
動態稀疏與 edge multimodal research 已指出，動態策略必須同時考慮硬體友善性。
理論上：
F L O P s ↓ FLOPs\downarrow F L O P s ↓ 不一定代表：
L a t e n c y ↓ Latency\downarrow L a t e n cy ↓ 也不一定代表：
E n e r g y ↓ Energy\downarrow E n er g y ↓ 若動態 routing 造成：
irregular memory access；
poor GPU utilization；
branch overhead；
kernel launch overhead；
則理論節省不一定成為實際節省。
因此：
C ( a ) C(\mathbf a) C ( a ) 應盡量使用：
M e a s u r e d R u n t i m e C o s t MeasuredRuntimeCost M e a s u r e d R u n t im e C os t 而不是只有：
T h e o r e t i c a l F L O P s TheoreticalFLOPs T h eor e t i c a l F L O P s SmartVL 使用 differentiable latency estimator 協調 joint scheduling，也正好說明這一點。
23. Perceptual Budget Controller
APR-05 的最小 Budget Controller 輸入：
I t = ( G t , W t , Δ t s i g , U t , R t , B t , H a r d w a r e S t a t e t ) I_t
=
(
G_t,
W_t,
\Delta^{sig}_t,
U_t,
R_t,
\mathbf B_t,
HardwareState_t
) I t = ( G t , W t , Δ t s i g , U t , R t , B t , H a r d w a r e S t a t e t ) 輸出：
a t = ( m o d a l i t y , R O I , r e s o l u t i o n , f p s , t o k e n s , r e a s o n i n g , m e m o r y , r e o b s e r v e ) \mathbf a_t
=
(
modality,
ROI,
resolution,
fps,
tokens,
reasoning,
memory,
reobserve
) a t = ( m o d a l i t y , R O I , r eso l u t i o n , f p s , t o k e n s , r e a so nin g , m e m or y , r eo b ser v e ) 執行後觀察：
O u t c o m e t Outcome_t O u t co m e t 再更新：
B t + 1 \mathbf B_{t+1} B t + 1 與 policy。
形成：
O b s e r v e → A l l o c a t e → S p e n d → M e a s u r e → R e a l l o c a t e \boxed{
Observe
\rightarrow
Allocate
\rightarrow
Spend
\rightarrow
Measure
\rightarrow
Reallocate
} O b ser v e → A l l oc a t e → S p e n d → M e a s u r e → R e a l l oc a t e 24. Constrained MDP 表示
可以進一步把 APR-PBE 表示為 constrained MDP。
狀態：
s t = ( W t , G t , U t , R t , B t , H t ) s_t
=
(
W_t,
G_t,
U_t,
R_t,
B_t,
H_t
) s t = ( W t , G t , U t , R t , B t , H t ) 動作：
a t = P e r c e p t u a l A l l o c a t i o n a_t
=
PerceptualAllocation a t = P er ce pt u a l A l l oc a t i o n 轉移：
P ( s t + 1 ∣ s t , a t ) P(s_{t+1}|s_t,a_t) P ( s t + 1 ∣ s t , a t ) reward：
r t = T a s k G a i n t − λ C o s t t − μ R i s k t r_t
=
TaskGain_t
-
\lambda Cost_t
-
\mu Risk_t r t = T a s k G ai n t − λ C os t t − μ R i s k t 並要求：
E [ ∑ t C o s t t ] ≤ B \mathbb E[
\sum_t Cost_t
]
\le
B E [ t ∑ C os t t ] ≤ B 與：
P ( C r i t i c a l F a i l u r e ) ≤ ϵ P(CriticalFailure)\le\epsilon P ( C r i t i c a l F ai l u r e ) ≤ ϵ 因此可以使用：
contextual bandit；
reinforcement learning；
model predictive control；
dynamic programming；
heuristic controller；
等不同工程方法。
APR 是問題定義，不綁定單一 optimizer。
25. Pareto Frontier 而不是單一分數
多模態效率研究不應只報：
A c c u r a c y Accuracy A cc u r a cy 也不應只報：
C o m p r e s s i o n R a t i o CompressionRatio C o m p r ess i o n R a t i o 而應觀察：
A c c u r a c y ↔ C o s t \boxed{
Accuracy
\leftrightarrow
Cost
} A cc u r a cy ↔ C os t 甚至多維 Pareto：
( A c c u r a c y , L a t e n c y , E n e r g y , M e m o r y , C r i t i c a l M i s s ) (
Accuracy,
Latency,
Energy,
Memory,
CriticalMiss
) ( A cc u r a cy , L a t e n cy , E n er g y , M e m or y , C r i t i c a l M i ss ) 一個模型 A A A B B B
因此 APR-05 要求至少報：
T a s k U t i l i t y TaskUtility T a s k U t i l i t y V i s u a l T o k e n s VisualTokens V i s u a l T o k e n s R e a s o n i n g T o k e n s ReasoningTokens R e a so nin g T o k e n s L a t e n c y Latency L a t e n cy P e a k M e m o r y PeakMemory P e ak M e m or y E n e r g y Energy E n er g y C r i t i c a l M i s s R a t e CriticalMissRate C r i t i c a l M i ss R a t e 與：
R e o b s e r v a t i o n C o s t ReobservationCost R eo b ser v a t i o n C os t 26. 可驗證假說
H1：動態多維配置優於固定 Token
在混合任務集上：
P a r e t o ( P B E ) > P a r e t o ( F i x e d T o k e n ) Pareto(PBE)
>
Pareto(FixedToken) P a r e t o ( P B E ) > P a r e t o ( F i x e d T o k e n ) 即 PBE 應形成更優 accuracy–cost frontier。
H2：聯合感知—推理分配優於單邊調整
若只調：
V i s u a l T o k e n s VisualTokens V i s u a l T o k e n s 而固定：
R e a s o n i n g C o m p u t e ReasoningCompute R e a so nin g C o m p u t e 應不如聯合調整：
( V i s u a l , R e a s o n i n g ) (
Visual,
Reasoning
) ( V i s u a l , R e a so nin g ) 尤其在同時包含 perception-heavy 與 reasoning-heavy 的資料集上。
H3：Progressive Commitment 優於一次性最大配置
先低成本 probe，再逐步升級：
C p r o g r e s s i v e < C m a x C_{progressive}
<
C_{max} C p r o g r ess i v e < C ma x 而：
A c c u r a c y p r o g r e s s i v e ≈ A c c u r a c y m a x Accuracy_{progressive}
\approx
Accuracy_{max} A cc u r a c y p r o g r ess i v e ≈ A cc u r a c y ma x H4：Persistent State 能降低未變世界的感知預算
在長時間穩態環境：
B u d g e t ( W t -aware ) < B u d g e t ( m e m o r y l e s s ) Budget(W_t\text{-aware})
<
Budget(memoryless) B u d g e t ( W t -aware ) < B u d g e t ( m e m or y l ess ) H5：Risk Reserve 能降低小變化關鍵事件漏失
具有：
B s a f e t y B^{safety} B s a f e t y 的系統，應在相近平均成本下具有更低：
C r i t i c a l M i s s R a t e CriticalMissRate C r i t i c a l M i ss R a t e H6：Measured Cost Optimization 優於 FLOP-only
在真實 GPU / edge hardware：
P o l i c y l a t e n c y − a w a r e Policy_{latency-aware} P o l i c y l a t e n cy − a w a r e 應比：
P o l i c y F L O P − o n l y Policy_{FLOP-only} P o l i c y F L O P − o n l y 具有更好的實際 deadline success rate。
27. MVP 設計
27.1 任務集合
建立四類任務：
Gist-heavy
低解析即可完成。
Detail-heavy
需要高空間解析度。
Temporal-heavy
需要高 frame rate 或長時間跨度。
Reasoning-heavy
視覺證據足夠，但需要多步 reasoning。
再加入：
Safety-critical micro-change
小視覺差異，但高風險。
27.2 系統
System A：Fixed High
H i g h R e s o l u t i o n + H i g h F P S + F i x e d R e a s o n i n g HighResolution
+
HighFPS
+
FixedReasoning H i g h R eso l u t i o n + H i g h F P S + F i x e d R e a so nin g System B：Fixed Low
L o w R e s o l u t i o n + L o w F P S + F i x e d R e a s o n i n g LowResolution
+
LowFPS
+
FixedReasoning L o w R eso l u t i o n + L o w F P S + F i x e d R e a so nin g System C：Adaptive Vision Only
只動態調 visual tokens / resolution。
System D：Joint Vision–Reasoning
聯合調整：
v i s u a l + r e a s o n i n g visual+reasoning v i s u a l + r e a so nin g System E：APR-PBE
調整：
{ s p a c e , t i m e , t o k e n s , r e a s o n i n g , m e m o r y , r e o b s e r v e , s a f e t y } \{
space,
time,
tokens,
reasoning,
memory,
reobserve,
safety
\} { s p a ce , t im e , t o k e n s , r e a so nin g , m e m or y , r eo b ser v e , s a f e t y } 27.3 主要指標
A c c u r a c y Accuracy A cc u r a cy V i s u a l T o k e n C o s t VisualTokenCost V i s u a l T o k e n C os t R e a s o n i n g T o k e n C o s t ReasoningTokenCost R e a so nin g T o k e n C os t F L O P s FLOPs F L O P s L a t e n c y Latency L a t e n cy P e a k M e m o r y PeakMemory P e ak M e m or y E n e r g y Energy E n er g y C r i t i c a l M i s s R a t e CriticalMissRate C r i t i c a l M i ss R a t e R e o b s e r v e C o u n t ReobserveCount R eo b ser v e C o u n t S t a t e C o n s i s t e n c y StateConsistency S t a t e C o n s i s t e n cy 以及：
U t i l i t y P e r C o s t = T a s k U t i l i t y W e i g h t e d C o s t \boxed{
UtilityPerCost
=
\frac{TaskUtility}{WeightedCost}
} U t i l i t y P er C os t = W e i g h t e d C os t T a s k U t i l i t y 28. 消融實驗
至少做以下 ablation。
移除 Persistent State
觀察：
V i s u a l C o s t ↑ ? VisualCost\uparrow? V i s u a l C os t ↑ ? 移除 uncertainty
觀察：
R e o b s e r v e Q u a l i t y ↓ ? ReobserveQuality\downarrow? R eo b ser v e Q u a l i t y ↓ ? 移除 safety reserve
觀察：
C r i t i c a l M i s s ↑ ? CriticalMiss\uparrow? C r i t i c a l M i ss ↑ ? 固定 reasoning budget
觀察：
R e a s o n i n g H e a v y A c c u r a c y ↓ ? ReasoningHeavyAccuracy\downarrow? R e a so nin g H e a v y A cc u r a cy ↓ ? 固定 visual budget
觀察：
D e t a i l H e a v y A c c u r a c y ↓ ? DetailHeavyAccuracy\downarrow? D e t ai l H e a v y A cc u r a cy ↓ ? 不允許 re-observe
觀察：
I n i t i a l E r r o r R e c o v e r y ↓ ? InitialErrorRecovery\downarrow? I ni t ia l E r r or R eco v er y ↓ ? 這樣可以驗證 APR 各層是否真的提供獨立價值。
29. 與既有研究的邊界
本文不主張以下概念本身為新：
adaptive resolution；
token pruning；
dynamic visual token allocation；
dynamic sparse attention；
budget-aware inference；
contextual-bandit visual allocation；
adaptive reasoning depth；
joint token–compute scheduling；
Pareto optimization。
CARES 已實作 minimal sufficient resolution；ResAdapt 已建立 input-side per-frame budget policy；Tempo 已進行 strict-budget adaptive token allocation；Dynamic Sparse Attention 已進行 input-dependent sparse computation；SmartVL 已進一步聯合調節視覺 token 與 LLM compute。
APR-05 的理論位置是：
Perceptual budgeting is broader than visual-token budgeting. \boxed{
\text{Perceptual budgeting is broader than visual-token budgeting.}
} Perceptual budgeting is broader than visual-token budgeting. 本文把：
Perception + Reasoning + Memory + Re-observation + Risk \text{Perception}
+
\text{Reasoning}
+
\text{Memory}
+
\text{Re-observation}
+
\text{Risk} Perception + Reasoning + Memory + Re-observation + Risk 放入同一個資源配置問題。
真正的 allocation target 不是：
N v i s i o n N_{vision} N v i s i o n 而是：
a t = ( m o d a l i t y , s p a c e , t i m e , r e p r e s e n t a t i o n , r e a s o n i n g , m e m o r y , r e o b s e r v a t i o n ) \boxed{
\mathbf a_t
=
(
modality,
space,
time,
representation,
reasoning,
memory,
reobservation
)
} a t = ( m o d a l i t y , s p a ce , t im e , r e p r ese n t a t i o n , r e a so nin g , m e m or y , r eo b ser v a t i o n ) 30. 限制
30.1 Utility 很難準確估計
智能體往往不知道：
I n f o r m a t i o n G a i n InformationGain I n f or ma t i o n G ain 直到真的花資源看完。
因此需要近似 predictor、bandit feedback 或 learned value model。
30.2 Controller 自己也花資源
若：
C c o n t r o l l e r ≫ C s a v e d C_{controller}
\gg
C_{saved} C co n t r o l l er ≫ C s a v e d 則 adaptive allocation 失去價值。
30.3 多維成本難以轉成單一價格
L a t e n c y Latency L a t e n cy 和：
E n e r g y Energy E n er g y 不一定可以自然相加。
因此實際系統可能更適合 constrained Pareto optimization，而不是固定 scalar reward。
30.4 風險估計可能錯誤
如果系統錯誤認為某區域低風險：
B s a f e t y B^{safety} B s a f e t y 仍可能不足。
30.5 動態 routing 可能不硬體友善
理論上的 sparse compute 不一定帶來真實 latency 節省。
30.6 高動態世界可能真的值得高成本感知
APR 並不保證永遠節省大量資源。
若：
I n f o r m a t i o n R a t e ≈ R a w D a t a R a t e InformationRate
\approx
RawDataRate I n f or ma t i o n R a t e ≈ R a w D a t a R a t e 合理 policy 本來就可能接近 full processing。
31. 討論：智能的一部分是會「花算力」
在傳統模型裡，計算量多由模型設計者預先決定：
A r c h i t e c t u r e ⇒ C o m p u t e Architecture
\Rightarrow
Compute A r c hi t ec t u r e ⇒ C o m p u t e 而自適應智能逐漸轉向：
S i t u a t i o n + G o a l + R i s k + B u d g e t ⇒ C o m p u t e Situation
+
Goal
+
Risk
+
Budget
\Rightarrow
Compute S i t u a t i o n + G o a l + R i s k + B u d g e t ⇒ C o m p u t e 這意味著：
Compute Allocation itself becomes a cognitive action. \boxed{
\text{Compute Allocation itself becomes a cognitive action.}
} Compute Allocation itself becomes a cognitive action. 智能體不只選擇：
我要回答什麼？
還會選擇：
這個問題值得花多少資源？
我要把資源花在「多看」還是「多想」？
我要回去確認證據，還是目前信念已足夠？
我現在還剩多少延遲與能量預算？
因此「注意力」最終可能不只是 Transformer 中的矩陣操作，而是一個更一般的資源治理概念。
32. 結論
本文提出 Perceptual Budget Economy（PBE），作為 APR 的第五層。
感知預算被表示為：
B t = ( B t o k , B f l o p , B l a t , B m e m , B e n g , B i o ) \boxed{
\mathbf B_t
=
(
B^{tok},
B^{flop},
B^{lat},
B^{mem},
B^{eng},
B^{io}
)
} B t = ( B t o k , B f l o p , B l a t , B m e m , B e n g , B i o ) 配置策略則為：
a t = ( a m o d , a s p a c e , a t i m e , a r e p r , a r e a s o n , a m e m o r y , a r e o b s ) \boxed{
\mathbf a_t
=
(
a^{mod},
a^{space},
a^{time},
a^{repr},
a^{reason},
a^{memory},
a^{reobs}
)
} a t = ( a m o d , a s p a ce , a t im e , a r e p r , a r e a so n , a m e m or y , a r eo b s ) 智能體求解：
a t ∗ = arg max a E [ T a s k U t i l i t y ] \boxed{
\mathbf a_t^*
=
\arg\max_{\mathbf a}
\mathbb E[TaskUtility]
} a t ∗ = arg a max E [ T a s k U t i l i t y ] subject to 多資源與風險約束。
本文因此建立四個核心原則：
Fixed Token Budget → Dynamic Multi-Resource Budget \boxed{
\text{Fixed Token Budget}
\rightarrow
\text{Dynamic Multi-Resource Budget}
} Fixed Token Budget → Dynamic Multi-Resource Budget Maximum Perception ≠ Optimal Perception \boxed{
\text{Maximum Perception}
\neq
\text{Optimal Perception}
} Maximum Perception = Optimal Perception Perception Budget ↔ Reasoning Budget \boxed{
\text{Perception Budget}
\leftrightarrow
\text{Reasoning Budget}
} Perception Budget ↔ Reasoning Budget 以及：
Next Unit of Compute Should Go Where Its Marginal Value Is Highest \boxed{
\text{Next Unit of Compute Should Go Where Its Marginal Value Is Highest}
} Next Unit of Compute Should Go Where Its Marginal Value Is Highest APR 前五篇至此形成：
APR-01：感知是一種資源配置 \text{APR-01：感知是一種資源配置} APR-01 ：感知是一種資源配置 ⇓ \Downarrow ⇓ APR-02：變化具有不同意義與重要性 \text{APR-02：變化具有不同意義與重要性} APR-02 ：變化具有不同意義與重要性 ⇓ \Downarrow ⇓ APR-03：觀看存在不同模式 \text{APR-03：觀看存在不同模式} APR-03 ：觀看存在不同模式 ⇓ \Downarrow ⇓ APR-04：觀看持續修正世界狀態 \text{APR-04：觀看持續修正世界狀態} APR-04 ：觀看持續修正世界狀態 ⇓ \Downarrow ⇓ APR-05：所有感知與推理操作共同競爭有限預算 \text{APR-05：所有感知與推理操作共同競爭有限預算} APR-05 ：所有感知與推理操作共同競爭有限預算 下一篇 APR-06 將離開「視覺」本身，正式回答：
文字、影像、影片、音訊與其他感測資料，是否其實共享同一種 Perceptual Reading Policy？ \boxed{
\text{文字、影像、影片、音訊與其他感測資料，是否其實共享同一種 Perceptual Reading Policy？}
} 文字、影像、影片、音訊與其他感測資料，是否其實共享同一種 Perceptual Reading Policy ？ 參考文獻
Kimhi, M., Shabtay, N., Giryes, R., Baskin, C., & Schwartz, E. (2026). CARES: Context-Aware Resolution Selector for VLMs . Proceedings of ACL 2026, 2243–2256.
Liao, H., Jiang, Z., Hao, Y., Tan, Y., He, S., Wang, B., Zhao, J., Xu, K., & Liu, K. (2026). ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning . arXiv:2603.28610.
Fei, J., Chen, J., Liu, Z., et al. (2026). Small Vision-Language Models are Smart Compressors for Long Video Understanding . arXiv:2604.08120.
Wang, P., Wang, Z., Lee, J., Xu, Z., Xu, R., Bagchi, S., Li, Y., & Chaterji, S. (2026). Look Less, Think Faster: Joint Token-Compute Adaptation for Multimodal LLMs . arXiv:2607.20357. Accepted at ECCV 2026.
Tao, Z., Zhang, H., Kong, L., et al. (2026). Dynamic Sparse Attention for Lightweight Multimodal Sensor Fusion on Edge Devices . Scientific Reports, 16, 22023.
Chen, X., Tao, K., Shao, K., & Wang, H. (2026). StreamingTOM: Streaming Token Compression for Efficient Video Understanding . CVPR 2026.
Qiu, J., Xie, L., Huo, X., Tian, Q., & Ye, Q. (2026). LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding . CVPR 2026.
Yin, Y., Meng, Q., Chen, M., Ding, J., Shao, Z., & Yu, Z. (2026). VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding . CVPR 2026.
Zhang, Y., Shi, C., & Yang, S. (2026). WeaveTime: Streaming from Earlier Frames into Emergent Memory in VideoLLMs . CVPR 2026.
Huang, X., Zhou, H., & Han, K. (2025). PruneVid: Visual Token Pruning for Efficient Video Large Language Models . Findings of ACL 2025.
Liao, C.-T., Xiao, X., Meng, C., et al. (2026). SpaMEM: Benchmarking Dynamic Spatial Reasoning via Perception-Memory Integration in Embodied Environments . arXiv:2604.22409.
Liu, C., Yang, Y., Pu, S. X., et al. (2026). WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction . arXiv:2605.29341.
系列位置
APR-01：從均勻感知到自適應感知閱讀：多模態智能的感知資源配置理論APR-05：感知預算分配：從固定視覺 Token 到動態資訊獲益最大化 ← 本文