Agentic Perception：具備自主感知策略的多模態智能架構

英文題名：Agentic Perception: An Autonomous Multimodal Architecture for Perceptual Policy, World-State Maintenance, and Active Evidence Acquisition
系列：Adaptive Perceptual Reading（APR）／自適應感知閱讀理論，第 7 篇（系列封頂篇）
作者：Neo.K
機構：EveMissLab／一言諾科技有限公司
版本：v0.1（2026-08-07）

摘要

多模態大型模型正在由被動接受文字、影像、聲音與影片輸入，逐步發展為能夠主動搜尋影片片段、調節感知資源、維持多模態記憶、調用工具並在環境中採取行動的 Agent。2026 年的 OmniAgent、AOP-Agent、VideoARM、LongVideo-R1、WorldMemArena 與 Mimir 等研究分別表明：主動感知、階層記憶、世界狀態維護、行動—世界互動與 evidence grounding 已成為多模態 Agent 的重要前沿。然而，這些工作通常聚焦於特定任務，例如長影片理解、具身導航、記憶評估或特定 audio-visual reasoning，尚未形成一個將「何時感知、感知什麼、使用哪個模態、以何種讀法、投入多少資源、更新哪些世界狀態、何時重新觀察、以及何時停止」整合為單一控制層的一般架構。

本文提出 Agentic Perception Runtime（APR-Runtime），作為 Adaptive Perceptual Reading 系列的統合封頂架構。系統核心狀態表示為：

\mathcal S_t = ( W_t, G_t, M_t, U_t, R_t, \mathbf B_t, H_t )

其中 $W_t$ 為 Persistent World State， $G_t$ 為當前目標， $M_t$ 為記憶， $U_t$ 為不確定性， $R_t$ 為風險， $\mathbf B_t$ 為多維計算預算， $H_t$ 為感知與行動歷史。Agentic Perception Controller 根據此狀態選擇一個感知—行動決策：

a_t = ( m_t, r_t, \Omega_t, \rho_t, \nu_t, d_t, h_t, q_t, p_t )

其中 $m_t$ 為模態， $r_t$ 為閱讀模式， $\Omega_t$ 為感知範圍， $\rho_t$ 為解析度， $\nu_t$ 為採樣速率， $d_t$ 為推理深度， $h_t$ 為歷史跨度， $q_t$ 為重觀察決策， $p_t$ 為是否透過身體、工具或 API 主動改變觀察條件。

本文將 APR-01 至 APR-06 的感知資源配置、階層差分感知、多尺度閱讀模式、持續世界狀態、感知預算經濟與跨模態閱讀政策整合為閉環：

\boxed{ WorldState \rightarrow Prediction \rightarrow Monitoring \rightarrow DifferentialChange \rightarrow Significance \rightarrow PerceptualPolicy \rightarrow Observation/Action \rightarrow BeliefRevision \rightarrow WorldState }

本文進一步提出雙時間尺度控制、感知行動（epistemic action）、停止／不感知決策、證據導向重觀察、失配修正、Agentic Perception API、benchmark 與 MVP。核心命題為：

成熟的多模態 Agent 不應只是擁有感官，而應能治理自己的感知活動：知道何時看、看什麼、怎麼看、看多少、何時換一種感知方式、何時為了看得更好而行動，以及何時已經不需要再看。

關鍵詞： Agentic Perception、主動感知、多模態 Agent、Persistent World State、Active Perception、World Model、感知預算、自主觀察、Epistemic Action、Adaptive Multimodal Intelligence

1. 從「會感知」到「治理感知」

早期多模態系統的核心問題是：

模型能不能處理圖片、影片或聲音？

其典型形式為：

X \rightarrow Encoder \rightarrow Model \rightarrow Answer

後來問題擴展為：

模型能不能處理更長的影片、更多影格與更多模態？

因此出現：

LongContext

TokenCompression

Memory

MultimodalFusion

但 Agent 所面對的問題更進一步：

如果環境一直存在、資料永遠在流動、資源永遠有限，誰決定下一步應該取得什麼資訊？

此時真正的智能操作不再只是：

Perceive(X)

而是：

\boxed{ ChooseHowToPerceive }

因此本文將 Agentic Perception 定義為：

智能體依據目標、世界狀態、不確定性、風險、記憶與資源，自主選擇下一個最有價值的感知或資訊取得行動，並根據結果持續修正自身世界信念的能力。

2. 2026：Agentic Perception 已成為明確研究方向

本文不主張「主動感知」或「Agent 自主選擇影片片段」本身為新。

2026 年 OmniAgent 已將 long-video omni-modal understanding 建模為 POMDP 式 iterative Observation–Thought–Action cycle，按需提取 audio-visual cues 並寫入 persistent textual memory，而不是預先完整處理影片。

AOP-Agent 透過 hierarchical omni-modal memory 與 observe–reflect–replan loop 主動取得分散在音訊與視覺中的多跳證據。

VideoARM 建立 observing–thinking–acting–memorizing 的連續循環，由 controller 自主調用工具，以 coarse-to-fine 方式處理長影片並持續更新階層式多模態記憶。

LongVideo-R1 則直接把長影片理解變成低成本 active navigation 問題：模型從高階摘要出發，選擇下一個最值得看的 clip，取得足夠資訊後立即停止。

另一方面，WorldMemArena 把多模態 Agent memory 放進 Action–World Interaction Loop，強調 memory 必須隨 evolving world 更新，而不只是靜態 recall。

2026 年 8 月提出的 Mimir 更進一步顯式分離 world memory 與 task memory；world memory 維護物件位置、狀態與 perceptual evidence，而 task memory 保存目標進度、失敗與執行約束，再於行動前進行 grounding。

這些成果意味著：

\boxed{ \text{Perception} \rightarrow \text{Agentic Perception} }

已經不是純理論預測，而是實際研究方向。

3. APR-07 的研究位置

如果只提出：

Agent 應該主動選擇要看的影片片段。

這已經不夠。

如果只提出：

Agent 應該有 persistent memory。

也已經不夠。

甚至：

Agent 應該 observe–think–act。

也已有大量接近工作。

APR-07 的位置是把前六篇形成一個統一的：

\boxed{ \text{Perceptual Governance Layer} }

治理的不是某一個視覺工具，而是整個：

\{ Perception, Memory, WorldState, Reasoning, Resources, Evidence, Reobservation, EpistemicAction \}

系統。

因此本文的核心不是：

\text{Active Video Search}

而是：

\boxed{ \text{Autonomous Governance of Information Acquisition} }

4. Agentic Perception State

本文定義 Agent 的感知治理狀態：

\boxed{ \mathcal S_t = ( W_t, G_t, M_t, U_t, R_t, \mathbf B_t, H_t ) }

其中：

世界狀態

W_t

表示 Agent 當前對環境的結構化信念。

目標

G_t

表示當前任務、子任務與資訊需求。

記憶

M_t

包含 episodic、semantic、task、skill 與 evidence indices。

不確定性

U_t

表示對狀態與推論的 epistemic uncertainty。

風險

R_t

表示錯過資訊或採取錯誤行動的後果。

資源

\mathbf B_t

包含 token、FLOPs、延遲、記憶體、能源與 I/O 預算。

歷史

H_t

保存 perception–reasoning–action trajectory。

這些共同決定 Agent 下一步是否需要進一步取得資訊。

5. Agentic Perception Action

感知行動定義為：

\boxed{ a_t^P = ( m_t, r_t, \Omega_t, \rho_t, \nu_t, d_t, h_t, q_t, p_t ) }

其中：

$m_t$ ：modality；
$r_t$ ：reading mode；
$\Omega_t$ ：region / segment / evidence scope；
$\rho_t$ ：resolution；
$\nu_t$ ：sampling rate；
$d_t$ ：reasoning depth；
$h_t$ ：history horizon；
$q_t$ ：re-observation；
$p_t$ ：active sensing / epistemic action。

因此 Agent 的「下一步」可以是：

Observe(image,ROI)

也可以是：

Listen(audio,[t_1,t_2])

或：

Read(DOM)

或：

Retrieve(frame_{old})

甚至：

MoveCamera(left)

或：

DoNothing

6. 「不感知」也是一個合法動作

Agentic Perception 必須允許：

a_t^P=\varnothing

如果：

Confidence(W_t)\ge\tau_C

且：

ExpectedVOI(new\ observation) < Cost(new\ observation)

則：

\boxed{ DoNotObserve }

可能是最佳決策。

這是一個非常重要的差異。

傳統 perception pipeline 假設：

SensorInput \Rightarrow Process

Agentic Perception 則允許：

SensorInputAvailable \not\Rightarrow SensorInputMustBeProcessed

這讓「不看」成為與「看」同樣正式的認知行動。

7. Persistent Perceptual Loop

APR-04 已提出 Persistent World State。

APR-07 將整個系統封裝成：

\boxed{ W_t \rightarrow Predict \rightarrow Monitor \rightarrow Detect \rightarrow Evaluate \rightarrow Acquire \rightarrow Revise \rightarrow W_{t+1} }

Predict

根據：

W_t

預測下一時刻可能觀察：

\hat O_{t+1}

Monitor

以低成本維持環境監控。

Detect

得到 APR-02 的差分：

\Delta^{pix} \rightarrow \Delta^{sig}

Evaluate

估計：

VOI, U, Risk, GoalRelevance, Cost

Acquire

依 APR-03 / APR-06 選擇：

modality+mode+resolution

Revise

依 APR-04 更新：

W_{t+1}

然後重新循環。

8. Prediction Error 作為感知觸發器

Persistent World State 可以產生預期觀測：

\hat O_t = g(W_{t-1},A_{t-1})

實際觀測：

O_t

定義：

e_t = D(O_t,\hat O_t)

若：

e_t<\tau_1

只需要 Monitor。

若：

\tau_1\le e_t<\tau_2

進入：

Glance/Scan

若：

e_t\ge\tau_2

進入：

Inspect/Deep/Reobserve

因此：

\boxed{ PredictionError \rightarrow PerceptualEscalation }

這不要求 APR 成為特定的 predictive coding 理論，而只是提供一個可工程化的 trigger。

9. 事件觸發與問題觸發是兩種不同感知

Agentic Perception 至少包含兩類入口。

9.1 Environment-driven

外部世界發生變化：

\Delta^{sig}\uparrow

觸發 Agent 感知。

例如：

警報亮起；
人物進入；
音訊突變；
GUI 出現 error。

9.2 Goal-driven

世界可能完全沒變，但 Agent 產生新問題：

G_t\rightarrow G_{t+1}

例如：

剛才那個人拿的是什麼？

因此：

Reobserve(E_{past})

這說明：

\boxed{ Perception can be driven by world change or by question change. }

這也是「同一張圖可以重讀」最完整的 Agent 版本。

10. Epistemic Action：為了知道而行動

傳統 action 的目的通常是改變世界：

Action \rightarrow WorldChange

但 Agent 也可以為了取得更好的資訊而行動：

Action \rightarrow BetterObservation

稱為：

\boxed{ EpistemicAction }

例如：

移動攝影機；
靠近物件；
轉動頭部；
打開燈；
翻轉物件；
捲動頁面；
展開選單；
點擊「詳細資訊」；
呼叫 diagnostic API。

所以：

p_t = \arg\max_p [ VOI(p)-Cost(p)-Risk(p) ]

若：

VOI(move\ camera) > VOI(reason\ harder)

Agent 應該移動攝影機，而不是繼續猜。

11. Perception–Action Dual Loop

因此 Agent 不只有：

Perception\rightarrow Action

而有雙向迴圈：

\boxed{ Perception \rightarrow Belief \rightarrow Action \rightarrow NewObservation \rightarrow Belief }

其中 Action 可以分成：

Pragmatic Action

目的是完成外部任務：

a_t^{task}

Epistemic Action

目的是降低不確定性：

a_t^{info}

總動作：

a_t \in \{ a_t^{task}, a_t^{info} \}

有時候最佳下一步不是：

做任務。

而是：

先確認自己是否理解正確。

12. 雙時間尺度感知控制

成熟 Agent 不應每次都呼叫最昂貴的大模型。

本文提出：

\boxed{ FastLoop + SlowLoop }

Fast Perceptual Loop

高頻、低成本：

10\text{--}1000Hz

視硬體而定。

功能：

event detection；
tracking；
threshold monitoring；
low-level state update；
safety interrupt。

Slow Cognitive Loop

低頻、高成本：

0.1\text{--}10Hz

功能：

semantic interpretation；
cross-modal reasoning；
planning；
deep inspection；
re-observation selection；
world-model revision。

二者形成：

FastLoop \rightarrow EscalationSignal \rightarrow SlowLoop

這避免：

LLM

成為所有感知事件的 mandatory bottleneck。

13. 三層感知 Controller

工程上可進一步拆成：

Layer 0：Reflex Monitor

只處理：

\Delta,\ threshold,\ safety

Layer 1：Perceptual Router

決定：

modality, mode, ROI, resolution, fps

Layer 2：Cognitive Controller

決定：

deep\ reasoning, memory\ retrieval, reobserve, epistemic\ action, task\ action

因此：

\boxed{ RawSensor \not\rightarrow LLM\ every\ time }

更合理的是：

RawSensor \rightarrow Monitor \rightarrow Router \rightarrow Cognition\ when\ necessary

14. APR 統一政策

APR 前六篇可以被收斂成：

\boxed{ \Pi_{APR} : \mathcal S_t \rightarrow a_t }

其中：

\mathcal S_t = ( W_t,G_t,M_t,U_t,R_t,\mathbf B_t,H_t )

且：

a_t = ( m, r, \Omega, \rho, \nu, d,h,q,p )

策略目標：

\Pi_{APR}^* = \arg\max_\Pi \mathbb E \left[ \sum_t \gamma^t ( U_t^{task} -\lambda C_t -\mu Risk_t ) \right]

subject to：

P(CriticalMiss)<\epsilon

C_t\le\mathbf B_t

以及系統安全與權限約束。

15. APR-01：資源配置

APR-01 建立：

\text{Perception} = \text{AdaptiveResourceAllocation}

APR-07 中它成為：

\Pi_{APR}

的總控制原則。

Agent 不再把：

SensorAvailability

等同於：

ComputeObligation

16. APR-02：差分與重要性

APR-02 建立：

\Delta^{pix} \neq \Delta^{feat} \neq \Delta^{obj} \neq \Delta^{state} \neq \Delta^{sem} \neq \Delta^{sig}

APR-07 中：

\Delta^{sig}

成為主要感知 escalation signal 之一。

因此不是：

PixelChanged \Rightarrow SpendCompute

而是：

\boxed{ SignificantStateChange \Rightarrow ConsiderSpendingCompute }

17. APR-03：閱讀模式

APR-03 建立：

\{ Monitor, Glance, Scan, Track, Inspect, Deep, Reobserve \}

APR-07 中這些成為：

r_t

即 Agent 可以正式選擇的感知 actions。

因此「看」不再是一個 function，而是一組 policy actions。

18. APR-04：世界狀態

APR-04 建立：

History \neq Memory \neq WorldState \neq Belief

APR-07 中：

W_t

成為所有感知策略的基準。

Agent 不問：

這一幀有什麼？

而先問：

我原本認為世界是什麼？現在有哪些信念可能需要改？

這使 perception 從：

SceneDescription

提升成：

\boxed{ BeliefMaintenance }

19. APR-05：預算經濟

APR-05 建立：

\mathbf B_t = ( Token, FLOPs, Latency, Memory, Energy, I/O )

APR-07 中，Agent 每一個 perceptual action 都必須報價：

C(a_t)

並計算：

VOI(a_t)

選擇：

a_t^* = \arg\max_a [ VOI(a)-Cost(a)-Risk(a) ]

20. APR-06：跨模態閱讀

APR-06 建立：

\text{Multimodal} \neq \text{AllModalitiesAlwaysOn}

APR-07 中：

m_t

可以是：

Text

Vision

Audio

Video

Sensor

StructuredState

或：

\varnothing

所以最終 Agentic Perception 的第一個問題甚至不是：

我該怎麼看？

而是：

\boxed{ \text{Do I need to perceive, and through which channel?} }

21. 感知治理決策樹

最小 runtime 可以採以下邏輯：

Step 1：目前狀態足夠嗎？

若：

Confidence(W_t,Q)\ge\tau

且風險低：

StopPerceiving

Step 2：是否發生顯著變化？

若：

\Delta^{sig}>\tau_\Delta

則決定是否升級。

Step 3：哪個模態最有價值？

計算：

VOI(m)

Step 4：使用哪個閱讀模式？

選：

r \in \{ Monitor,Glance,Scan,Track,Inspect,Deep,Reobserve \}

Step 5：分配多少資源？

求：

\mathbf a_t

Step 6：需要改變觀察位置嗎？

若：

VOI(epistemic\ action)>VOI(passive\ observation)

執行：

p_t

Step 7：更新世界狀態

W_{t+1} = Revise(W_t,E_t)

Step 8：決定繼續、行動或停止

22. Agentic Perception Runtime

本文提出最小架構：

┌─────────────────────────────┐
│ Goal / Task / Constraints   │
└──────────────┬──────────────┘
               ↓
┌─────────────────────────────┐
│ Persistent World State      │
│ belief / confidence / TTL   │
└──────────────┬──────────────┘
               ↓
┌─────────────────────────────┐
│ Change & Uncertainty Monitor│
└──────────────┬──────────────┘
               ↓
┌─────────────────────────────┐
│ Perceptual Policy Controller│
│ modality / mode / budget    │
└──────────────┬──────────────┘
               ↓
┌─────────────────────────────┐
│ Evidence Acquisition Layer  │
│ vision/audio/state/tools    │
└──────────────┬──────────────┘
               ↓
┌─────────────────────────────┐
│ Evidence & Conflict Manager │
└──────────────┬──────────────┘
               ↓
┌─────────────────────────────┐
│ Belief Revision             │
└──────────────┬──────────────┘
               ↓
┌─────────────────────────────┐
│ Planner / Action Controller │
└──────────────┬──────────────┘
               ↓
        World / Interface
               │
               └──────────→ loop

23. 核心模組

23.1 World State Store

保存：

W_t

23.2 Evidence Store

保存可重讀證據：

E_{0:t}

23.3 Change Monitor

計算：

\Delta^{sig}

23.4 Uncertainty Estimator

估計：

U_t

23.5 Risk Estimator

估計：

R_t

23.6 Budget Controller

維持：

\mathbf B_t

23.7 Modality Router

選擇：

m_t

23.8 Reading-Mode Controller

選擇：

r_t

23.9 Evidence Acquisition Tools

執行：

crop；
zoom；
replay；
DOM query；
sensor query；
audio replay；
camera move。

23.10 Belief Revision Engine

更新：

W_{t+1}

23.11 Planner / Actor

決定 task action 或 epistemic action。

24. Evidence Contract

所有可改寫世界狀態的感知輸出最好帶有：

\boxed{ EvidenceContract }

至少包含：

claim
source
timestamp
modality
location
confidence
cost
evidence_pointer
validity

例如：

claim: door_4.state = open
source: visual_detector
timestamp: 17:42:03.182
modality: vision
roi: [821, 114, 1030, 700]
confidence: 0.91
cost: 42 visual_tokens
evidence: frame_99182
validity: transient

這使 Agent 可以追蹤：

我為什麼相信這件事？

而不是只有不可追溯的 latent memory。

25. Perceptual Provenance

如果世界狀態：

s_i

由多個證據支持：

E(s_i) = \{e_1,e_2,\ldots,e_n\}

則每次 belief revision 應保留 provenance。

當新證據：

e_{n+1}

與舊信念衝突時，可以回到：

E(s_i)

而不是重新掃描整個世界。

因此：

\boxed{ Provenance \rightarrow TargetedReobservation }

是 APR 的關鍵工程連接點。

26. 世界狀態與任務狀態分離

Mimir 的近期設計顯示，world memory 與 task memory 分離具有實際價值。

APR-Runtime 同樣區分：

W_t^{world}

與：

W_t^{task}

其中：

World State

保存：

外部物件；
屬性；
位置；
關係；
環境。

Task State

保存：

目前目標；
完成步驟；
失敗；
pending actions；
constraints；
required evidence。

因此：

\mathcal S_t = ( W_t^{world}, W_t^{task}, ... )

避免把：

世界是什麼

與：

我正在做什麼

混在一起。

27. Perceptual Need Graph

一個目標可能需要多個尚未確認的資訊。

定義：

PNG_t = (V,E)

其中每個 node 是：

NeededFact_i

例如：

Goal: pick up correct medicine bottle

Needed facts:
- bottle_identity
- bottle_location
- label_text
- expiry_date
- graspability

每個 node 有：

confidence, risk, VOI, evidence

Policy Controller 優先解決：

i^* = \arg\max_i \frac{ VOI_i }{ Cost_i }

直到所有必要 facts 都達到：

Confidence_i\ge\tau_i

才進行 task action。

這使 perception 成為 planner 可以直接管理的 dependency graph。

28. 感知、推理與行動的共同停止條件

Agentic 系統的一大風險是永遠反思、永遠驗證、永遠重觀察。

因此定義：

Stop

條件：

GoalEvidenceSufficient=1

且：

ExpectedGain(next\ step) < ExpectedCost(next\ step)

且：

RiskAcceptable=1

即：

\boxed{ SufficientEvidence + LowMarginalGain + AcceptableRisk \Rightarrow Stop }

停止可以代表：

回答；
採取任務動作；
回到 monitor mode；
等待新事件。

29. 感知失敗分類

本文提出六種 failure mode。

F1：Miss

重要事件根本未觸發。

F2：Misallocation

知道重要，但資源給錯地方。

F3：Wrong Modality

使用錯誤資訊通道。

F4：Wrong Reading Mode

例如需要 Track 卻只做 Glance。

F5：Belief Drift

差分更新長期累積錯誤。

F6：Perceptual Looping

無限重看或無限驗證。

這些 failure mode 比單純：

AnswerWrong

更適合診斷 Agentic Perception。

30. 安全與關鍵事件

效率最佳化不能凌駕於關鍵事件。

定義：

CriticalStateSet = \mathcal C

對：

s_i\in\mathcal C

要求：

P(Miss(s_i))<\epsilon_i

以及可能：

N_{independent\ evidence}\ge2

因此高風險 Agent 可以採：

\boxed{ Risk-Adaptive Redundancy }

一般狀態：

1\ evidence

可能足夠。

關鍵狀態：

2+\ modalities

或 re-verification 才允許行動。

31. Privacy-aware Perception

Agentic Perception 還帶來另一個重要好處：

如果不需要看：

DoNotObserve

本身也可以是 privacy policy。

例如：

不持續 OCR 整個螢幕；
只對必要 ROI 做處理；
不保存無關聲音；
優先讀結構化狀態而非完整攝影機畫面；
任務結束後降低感知強度。

因此：

\boxed{ SelectivePerception }

不只節省 compute，也可以減少不必要的資料取得面。

32. Perceptual Autonomy Level

為方便工程評估，本文提出六級感知自主性。

P0：Passive Full Input

系統完全由外部決定輸入。

P1：Static Selection

預定義 ROI / FPS / modality。

P2：Adaptive Filtering

依輸入動態 pruning / resolution。

P3：Goal-Conditioned Perception

依 query 選 frame、modality、ROI。

P4：Stateful Agentic Perception

具有 persistent world state、memory 與 re-observation。

P5：Active Epistemic Perception

可以為了取得資訊主動改變環境、視角或呼叫工具。

因此：

\boxed{ P0 \rightarrow P1 \rightarrow P2 \rightarrow P3 \rightarrow P4 \rightarrow P5 }

並不代表必然的產品世代，而是一個 capability taxonomy。

33. APR-Runtime API

工程上可以形成：

perceive(
    goal,
    required_facts,
    current_world_state,
    risk,
    budget,
    available_modalities,
    available_tools
)

Controller 回傳：

decision:
  action: inspect
  modality: vision
  target: door_4
  region: [x1,y1,x2,y2]
  resolution: high
  temporal_window: current
  reasoning_depth: low
  reobserve: true
  epistemic_action: none
  expected_information_gain: 0.61
  estimated_cost: 44

若不值得感知：

decision:
  action: no_observation
  reason: existing_state_sufficient

若需要改變視角：

decision:
  action: epistemic_action
  tool: camera_pan
  direction: left
  then: inspect

34. Runtime 最小偽代碼

while agent_active:

    state = read_world_state()

    goal = current_goal()
    uncertainty = estimate_uncertainty(state, goal)
    risk = estimate_risk(state, goal)

    delta = cheap_monitor()

    if state_is_sufficient(state, goal, risk):
        execute_or_wait()
        continue

    significance = lift_change(delta, goal, state)

    candidate_actions = propose_perceptual_actions(
        state,
        goal,
        uncertainty,
        risk,
        budget
    )

    action = choose_max_value_action(candidate_actions)

    if action == NO_OBSERVATION:
        continue

    evidence = execute_perceptual_action(action)

    update_evidence_store(evidence)

    state = revise_world_state(
        state,
        evidence
    )

    if contradiction_detected(state):
        schedule_targeted_reobservation()

    if task_action_ready(state, goal):
        execute_task_action()

此 runtime 不要求單一模型完成全部功能。

可以由：

state machine；
small models；
VLM；
LLM；
detector；
memory DB；
sensor API；

共同實作。

35. 與既有 Agent 框架的差異

一般 Agent runtime 常見：

Plan \rightarrow Tool \rightarrow Observe \rightarrow Plan

APR-Runtime 則在 Observe 之前增加：

\boxed{ PerceptualPolicy }

即：

Plan \rightarrow \underbrace{ DecideWhetherAndHowToObserve }_{APR} \rightarrow Observe \rightarrow BeliefRevision \rightarrow Plan

因此 sensor / screenshot / browser / camera 不再只是 tool。

它們是：

\boxed{ Controlled Information Channels }

36. 可驗證假說

H1：Agentic Perception 優於固定感知

在長時間、部分可觀測、事件稀疏的環境：

Utility_{APR} > Utility_{Fixed}

在相同或更低平均成本下。

H2：Persistent State 是主動感知的必要增益來源之一

若移除：

W_t

Agent 將重複取得已知資訊，導致：

PerceptualCost\uparrow

H3：Epistemic Action 可以降低推理錯誤

允許：

Move/Zoom/Open/Query

等資訊導向行動的 Agent，應比只能被動觀察者在 occlusion / ambiguity 任務具有更高準確率。

H4：No-observation action 能顯著降低穩態成本

在大量時間無重要變化的環境中：

Cost_{with\ skip} < Cost_{always\ observe}

H5：Evidence provenance 提升衝突恢復

保留 evidence pointer 的系統應比只保存 state summary 的系統更容易修復錯誤 belief。

H6：雙時間尺度優於 LLM-only perception

Fast monitor + slow cognition 應在即時任務中降低延遲與模型負載。

H7：跨模態 VOI routing 降低無關模態激活

UnnecessaryModalityActivation_{APR} < AllOn

37. 系列統一 MVP

最終 APR MVP 可以是一個「持續桌面／房間 Agent」。

感知輸入

RGB screen/camera；
audio；
DOM / accessibility；
system events；
structured state。

World State

追蹤：

active window；
application state；
visible entities；
important values；
task progress；
alerts；
uncertainties。

感知模式

支援：

Monitor, Glance, Scan, Track, Inspect, Deep, Reobserve

行動

mouse；
keyboard；
camera control；
API；
state query。

事件

設計：

大像素變化、無狀態變化；
小像素變化、高重要性；
audio-only event；
visual/audio conflict；
state stale；
hidden detail requiring revisit；
occlusion requiring camera movement。

38. Baselines

A：Full Continuous

全畫面、固定 FPS、高解析。

B：Static Adaptive

固定 heuristic：frame difference + ROI。

C：Video Agent

主動 frame / clip selection，但無 persistent world-state policy。

D：Memory Agent

有 memory，但無感知 budget / reading modes。

E：APR-Runtime

完整：

Delta + WorldState + ReadingModes + CrossModalRouting + Budget + Reobserve + EpistemicAction

39. 評估指標

需要同時評估：

TaskSuccess

StateAccuracy

StateFreshness

CriticalMissRate

VisualTokens

AudioTokens

ReasoningTokens

Latency

Energy

MemoryUsage

ReobserveCount

EpistemicActionCount

ConflictRecoveryRate

BeliefDrift

UnnecessaryObservationRate

最後使用 Pareto frontier，而不是只報一個 Accuracy。

40. Agentic Perception Benchmark

可建立 APR-Bench，包含五大能力。

A. Select

是否選對模態、區域與時間？

B. Scale

是否配置適當解析度與推理深度？

C. Maintain

是否持續維持正確世界狀態？

D. Revisit

是否在必要時回到證據重新確認？

E. Act-to-See

是否能為了取得資訊而採取合理 epistemic action？

最終評估：

Score = f( Success, Cost, Risk, StateConsistency, Recovery )

41. 訓練路徑

APR-Runtime 不一定要一開始端到端訓練。

可以分三階段。

Stage 1：Heuristic Controller

人工規則：

Delta \rightarrow Mode

先證明架構。

Stage 2：Supervised Perceptual Trajectories

收集：

\mathcal T_P

訓練：

PolicyModel

學習何時 scan / inspect / reobserve。

Stage 3：RL / Constrained RL

Reward：

r = TaskSuccess - \lambda Cost - \mu CriticalMiss

使 Agent 學會 accuracy–cost–risk tradeoff。

LongVideo-R1、OmniAgent 等工作已顯示 SFT + RL 可有效訓練主動感知軌跡，因此此路徑具有現實可行性。

42. 理論上的 POMDP 表示

Agentic Perception 自然可表示成 POMDP：

\mathcal P = ( S,A,O,T,Z,R,\gamma )

其中真實世界：

s_t

不可完整觀察。

Agent 維持 belief：

b_t(s) = P(s_t=s|H_t)

感知 action：

a_t^P

會改變可取得的 observation：

o_{t+1} \sim Z(o|s,a_t^P)

而 task action：

a_t^T

會改變世界：

s_{t+1} \sim T(s'|s,a_t^T)

因此 Agent 同時控制：

\boxed{ \text{How the world changes} }

與：

\boxed{ \text{How the world is observed} }

這正是 Agentic Perception 的決策本質。

43. 與 Active Inference / Active Vision 的關係

本文並不主張：

active vision；
active sensing；
POMDP sensing；
information-gain exploration；
predictive processing；

為新的。

Agentic Perception 與上述研究存在明顯思想親緣。

但 APR 的工程焦點是當代多模態 Agent：

\boxed{ MultimodalFoundationModels + PersistentWorldState + AdaptiveCompute + EvidenceTools + AgentRuntime }

即將傳統 active perception 問題重新放入：

tokenized multimodal input；
LLM/VLM reasoning；
long-term memory；
structured state；
tool-use；
resource cost；

的現代計算環境中。

44. 與目前 2026 前沿的邊界

本文不主張以下單項能力為新：

active perception；
active video navigation；
observe–think–act loop；
hierarchical multimodal memory；
multimodal long-term memory；
POMDP-based perception；
world memory；
evidence grounding；
tool-based video inspection；
multimodal world models。

OmniAgent 已使用 POMDP-based Observation–Thought–Action 主動 omni-modal perception；AOP-Agent 已做 observe–reflect–replan；VideoARM 已做 observe–think–act–memorize；LongVideo-R1 已做智能 clip navigation；WorldMemArena 已把 memory 放進 action–world interaction；Mimir 已顯式維護 world memory、task memory 與 perceptual evidence。

APR-07 的整合位置是：

\boxed{ \text{Agentic Perception} = \text{Perceptual Policy Governance} }

它同時統一：

Change + WorldState + Modality + ReadingMode + Budget + Memory + Evidence + Reobservation + EpistemicAction

而不是只優化其中一項。

45. 限制

45.1 Controller 本身可能過度複雜

如果每一個 perception decision 都需要大型 LLM：

C_{controller} \gg C_{saved}

整個架構失去效率。

因此必須分層與小模型化。

45.2 VOI 只能近似

Agent 無法在觀察前準確知道觀察結果。

因此：

VOI

本質上是估計。

45.3 World State schema 會演化

開放世界不能預先定義所有 object/state。

45.4 重觀察不保證解決矛盾

原始證據可能本身不足。

45.5 Epistemic action 可能改變世界

為了「看得更清楚」而移動物體，本身可能使場景改變，因此必須區分：

ObservationIntervention

與：

TaskIntervention

45.6 多模態同步仍然困難

不同資料流有 latency 與時間戳偏差。

45.7 Adaptive perception 可能形成注意盲區

如果 policy 長期錯估重要性，會持續忽略某些區域。

因此必須保留：

ExplorationBudget

與：

PeriodicRefresh

46. 討論：感知本身成為 Agent 的自治領域

當感知只是固定 pipeline 時：

Developer \rightarrow SensorSettings \rightarrow Model

但 Agentic Perception 中：

AgentState \rightarrow PerceptualDecision \rightarrow Sensor/Tool

這表示 Agent 的自治能力不只體現在：

自己決定做什麼。

還包括：

自己決定為了做好這件事，需要知道什麼，以及要付多少代價去知道。

因此：

\boxed{ \text{Autonomy of Action} }

之前其實還有：

\boxed{ \text{Autonomy of Information Acquisition} }

後者就是本文所謂 Agentic Perception。

47. 從注意力機制到注意力治理

Transformer attention 通常是：

Attention(Q,K,V)

但 APR 所談的「注意力」更高一層：

\boxed{ \text{Which data should even reach expensive attention?} }

所以可以區分：

Internal Attention

模型內部：

Token\rightarrow Token

Perceptual Attention

模型外部／前端：

World\rightarrow SelectedEvidence

Governance Attention

Agent 層：

Goal+State+Risk+Budget \rightarrow PerceptualPolicy

因此：

\boxed{ AttentionMechanism \subset PerceptualAttention \subset AttentionGovernance }

這是 APR 系列最後可以留下的一個重要抽象。

48. 系列總命題

七篇文章最終可以壓縮成：

\boxed{ \text{Intelligence does not require uniform processing of all available information.} }

更精確地：

\boxed{ \text{Perception} = \text{Goal-conditioned, stateful, risk-aware, budgeted information acquisition} }

而 Agentic Perception 則是：

\boxed{ \text{The autonomy to govern that acquisition process.} }

49. APR 七篇統一結構

APR-01

\boxed{ \text{Perception is Resource Allocation} }

APR-02

\boxed{ \text{Change Magnitude}\neq\text{Change Significance} }

APR-03

\boxed{ \text{Vision Has Multiple Reading Modes} }

APR-04

\boxed{ \text{Continuous Perception is Belief Maintenance} }

APR-05

\boxed{ \text{Compute Allocation is a Cognitive Action} }

APR-06

\boxed{ \text{Reading is Modality-General} }

APR-07

\boxed{ \text{Agentic Perception is Autonomous Perceptual Governance} }

整體：

\boxed{ \text{Adaptive Perceptual Reading} \rightarrow \text{Agentic Perception} }

50. 結論

本文提出 Agentic Perception Runtime（APR-Runtime），完成 Adaptive Perceptual Reading 七篇系列的理論整合。

其核心 Agent state 為：

\boxed{ \mathcal S_t = ( W_t, G_t, M_t, U_t, R_t, \mathbf B_t, H_t ) }

其核心感知 action 為：

\boxed{ a_t = ( m_t, r_t, \Omega_t, \rho_t, \nu_t, d_t, h_t, q_t, p_t ) }

整體循環為：

\boxed{ WorldState \rightarrow Prediction \rightarrow Monitor \rightarrow Difference \rightarrow Significance \rightarrow PerceptualPolicy \rightarrow EvidenceAcquisition \rightarrow BeliefRevision \rightarrow Action \rightarrow WorldState }

本文因此得到五項最終原則：

\boxed{ \text{Available Information} \neq \text{Information That Must Be Processed} }

\boxed{ \text{Perception} \neq \text{Uniform Input Processing} }

\boxed{ \text{Memory} \neq \text{Current World Belief} }

\boxed{ \text{Action Can Serve Tasks or Acquire Information} }

以及：

\boxed{ \text{A Mature Agent Should Govern Its Own Perceptual Activity} }

因此，未來多模態 Agent 的重要能力可能不只是擁有更長 context、更高解析度與更多 sensor，而是：

能在一個持續存在的世界裡，知道自己目前相信什麼、不知道什麼、需要知道什麼、應該去哪裡取得證據、要花多少資源確認，以及什麼時候已經知道得夠多。

這就是本文對 Agentic Perception 的最終定義。

參考文獻

Xing, Z., Xu, R., Wang, Y., He, J., Ma, Z., Yang, Q., Chu, Y., Xu, J., Lin, J., Fu, C.-W., & Heng, P.-A. (2026). Native Active Perception as Reasoning for Omni-Modal Understanding. arXiv:2606.19341.
Xu, K., Wang, Y., Cheng, Z., Liu, H., Wang, Y., & Wang, Y. (2026). Agentic Active Omni-Modal Perception for Multi-Hop Audio-Visual Reasoning. arXiv:2605.28192.
Yin, Y., Meng, Q., Chen, M., Ding, J., Shao, Z., & Yu, Z. (2026). VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding. CVPR 2026.
Qiu, J., Xie, L., Huo, X., Tian, Q., & Ye, Q. (2026). LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding. CVPR 2026.
Liu, C., Yang, Y., Pu, S. X., et al. (2026). WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction. arXiv:2605.29341.
Xu, H., He, Z., Wang, H., Xu, J., & Dong, H. (2026). Mimir: A Neuro-Symbolic Memory System with Dynamic Grounding for Embodied Agents in Interactive Environments. arXiv:2608.04933.
Zhang, Z., Hou, Y., Cao, D., et al. (2026). M4EI: A Hierarchical Multimodal Memory Framework for Embodied Intelligence with Causal-Driven Retrieval. KSEM 2026.
Zhuang, X., Zhou, C., Feng, K., et al. (2026). Embodied Science: Closing the Discovery Loop with Agentic Embodied AI. arXiv:2603.19782.
Fung, P., Bachrach, Y., Celikyilmaz, A., et al. (2025). Embodied AI Agents: Modeling the World. arXiv:2506.22355.
Yang, Q., Kang, Y., Ren, G., Yang, Q., & Li, N. (2026). Beyond Vision: Holistic World Models. CVPR Workshops 2026.
Ren, H. (2026). Research on embodied agent multimodal perception and real-time path planning algorithms for complex unstructured environments. Frontiers in Neurorobotics, 20.
Ko, B. C. (2026). Sensing the Action: Rethinking Sensor Modalities and Multi-Modal Fusion in Vision–Language–Action Models for Robotic Manipulation. Sensors, 26(11), 3541.

系列封頂

APR-01：從均勻感知到自適應感知閱讀：多模態智能的感知資源配置理論
APR-02：從像素差分到語義差分：連續多模態感知中的變化階層
APR-03：視覺不是一種閱讀：多尺度視覺閱讀模式與重觀察理論
APR-04：持續世界狀態與差分重觀察：從連續影片理解到持續感知智能
APR-05：感知預算分配：從固定視覺 Token 到動態資訊獲益最大化
APR-06：跨模態感知閱讀：文字、影像、影片與聲音的統一注意策略
APR-07：Agentic Perception：具備自主感知策略的多模態智能架構 ← 本文／系列封頂

具備自主感知策略的多模態智能架構_Agentic Perception

Agentic Perception：具備自主感知策略的多模態智能架構

摘要

1. 從「會感知」到「治理感知」

2. 2026：Agentic Perception 已成為明確研究方向

3. APR-07 的研究位置

4. Agentic Perception State

世界狀態

目標

記憶

不確定性

風險

資源

歷史

5. Agentic Perception Action

6. 「不感知」也是一個合法動作

7. Persistent Perceptual Loop

Predict

Monitor

Detect

Evaluate

Acquire

Revise

8. Prediction Error 作為感知觸發器

9. 事件觸發與問題觸發是兩種不同感知

9.1 Environment-driven

9.2 Goal-driven

10. Epistemic Action：為了知道而行動

11. Perception–Action Dual Loop

Pragmatic Action

Epistemic Action

12. 雙時間尺度感知控制

Fast Perceptual Loop

Slow Cognitive Loop

13. 三層感知 Controller

Layer 0：Reflex Monitor

Layer 1：Perceptual Router

Layer 2：Cognitive Controller

14. APR 統一政策

15. APR-01：資源配置

16. APR-02：差分與重要性

17. APR-03：閱讀模式

18. APR-04：世界狀態

19. APR-05：預算經濟

20. APR-06：跨模態閱讀

21. 感知治理決策樹

Step 1：目前狀態足夠嗎？

Step 2：是否發生顯著變化？

Step 3：哪個模態最有價值？

Step 4：使用哪個閱讀模式？

Step 5：分配多少資源？

Step 6：需要改變觀察位置嗎？

Step 7：更新世界狀態

Step 8：決定繼續、行動或停止

22. Agentic Perception Runtime

23. 核心模組

23.1 World State Store

23.2 Evidence Store

23.3 Change Monitor

23.4 Uncertainty Estimator

23.5 Risk Estimator

23.6 Budget Controller

23.7 Modality Router

23.8 Reading-Mode Controller

23.9 Evidence Acquisition Tools

23.10 Belief Revision Engine

23.11 Planner / Actor

24. Evidence Contract

25. Perceptual Provenance

26. 世界狀態與任務狀態分離

World State

Task State

27. Perceptual Need Graph

28. 感知、推理與行動的共同停止條件

29. 感知失敗分類

F1：Miss

F2：Misallocation

F3：Wrong Modality

F4：Wrong Reading Mode

F5：Belief Drift