← Archive
lm-004629 · 2026-10

解析度理論:多模態不是資料堆積 v0.2

下載 MD 檔 ⬇

解析度理論:多模態不是資料堆積 v0.2

——從觀察等價類、狀態可區分性到最小充分感知

English Title: Observation Resolution Theory: Multimodality as State Distinguishability Rather Than Data Accumulation
系列:《宏觀個體導向的動態全域觀察方法論》03 / 07
Series B: Macro-Object-Oriented Dynamic Global Observation Methodology
作者: Neo.K × AI 協作
版本: v0.2
日期: 2026-09-16
文件性質: Observation Theory/Multimodal AI/Active Perception/Information Theory/Agent Runtime/AI-Native Engineering
承接: B01〈宏觀個體與局部投影〉、B02〈角色即觀察算子〉、APR-05/06/07
後續接口: B04〈推理解析度與觀察解析度不對稱〉、B05〈動態視角路由〉、B06〈APR 驅動的動態全域感知〉

機構: EveMissLab/一言諾科技有限公司


摘要

多模態 AI 很容易被描述成:

文字 + 圖片 + 影片 + 聲音 + 感測器 = 更多資訊 = 更高智能。

這個敘述只對了一部分。

如果新模態只重複已知內容、解析度與任務無關、觀察時間已過期、取樣位置錯誤,或大量輸入把真正重要訊號淹沒,那麼:

More Data⇏Higher Observation Resolution.\boxed{ \text{More Data} \nRightarrow \text{Higher Observation Resolution}. }

本文提出 Series B 的第三個核心概念:

Observation Resolution

觀察解析度

解析度不再只指:

  • pixel 數;
  • frame rate;
  • audio sample rate;
  • token 數;
  • log 行數;

而是更一般地指:

在指定任務、判定域與觀察條件下,一組 evidence 能把多少原本不可區分的宏觀世界狀態區分開。

令宏觀個體狀態空間為:

X.\mathcal X.

觀察算子:

Oi:X→Yi.O_i:\mathcal X\rightarrow\mathcal Y_i.

若:

Oi(xa)=Oi(xb),O_i(x_a)=O_i(x_b),

則 observer 在該 observation 下無法區分:

xax_a

與:

xb.x_b.

因此定義觀察等價關係:

xa∼ixb  ⟺  Oi(xa)=Oi(xb).\boxed{ x_a\sim_i x_b \iff O_i(x_a)=O_i(x_b). }

它在 X\mathcal X 上形成 observational partition。對某一觀察值 yy:

[y]i={x∈X:Oi(x)=y}.\boxed{ [y]_i = \{ x\in\mathcal X: O_i(x)=y \}. }

此 equivalence class 越大,表示越多不同 world states 被同一 observation 壓在一起,觀察越粗。

若加入新觀察:

Oj,O_j,

使:

[x]i,j=[x]i∩[x]j⊊[x]i,[x]_{i,j} = [x]_i\cap[x]_j \subsetneq [x]_i,

則新的觀察讓一部分原先不可區分狀態被拆開。

這才是本文最核心的:

Resolution Increase.\boxed{ \text{Resolution Increase}. }

因此多模態的真正方法論價值之一,不是「資料變多」,而是:

State Distinguishability↑.\boxed{ \text{State Distinguishability}\uparrow. }

當 code projection 對兩個狀態:

xa,xbx_a,x_b

都顯示:

tests pass

但 screenshot 可以區分:

button visible

與:

button covered

那麼加入 vision 的價值不是:

多了一張圖。

而是:

Ovision(xa)≠Ovision(xb).\boxed{ O_{vision}(x_a)\neq O_{vision}(x_b). }

同理,runtime trace、browser interaction、network trace、profiler、human observation、player replay、formal checker 都可以被視為提高某一判定域中狀態可區分性的 evidence carriers。

本文進一步指出:解析度一般不是單一純量,而是任務相關的向量:

ρ=(ρspace,ρtime,ρsemantic,ρcausal,ρstructural,ρrole,ρauthority,ρfreshness,ρdiscriminative).\boxed{ \boldsymbol{\rho} = ( \rho_{space}, \rho_{time}, \rho_{semantic}, \rho_{causal}, \rho_{structural}, \rho_{role}, \rho_{authority}, \rho_{freshness}, \rho_{discriminative} ). }

一個 8K screenshot 可能具有極高 spatial resolution,卻具有很低 causal resolution;一段完整 log 可以有高 temporal detail,但如果不知道哪個 request 對應使用者事件,semantic / causal resolution 仍然很低。反之,一條精確 transaction trace 可能資料量非常小,卻大幅提高 causal resolution。

所以:

Data Volume≠Observation Resolution.\boxed{ \text{Data Volume} \neq \text{Observation Resolution}. }

2025–2026 年多模態研究已明顯走向 adaptive perception。ACL 2026 的 CARES 對 image-query pair 預測「最小充分解析度」,在五個多模態 benchmark 上維持 task performance 的同時,報告最高約 80% compute reduction。2026 年 Selective Perception for Robot 使用 task-aware router 動態選擇多 camera views,指出 uniform processing 不只浪費計算,task-irrelevant background 還可能成為 noise。Tempo 對長影片以 query-aware Adaptive Token Allocation 將更多 token 給 query-critical temporal segments;SmartVL 更進一步聯合控制 visual-token 數與 LLM-side compute。ACL 2026 的 TrimTokenator 則明確以 cross-modal alignment、mutual information 與 intra-modal diversity 保留高價值 visual tokens,而不是按固定比例機械保留。

這些工作並不等同本文的一般 Resolution Theory,但共同支持一個重要工程方向:

Uniform Maximum Observation\boxed{ \text{Uniform Maximum Observation} }

正在讓位給:

Task-Conditioned Sufficient Observation.\boxed{ \text{Task-Conditioned Sufficient Observation}. }

本文將這條方向從 image / video token efficiency 再向上抽象到一般 Agent 世界觀察:

Role→Modality→Scope→Resolution→Sampling→Evidence→BeliefRevision.\boxed{ \text{Role} \rightarrow \text{Modality} \rightarrow \text{Scope} \rightarrow \text{Resolution} \rightarrow \text{Sampling} \rightarrow \text{Evidence} \rightarrow \text{BeliefRevision}. }

並提出:

Minimum Sufficient Resolution

最小充分解析度

對 decision QQ,選擇最低成本的 observation policy π\pi,使 remaining compatible world states 已不再改變當前決策:

π∗=arg⁡min⁡πCost(π)\boxed{ \pi^\ast = \arg\min_{\pi} Cost(\pi) }

subject to:

DecisionQ(xa)=DecisionQ(xb)∀xa,xb∈A(Eπ).\boxed{ Decision_Q(x_a) = Decision_Q(x_b) \quad \forall x_a,x_b\in\mathcal A(E_\pi). }

也就是:

不需要知道整個世界;只需要知道到足以讓當前決策對剩餘不確定性穩健。

這使多模態 AI 的核心問題從:

「可以吃多少資料?」

轉成:

「下一單位觀察成本,應該花在哪裡,才能最大程度縮小對當前任務真正重要的狀態歧義?」


1. 問題:高解析度到底是什麼?

在日常語言中:

高解析度

通常意味:

1920×1080
4K
8K

或:

60fps
120fps

對語言模型可能變成:

更多 tokens
更長 context

但對 Agent 世界觀察,

這些只描述:

carrier fidelity / sampling density.\boxed{ \text{carrier fidelity / sampling density}. }

並不直接描述:

decision-relevant distinguishability.\boxed{ \text{decision-relevant distinguishability}. }

2. 一張 8K 圖可以比一條 log 解析度更低

假設問題是:

使用者點支付後,為什麼扣了兩次?

8K screenshot:

  • 顯示兩次成功提示;
  • 看不出 transaction id;
  • 看不出 retry;
  • 看不出 provider callback。

一條 transaction trace:

request_id=42
retry=1
idempotency_key=missing
charge_id=A
charge_id=B

資料量更小。

但對:

Q=duplicate charge root causeQ=\text{duplicate charge root cause}

它的:

ρcausal\rho_{causal}

遠高於 screenshot。

所以:

PhysicalResolution≠EpistemicResolution.\boxed{ \text{PhysicalResolution} \neq \text{EpistemicResolution}. }

3. Observation Resolution 的第一定義:可區分性

令:

X\mathcal X

為可能 macro states。

觀察:

O:X→Y.O:\mathcal X\rightarrow\mathcal Y.

定義:

x∼Ox′  ⟺  O(x)=O(x′).x\sim_Ox' \iff O(x)=O(x').

這產生 partition:

ΠO.\Pi_O.

如果 partition 很粗:

很多世界狀態落在同一 cell。

解析度低。


4. Partition Refinement

令:

O1,O2O_1,O_2

兩個 observation systems。

若:

ΠO2\Pi_{O_2}

比:

ΠO1\Pi_{O_1}

更細,

即 O2O_2 能區分 O1O_1 區分不了的 states,

則可寫:

O2⪰O1.\boxed{ O_2\succeq O_1. }

稱:

O2O_2 對該 state space 至少不比 O1O_1 粗。


5. 但工程中解析度是 Query-Relative

問題:

button 顏色對不對?

與:

transaction 是否 idempotent?

需要不同 observation。

所以定義:

x∼O,Qx′\boxed{ x\sim_{O,Q}x' }

表示:

在 observation OO 與 query QQ 下,兩個 world states 對目前判定不可區分。


6. Query-Conditioned Resolution

因此:

ρ(O;Q)\boxed{ \rho(O;Q) }

才是更合理表示。

一張 screenshot:

ρ(Ovision;Qlayout)↑.\rho( O_{vision}; Q_{layout} ) \uparrow.

但:

ρ(Ovision;QDB consistency)↓.\rho( O_{vision}; Q_{DB\ consistency} ) \downarrow.

7. Resolution 沒有絕對全序

不能總說:

Vision 比 Text 高解析。

因為:

ρvision(Q1)>ρtext(Q1)\rho_{vision}(Q_1) > \rho_{text}(Q_1)

可以同時:

ρvision(Q2)<ρtext(Q2).\rho_{vision}(Q_2) < \rho_{text}(Q_2).

所以:

Resolution\boxed{ \text{Resolution} }

通常是:

task-relative partial order.\boxed{ \text{task-relative partial order}. }

8. B01 的 Ambiguity Set

B01 已建立:

A(E)={x∈X:Compatible(x,E)}.\mathcal A(E) = \{ x\in\mathcal X: Compatible(x,E) \}.

這表示:

所有仍與目前 evidence 相容的 macro states。

B03 將解析度理解為:

A(E) 的收縮能力.\boxed{ \mathcal A(E) \text{ 的收縮能力}. }

9. Evidence Update

新 evidence:

e.e.

更新:

A(E∪{e})⊆A(E).\mathcal A(E\cup\{e\}) \subseteq \mathcal A(E).

若是 strict subset:

⊊,\subsetneq,

表示至少排除了一些原本可行 world state。


10. Resolution Gain

可用概念量:

Δρ(e)=Ambiguity(E)−Ambiguity(E∪{e}).\boxed{ \Delta\rho(e) = \text{Ambiguity}(E) - \text{Ambiguity}(E\cup\{e\}). }

其中:

Ambiguity\text{Ambiguity}

可以依 domain 使用:

  • cardinality;
  • volume;
  • entropy;
  • hypothesis count;
  • decision uncertainty。

11. 不要直接用 Cardinality 處理連續世界

若:

X\mathcal X

連續,

∣A∣|\mathcal A|

通常沒有實用意義。

更合理可使用:

H(X∣E)H(X\mid E)

或 posterior volume / decision-region measure。

所以本文不把:

Resolution=1∣A∣\text{Resolution}=\frac1{|\mathcal A|}

當普遍定律。


12. Information-Theoretic Resolution

若有概率模型:

P(X∣E),P(X\mid E),

可以定義:

ρH(E)=H(X)−H(X∣E)=I(X;E).\boxed{ \rho_H(E) = H(X) - H(X\mid E) = I(X;E). }

這表示 evidence 對 world state 提供多少資訊。


13. 但 Mutual Information 仍不是全部

高:

I(X;E)I(X;E)

不一定對當前 decision 有用。

例如 evidence 很精確地告訴:

server fan speed。

但 task 是:

UI button overlap。

所以更重要:

IQ(X;E)\boxed{ I_Q(X;E) }

即:

query-relevant information。


14. Decision-Relevant Information Gain

可寫:

IGQ(e)=HQ(X∣E)−HQ(X∣E,e).\boxed{ IG_Q(e) = H_Q(X\mid E) - H_Q(X\mid E,e). }

HQH_Q 不是標準固定資訊論 operator,

而是本文的 task-conditioned engineering abstraction:

只計算會影響 decision QQ 的 uncertainty。


15. Resolution = State-Distinguishing Power

因此本文的工作定義:

Resolution(O,Q)=the power of O to distinguish macro states relevant to Q.\boxed{ \text{Resolution}(O,Q) = \text{the power of }O \text{ to distinguish macro states relevant to }Q. }

16. 這比 Pixel Resolution 更廣

它可以來自:

  • spatial detail;
  • temporal detail;
  • semantic labels;
  • causal trace;
  • structural relation;
  • role change;
  • authority state;
  • negative witness。

17. Resolution Vector

本文提出:

ρ=(ρs,ρt,ρm,ρc,ρg,ρr,ρa,ρf,ρd).\boxed{ \boldsymbol{\rho} = ( \rho_s, \rho_t, \rho_m, \rho_c, \rho_g, \rho_r, \rho_a, \rho_f, \rho_d ). }

分別:

  • spatial;
  • temporal;
  • semantic;
  • causal;
  • structural / graph;
  • role / perspective;
  • authority;
  • freshness;
  • discriminative。

18. Spatial Resolution

ρs\rho_s

回答:

空間上能分辨多細?

例如:

  • page-level;
  • component-level;
  • pixel-level。

19. Temporal Resolution

ρt\rho_t

回答:

時間上能分辨多細?

例如:

  • daily metric;
  • per request;
  • per frame;
  • event sequence。

20. Semantic Resolution

ρm\rho_m

回答:

observation 對狀態的語義描述多精確?

例如:

error

比:

HTTP 409 caused by stale version token

semantic resolution 低。


21. Causal Resolution

ρc\rho_c

回答:

能否區分原因與共同出現?

例如:

CPU high

與:

retry storm → queue growth → CPU high

後者 causal resolution 更高。


22. Structural Resolution

ρg\rho_g

回答:

能否看見 component / relation / dependency topology?

source file list:

ρg\rho_g

可能低。

dependency graph:

ρg\rho_g

提高。


23. Role Resolution

ρr\rho_r

回答:

目前觀察是否覆蓋不同 concern / observer perspectives?

只有 code role:

ρr\rho_r

低。

加入 runtime / UX:

ρr\rho_r

可能上升。


24. Authority Resolution

ρa\rho_a

回答:

是否知道誰 can / may / approved / delegated?

對 Agent systems 特別重要。


25. Freshness Resolution

ρf\rho_f

回答:

evidence 與 current world 的時間接近程度。

old screenshot:

ρf↓.\rho_f\downarrow.

26. Discriminative Resolution

ρd\rho_d

回答:

validator 能否區分 legal / illegal / equivalent states?

例如 mutation test:

ρd↑.\rho_d\uparrow.

27. Resolution 是各向異性的

一個 observation 可以:

ρs↑\rho_s\uparrow

但:

ρc↓.\rho_c\downarrow.

因此:

HighResolution\boxed{ \text{HighResolution} }

若不說 dimension,

往往是不完整語句。


28. Role 本身是一種非均勻 Resolution Profile

B02 已提出:

ρr.\boldsymbol{\rho}_r.

例如 backend:

ρtransaction↑,\rho_{transaction}\uparrow, ρvisual↓.\rho_{visual}\downarrow.

UX:

ρinteraction↑,\rho_{interaction}\uparrow, ρDB↓.\rho_{DB}\downarrow.

所以:

Role=ObservationOperator+ResolutionProfile.\boxed{ \text{Role} = \text{ObservationOperator} + \text{ResolutionProfile}. }

29. Expertise 是局部高解析度

專家真正的價值之一:

reduce ambiguity in a selected subspace.\boxed{ \text{reduce ambiguity in a selected subspace}. }

不是:

全世界都看得比較清楚。


30. 高解析度局部觀察仍可能低全域解析度

如果:

ρbackend↑↑\rho_{backend}\uparrow\uparrow

但:

ρUX≈0,\rho_{UX}\approx0,

宏觀 decision:

Quser experienceQ_{user\ experience}

仍低解析。


31. 這就是 Multi-Resolution Globality

全域 Agent 不需要:

ρi=max⁡∀i.\rho_i=\max \quad \forall i.

而是:

ρi=f(Goal,Risk,Unknown,Cost).\boxed{ \rho_i = f( \text{Goal}, \text{Risk}, \text{Unknown}, \text{Cost} ). }

32. 多模態不是「資料總和」

假設:

E1=text,E_1=\text{text}, E2=image.E_2=\text{image}.

如果:

IQ(X;E2∣E1)≈0,I_Q(X;E_2\mid E_1)\approx0,

則 image 幾乎沒有提供額外 task-relevant information。

所以:

Text+Image\boxed{ \text{Text}+\text{Image} }

不必然:

Resolution↑.\boxed{ \text{Resolution}\uparrow. }

33. Complementary Information

如果:

IQ(X;E2∣E1)>0,I_Q(X;E_2\mid E_1)>0,

則 E2E_2 提供 text 所沒有的 task-relevant difference。

這是:

Complementary Evidence


34. Redundant Evidence

若:

IQ(X;E2∣E1)≈0,I_Q(X;E_2\mid E_1)\approx0,

則:

E2E_2

大多冗餘。

多模態 fusion 若只是堆 redundant input,

成本增加,

解析度不一定提高。


35. Conflicting Evidence

若:

E1E_1

與:

E2E_2

不能共同被同一 macro state 解釋,

則:

Conflict.\boxed{ \text{Conflict}. }

這不是 fusion failure。

它可能是:

High-value anomaly signal.\boxed{ \text{High-value anomaly signal.} }

36. 多模態三分法

因此新 modality 可以是:

Complementary\boxed{ \text{Complementary} } Redundant\boxed{ \text{Redundant} } Conflicting.\boxed{ \text{Conflicting}. }

37. Multi-View Learning 的外部近鄰

Xu、Tao、Xu 2013 survey 指出 multi-view learning 常利用:

  • consensus principle;
  • complementary principle。

2025 的 multi-view representation survey 同樣指出:

multiple views 同時含 consistent、complementary、inconsistent 與 redundant information。

這與本文完全相容。


38. 但 B03 不只是 Representation Fusion

Multi-view learning 常問:

如何從已有多 views 學更好的 representation?

B03 問:

下一個 view 值不值得取得?

所以:

Fusion\boxed{ \text{Fusion} }

之前還有:

AcquisitionDecision.\boxed{ \text{AcquisitionDecision}. }

39. Acquisition Cost

每個 evidence:

eie_i

有:

C(ei)=Token+Compute+Latency+IO+Energy+Human+AuthorityCost.C(e_i) = \text{Token} + \text{Compute} + \text{Latency} + \text{IO} + \text{Energy} + \text{Human} + \text{AuthorityCost}.

APR-05 已經建立多資源 perceptual budget。


40. Evidence Value

可定義:

V(ei)=E[ΔρQ(ei)]C(ei).\boxed{ V(e_i) = \frac{ \mathbb E[\Delta\rho_Q(e_i)] }{ C(e_i) }. }

或:

V(ei)=ExpectedInformationGainQ(ei)Cost(ei).\boxed{ V(e_i) = \frac{ ExpectedInformationGain_Q(e_i) }{ Cost(e_i) }. }

41. 下一步該看什麼?

選:

e∗=arg⁡max⁡eIGQ(e)C(e).\boxed{ e^\ast = \arg\max_e \frac{ IG_Q(e) }{ C(e) }. }

這是 Dynamic Observation 的基本動機。


42. 但高風險時不能只看 Ratio

如果某 evidence:

ehe_h

是高風險決策 mandatory,

即使成本高,

仍需取得。

所以:

RiskConstraint\boxed{ \text{RiskConstraint} }

優先於純:

IG/Cost.IG/Cost.

43. Minimum Sufficient Resolution

對 decision QQ,

我們不要:

max⁡ρ.\max\rho.

而要:

min⁡Cost\boxed{ \min Cost }

subject to:

Resolution≥ResolutionRequired(Q,Risk).\boxed{ \text{Resolution} \ge ResolutionRequired(Q,Risk). }

44. Decision-Sufficient Observability

B01 已提出:

若:

DecisionQ(xa)=DecisionQ(xb)Decision_Q(x_a) = Decision_Q(x_b)

對所有:

xa,xb∈A(E)x_a,x_b\in\mathcal A(E)

成立,

則 current evidence 對 QQ:

observable enough.\boxed{ \text{observable enough}. }

這就是 B03 最強的停止條件。


45. Resolution 不必把世界壓成唯一 State

我們不需要:

∣A(E)∣=1.|\mathcal A(E)|=1.

只需要:

DecisionStable(A(E)).\boxed{ DecisionStable(\mathcal A(E)). }

46. Example:UI Button

可能 world states:

x1=button correctly visible,x_1=\text{button correctly visible}, x2=button covered by overlay.x_2=\text{button covered by overlay}.

code tests:

Otest(x1)=Otest(x2)=PASS.O_{test}(x_1) = O_{test}(x_2) = \text{PASS}.

因此:

x1∼testx2.x_1\sim_{test}x_2.

47. 加入 Screenshot

若:

Ovision(x1)≠Ovision(x2),O_{vision}(x_1) \neq O_{vision}(x_2),

則:

[x]test,vision⊊[x]test.[x]_{test,vision} \subsetneq [x]_{test}.

所以:

ρ↑.\boxed{ \rho\uparrow. }

48. 這不是模型突然變聰明

模型 reasoning capability:

CC

不變。

變的是:

ObservationalStateSpace.\boxed{ \text{ObservationalStateSpace}. }

即:

可區分 world states 變多。


49. Example:DOM vs Screenshot

DOM:

  • element exists;
  • geometry declared。

Screenshot:

  • element actually occluded。

兩者:

ODOM,OvisionO_{DOM}, O_{vision}

互補。


50. Example:Screenshot vs Interaction Replay

Screenshot 可以看:

靜態布局。

但:

點擊後 focus trap。

需要:

Ointeraction.O_{interaction}.

因此時間/互動解析度提高。


51. Example:Browser vs Network

UI spinner 卡住。

browser screenshot:

state=loading.\text{state}=\text{loading}.

network trace:

request=401.\text{request}=401.

causal resolution:

ρc\rho_c

提高。


52. Example:Log vs Trace

log:

payment failed

trace:

UI→API→payment→provider→timeout→retry

graph / causal resolution 提升。


53. Example:Game Telegraph

程式:

dodge window = 350ms。

動畫:

attack cue exists。

玩家 replay:

cue 只在 hit 前 100ms 才可辨識。

加入 player-time projection:

ρperceptual/temporal↑.\rho_{perceptual/temporal}\uparrow.

54. Example:Save Corruption

unit test:

PASS.PASS.

runtime under crash:

corrupt.\text{corrupt}.

需要:

fault injection.\text{fault injection}.

這不是更多 ordinary tests,

而是:

discriminative resolution.\boxed{ \text{discriminative resolution.} }

55. Negative Evidence 也提高解析度

如果 validator:

Reject(W−)Reject(W^-)

能可靠拒絕 relevant bad state,

那:

ρd↑.\rho_d\uparrow.

所以 resolution 不只來自 richer input。

還來自:

better experiments.\boxed{ \text{better experiments.} }

56. Epistemic Action

APR 已提出:

action 可以為了改變世界,也可以為了取得資訊。

例如:

  • zoom;
  • click;
  • refresh;
  • reproduce;
  • inject fault;
  • isolate dependency。

這些 action:

aPa^P

改變:

ObservationCondition.\text{ObservationCondition}.

57. Observation Resolution 可以透過行動提高

例如:

static screen

無法分辨兩 hypothesis。

點擊:

button

看到:

network 403

則:

Action→HigherResolution.\boxed{ \text{Action} \rightarrow \text{HigherResolution}. }

58. Active Perception 的核心就是「移動觀察」

ACL 2025 ActiView 把 MLLM perceptual field 限制住,

要求模型主動:

  • zoom;
  • shift;

才能回答。

這證明:

PassivePerception≠ActiveResolutionControl.\boxed{ \text{PassivePerception} \neq \text{ActiveResolutionControl}. }

59. ActiView 對 B03 的意義

ActiView 不是 B03 的理論證明。

但它直接實證:

模型是否會主動改變 observation field,本身是可獨立評估的能力。

所以:

ResolutionControl\boxed{ \text{ResolutionControl} }

可以是:

AgentCapability.\boxed{ \text{AgentCapability}. }

60. CARES:最小充分 Input Resolution

ACL 2026 CARES 對:

(image,query)(image,query)

預測:

ρ∗=min⁡ρ{Perf(ρ,Q)≈Perfpeak}.\rho^\ast = \min\rho \{ Perf(\rho,Q) \approx Perf_{peak} \}.

其結果顯示:

不同 query 不需要相同 image resolution。


61. CARES 的方法論對照

CARES 支持:

ResolutionRequired=f(Input,Query).\boxed{ \text{ResolutionRequired} = f(Input,Query). }

不是:

ResolutionRequired=max⁡.\text{ResolutionRequired}=\max.

62. CARES 的邊界

CARES 主要控制:

image input resolution.\text{image input resolution}.

B03 的 resolution 更廣:

  • role;
  • temporal;
  • causal;
  • structural;
  • freshness;
  • authority。

所以 B03 是上位抽象,

不宣稱 CARES 已解決一般 observation resolution。


63. Selective Perception:View 本身也要路由

2026 Selective Perception for Robot:

  • multiple cameras;
  • static uniform fusion 成本高;
  • irrelevant background 可成 noise;
  • router 根據 task relevance 選擇 views。

這支持:

ViewCount⇏UsefulResolution.\boxed{ \text{ViewCount} \nRightarrow \text{UsefulResolution}. }

64. 多 Camera 不是天然更好

如果某 camera:

IGQ≈0IG_Q\approx0

卻持續占 compute,

它降低:

ηE.\eta_E.

甚至 noise 可能傷 performance。


65. Tempo:時間解析度也可以不均勻

長影片:

t∈[0,T].t\in[0,T].

傳統 uniform sampling:

bt=constant.b_t=\text{constant}.

Tempo:

bt=f(query relevance,temporal segment).b_t = f( \text{query relevance}, \text{temporal segment} ).

query-critical segments:

bt↑.b_t\uparrow.

背景:

bt↓.b_t\downarrow.

66. 這就是 Temporal Resolution Routing

所以:

TemporalResolution\boxed{ \text{TemporalResolution} }

也不必均勻。


67. SmartVL:觀察與推理 Budget 耦合

SmartVL 同時調:

NvisualN_{visual}

與:

ComputeLLM.Compute_{LLM}.

這透露後續 B04 的核心:

觀察 resolution 與 reasoning compute 不能永遠獨立分配。


68. TrimTokenator:保留不是按數量,而是按資訊結構

ACL 2026 TrimTokenator:

  • cross-modal alignment;
  • mutual-information-based pruning;
  • intra-modal informational diversity。

核心近鄰:

KeepInformativeDifferences\boxed{ \text{KeepInformativeDifferences} }

而不是:

KeepMoreTokens.\text{KeepMoreTokens}.

69. Token Count ≠ Resolution

兩組:

1000 tokens1000\ tokens

可以有完全不同:

ρ.\rho.

如果 900 tokens 都重複背景,

有效解析度可能很低。


70. Context Length ≠ Resolution

同理:

1M context1M\ context

如果沒有:

  • relevant evidence;
  • current state;
  • correct role;

不能保證:

ρQ↑.\rho_Q\uparrow.

71. Full Log ≠ Resolution

讀:

10610^6

log lines,

如果不知道:

哪個 request?

可能:

Noise↑.Noise\uparrow.

targeted trace:

100 lines100\ lines

反而:

ρc↑.\rho_c\uparrow.

72. Data Density 與 Information Density

定義:

Ddata=BytesTime.D_{data} = \frac{Bytes}{Time}.

而 task information density:

DI=IGQCost.D_I = \frac{IG_Q}{Cost}.

兩者:

Ddata≠DI.\boxed{ D_{data} \neq D_I. }

73. Over-Observation

當:

Data↑Data\uparrow

但:

IGQ≈0,IG_Q\approx0,

形成:

Over-Observation

成本:

  • token;
  • latency;
  • compute;
  • attention dilution。

74. Under-Observation

若:

A(E)\mathcal A(E)

仍包含:

xa,xbx_a,x_b

導致不同 decision,

卻停止,

形成:

Under-Observation


75. Ideal Observation

Sufficient+Minimal.\boxed{ \text{Sufficient} + \text{Minimal}. }

這就是:

Minimum Necessary Observation

APR 已有相同原則。


76. Observation Budget

APR-05:

Bt=(Btok,Bflop,Blat,Bmem,Beng,Bio).\mathbf B_t = ( B^{tok}, B^{flop}, B^{lat}, B^{mem}, B^{eng}, B^{io} ).

B03 加:

budget 不是平均灑。

而是:

allocate toward ambiguity reduction.\boxed{ \text{allocate toward ambiguity reduction}. }

77. Resolution Allocation Vector

at=(amod,aspace,atime,asem,acausal,arole,areason,areobs).\mathbf a_t = ( a^{mod}, a^{space}, a^{time}, a^{sem}, a^{causal}, a^{role}, a^{reason}, a^{reobs} ).

78. Budget Constraint

∑kCk(ak)≤B.\sum_k C_k(a_k) \le B.

目標:

max⁡ExpectedIGQ(a).\max ExpectedIG_Q(\mathbf a).

79. Risk-Constrained Allocation

更完整:

max⁡aExpectedIGQ(a)−λCost(a)\boxed{ \max_{\mathbf a} ExpectedIG_Q(\mathbf a) - \lambda Cost(\mathbf a) }

subject to:

RiskCoverage(a)≥τR.RiskCoverage(\mathbf a)\ge\tau_R.

80. Resolution Controller

Series B 最終需要:

Resolution Controller

輸入:

Goal,MacroBelief,Unknown,Risk,Budget.\text{Goal}, \text{MacroBelief}, \text{Unknown}, \text{Risk}, \text{Budget}.

輸出:

ρ∗.\boldsymbol{\rho}^\ast.

81. Role Router 與 Resolution Controller 分離

B02 Role Router:

從哪個視角?

B03 Resolution Controller:

需要看多細?

所以:

RoleSelection≠ResolutionSelection.\boxed{ \text{RoleSelection} \neq \text{ResolutionSelection}. }

82. 同角色也能多解析度

Security:

skim
focused
deep audit

Frontend:

code only
screenshot
interaction replay
mobile matrix

83. Resolution Escalation

如果:

EvidenceInsufficient=1,\text{EvidenceInsufficient}=1,

可:

ρt→ρt+1↑.\rho_t \rightarrow \rho_{t+1}\uparrow.

但只在 relevant dimension 提高。


84. 不要全維度升級

若問題是:

temporal race,

提升:

ρs\rho_s

到 8K screenshot 沒用。

需要:

ρt,ρc.\rho_t, \rho_c.

85. Dimension-Specific Escalation

Δρ\boxed{ \Delta\boldsymbol\rho }

應稀疏。

例如:

Δρc>0,\Delta\rho_c>0,

其他:

Δρk≈0.\Delta\rho_k\approx0.

86. Sparse Resolution Allocation

這就是:

Global Awareness+Sparse High Resolution.\boxed{ \text{Global Awareness} + \text{Sparse High Resolution}. }

Series B 的核心模式。


87. Resolution Cone

某 anomaly:

aa

對應最可能需要提高的 dimensions:

Coneρ(a).\text{Cone}_\rho(a).

例如:

visual overlap
→ {spatial, role:UX}
duplicate payment
→ {temporal, causal, structural}

88. Resolution Routing Table

symptom:
  layout_overlap:
    raise:
      - visual_spatial
      - interaction
  stale_data:
    raise:
      - temporal
      - freshness
      - causal
  authority_mismatch:
    raise:
      - authority
      - provenance

89. Resolution Trigger:Cross-Role Conflict

如果:

Verdictri≠Verdictrj,\text{Verdict}_{r_i}\neq \text{Verdict}_{r_j},

可能:

提高 cross-perspective resolution。

先取得:

  • shared timestamps;
  • source lineage;
  • same scope。

90. Resolution Trigger:Expert Surprise

A07:

ExpertLevelSurprise⇒PerspectiveReassessment.\text{ExpertLevelSurprise} \Rightarrow \text{PerspectiveReassessment}.

B03:

ExpertSurprise⇒ResolutionAudit.\boxed{ \text{ExpertSurprise} \Rightarrow \text{ResolutionAudit}. }

91. Resolution Trigger:Repeated Failure

同類 error 重複:

nF↑.n_F\uparrow.

不要只:

再推理。

應問:

哪一個 observation dimension 一直太粗?


92. Resolution Trigger:Stale Evidence

Age(E)>τf.\text{Age}(E)>\tau_f.

則:

ρf↓.\rho_f\downarrow.

需要:

Reobserve.\text{Reobserve}.

93. Resolution Trigger:High Irreversibility

如果 action:

Irreversibility↑,\text{Irreversibility}\uparrow,

required ambiguity:

AmbiguityAllowed↓.\text{AmbiguityAllowed}\downarrow.

因此:

ρ∗↑.\rho^\ast\uparrow.

94. Resolution Trigger:Authority Transition

production deploy:

AuthorityTransition.\text{AuthorityTransition}.

需提高:

  • authority resolution;
  • state freshness;
  • outcome verification。

95. Resolution Stop Rule

停止升級:

Stopρ=1\text{Stop}_\rho=1

當:

  1. decision stable;
  2. required risk covered;
  3. marginal IG low;
  4. no blocking unknown;
  5. further resolution cost > value。

96. Marginal Resolution Yield

Yρ(k)=ΔIGQ(k)ΔCost(k).\boxed{ Y_\rho(k) = \frac{ \Delta IG_Q(k) }{ \Delta\text{Cost}(k) }. }

若:

Yρ→0,Y_\rho\rightarrow0,

停止。


97. Resolution Saturation

高 pixel:

ρs↑\rho_s\uparrow

到某點,

task performance 不再改善。

CARES 就是在實作上尋找:

minimal sufficient point.\boxed{ \text{minimal sufficient point}. }

98. Resolution Ceiling

即使 input resolution 無限提高,

若 model:

CdC_d

不足,

performance 仍 plateau。

所以:

ObservationResolution\boxed{ \text{ObservationResolution} }

與:

ReasoningCapability\boxed{ \text{ReasoningCapability} }

是不同瓶頸。


99. B04 的入口

若:

QR≫QO,Q_R\gg Q_O,

高 reasoning 在低 observation resolution 上運作。

反之:

QO≫QR,Q_O\gg Q_R,

大量 evidence 被低推理能力浪費。

B04 專門研究這個不對稱。


100. Resolution Synergy

有時:

E1E_1

單獨不夠,

E2E_2

單獨也不夠,

但:

(E1,E2)(E_1,E_2)

一起可以區分 state。

例如:

  • screenshot;
  • DOM。

這是:

cross-modal synergy.\boxed{ \text{cross-modal synergy}. }

101. Synergy 不等於簡單 MI 加總

I(X;E1,E2)I(X;E_1,E_2)

可以包含:

  • redundant;
  • unique;
  • synergistic information。

本文不在此完整採用 Partial Information Decomposition,

只保留:

新 evidence 的價值可能只有在 joint context 才出現。


102. Complementarity Matrix

不同 modalities:

mi,mj.m_i,m_j.

可測:

Cij(Q)=IGQ(mj∣mi).\boxed{ C_{ij}(Q) = IG_Q(m_j\mid m_i). }

103. Role–Modality Complementarity

同一 modality 對不同 role:

Cij(r)C_{ij}^{(r)}

不同。

例如 screenshot:

  • UX 高;
  • backend 低。

104. Multi-Modal Routing 不是固定 Pipeline

不能預設:

always text + image + audio

而應:

mt∗=f(Role,Goal,Unknown,Cost).m_t^\ast = f( \text{Role}, \text{Goal}, \text{Unknown}, \text{Cost} ).

105. APR-06 已提出 Modality Activation

APR-06:

mt∈{text,vision,audio,video,state,sensor,∅}.m_t \in \{ \text{text}, \text{vision}, \text{audio}, \text{video}, \text{state}, \text{sensor}, \varnothing \}.

其中:

mt=∅m_t=\varnothing

也合法:

現在不需要更多 evidence。


106. B03 給這個決策更深語義

選:

mtm_t

的目標不是:

多模態看起來比較先進。

而是:

maximize relevant state distinguishability.\boxed{ \text{maximize relevant state distinguishability}. }

107. Modality Replacement

如果:

OstateAPIO_{\text{stateAPI}}

能直接回答:

browser URL,

不需要:

vision→OCR.\text{vision}\rightarrow \text{OCR}.

所以:

DirectState>RenderedReObservation\boxed{ \text{DirectState} > \text{RenderedReObservation} }

在成本與精度上可能更好。


108. 但 Direct State 也不是永遠優先

如果問題是:

使用者看到什麼?

DOM / state:

≠RenderedOutcome.\neq \text{RenderedOutcome}.

此時 vision 更必要。


109. Evidence Carrier Family

因此 modality 應廣義化:

M={text,code,image,video,audio,DOM,trace,metric,network,database,formal,human,sensor}.\boxed{ \mathcal M = \{ \text{text}, \text{code}, \text{image}, \text{video}, \text{audio}, \text{DOM}, \text{trace}, \text{metric}, \text{network}, \text{database}, \text{formal}, \text{human}, \text{sensor} \}. }

110. 「多模態」不是只有媒體格式

對 Agent engineering,

最重要的 modalities 可能是:

  • source;
  • runtime;
  • state;
  • world action outcome。

所以:

Modality=EvidenceCarrierFamily.\boxed{ \text{Modality} = \text{EvidenceCarrierFamily}. }

111. Semantic Resolution vs Symbol Density

一個 log:

ERR42

符號少。

如果有 canonical mapping:

ERR42 = stale authority envelope

semantic resolution 高。

所以:

TokenLength⇏SemanticResolution.\boxed{ \text{TokenLength} \nRightarrow \text{SemanticResolution}. }

112. Compression 也不一定降低 Resolution

如果 compression 移除:

  • redundant;
  • irrelevant;

保留:

  • task-relevant distinctions;

那:

DataVolume↓DataVolume\downarrow

但:

ρQ\rho_Q

可保持。

這就是 information bottleneck 的近鄰。


113. Information Bottleneck 近鄰

Information Bottleneck:

在壓縮 input 的同時保留 task-relevant information。

B03 同樣追求:

MinimumData+SufficientDistinguishability.\boxed{ \text{MinimumData} + \text{SufficientDistinguishability}. }

但 B03 對象是:

Agent observation policy,

不是單純 representation training objective。


114. Resolution-Preserving Compression

定義 compression:

C(E)=E′.C(E)=E'.

若:

DecisionQ(E)=DecisionQ(E′)Decision_Q(E)=Decision_Q(E')

對 relevant hypothesis family 成立,

則:

C\boxed{ C }

可以是:

Resolution-Preserving Compression


115. Lossy Data / Lossless Decision

對原資料:

E′≠E.E'\neq E.

但對 query:

DecisionQ(E′)=DecisionQ(E).Decision_Q(E')=Decision_Q(E).

所以:

DataLoss⇏DecisionLoss.\boxed{ \text{DataLoss} \nRightarrow \text{DecisionLoss}. }

116. 這是 AI Context Compression 的重要方向

不是:

保留所有文字。

而是:

保留會改變 future decisions 的 distinctions。


117. Resolution-Destroying Compression

如果 summary 把:

PASS on desktop
FAIL on mobile

壓成:

mostly works

則:

ρQ↓.\rho_Q\downarrow.

這是 semantic over-compression。


118. Role Translation Loss 同理

B02:

Ti→jT_{i\rightarrow j}

可能丟失 uncertainty。

B03 可理解成:

Translation→ResolutionLoss.\boxed{ \text{Translation} \rightarrow \text{ResolutionLoss}. }

119. Provenance 是 Resolution Side Information

若一個 claim:

system passed

沒有:

  • time;
  • version;
  • scope;
  • source;

ambiguity 很大。

加入 provenance:

ρsemantic/freshness↑.\rho_{semantic/freshness}\uparrow.

120. Timestamp 可以是一種解析度

沒有 timestamp:

不知道是現在還是昨天。

加入:

t.t.

即可區分:

WorldoldWorld_{old}

與:

Worldcurrent.World_{current}.

所以 metadata 也能提高 resolution。


121. Authority Metadata 同理

approved

若沒有:

by whom / for what scope,

authority ambiguity 高。

加入 delegation / scope:

ρa↑.\rho_a\uparrow.

122. Structure Metadata 同理

service X called

若無 dependency context:

ρg\rho_g

低。

加入 trace / graph:

ρg↑.\rho_g\uparrow.

123. Resolution 可以來自重新表示

有時不需要新 raw data。

同一 evidence:

EE

經更好的 representation:

R(E)R(E)

可讓 distinctions 更容易被 reasoner 使用。


124. Representation Resolution

因此還可區分:

ρobs\rho_{obs}

與:

ρrepr.\rho_{repr}.

一份 raw trace:

evidence 高,

但 representation 差。


125. Graphification

把 logs:

sequence\text{sequence}

轉成:

causal graph\text{causal graph}

可能不增加 raw evidence,

但提高:

usable structural resolution.\text{usable structural resolution}.

126. 但 Representation 不能創造 Evidence

若 raw evidence 不含:

event,\text{event},

圖也不能可靠發明。

所以:

RepresentationGain≠EvidenceCreation.\boxed{ \text{RepresentationGain} \neq \text{EvidenceCreation}. }

127. False Resolution

一種危險狀態:

output 看起來非常細。

例如:

confidence = 0.873421

但 evidence 很弱。

這是:

False Resolution


128. Numeric Precision ≠ Epistemic Resolution

0.8734210.873421

比:

0.870.87

更多小數,

不代表更多 evidence。

所以:

NumericalPrecision≠EpistemicResolution.\boxed{ \text{NumericalPrecision} \neq \text{EpistemicResolution}. }

129. Verbosity ≠ Semantic Resolution

長篇解釋:

Tokens↑Tokens\uparrow

但如果只是重述同一 premise:

ρ≈constant.\rho\approx \text{constant}.

130. More Reviewers ≠ Role Resolution

A08 已指出:

AgentCount≠IndependentEvidence.\text{AgentCount} \neq \text{IndependentEvidence}.

B03 可寫:

ReviewerCount⇏Resolution.\boxed{ \text{ReviewerCount} \nRightarrow \text{Resolution}. }

只有新的:

  • perspective;
  • evidence;
  • falsifier;

才可能提高。


131. Repeated Same Test

Run(test)Run(test)

十次:

若 deterministic 且 world unchanged,

IG≈0IG\approx0

after first run。

所以:

ρ\rho

幾乎不增。


132. Repetition 可以提高 Statistical Resolution

若 test 本身 stochastic,

多次 sample:

n↑n\uparrow

可以降低 estimation variance。

所以:

Repeat\text{Repeat}

不是永遠沒價值。

重點:

what uncertainty is being reduced?\boxed{ \text{what uncertainty is being reduced?} }

133. Statistical Resolution

可新增:

ρstat\rho_{stat}

表示:

對 stochastic rate / distribution estimation 的 resolution。


134. Resolution Vector v0.2

更完整:

ρ=(ρspace,ρtime,ρsemantic,ρcausal,ρstructural,ρrole,ρauthority,ρfreshness,ρdiscriminative,ρstatistical).\boxed{ \boldsymbol\rho = ( \rho_{space}, \rho_{time}, \rho_{semantic}, \rho_{causal}, \rho_{structural}, \rho_{role}, \rho_{authority}, \rho_{freshness}, \rho_{discriminative}, \rho_{statistical} ). }

135. 不同 Task 需要不同 Resolution Profile

例如 UI:

ρUI∗\boldsymbol\rho^\ast_{UI}

重:

  • spatial;
  • interaction;
  • semantic。

Payment:

ρpay∗\boldsymbol\rho^\ast_{pay}

重:

  • causal;
  • temporal;
  • authority;
  • structural。

136. Resolution Requirement Profile

定義:

ρ∗(Q,R)\boxed{ \boldsymbol\rho^\ast(Q,R) }

由:

  • query;
  • risk;
  • irreversibility;

共同決定。


137. Resolution Deficit

當前:

ρt.\boldsymbol\rho_t.

所需:

ρ∗.\boldsymbol\rho^\ast.

定義:

Δρ=max⁡(0,ρ∗−ρt).\boxed{ \Delta\boldsymbol\rho = \max( 0, \boldsymbol\rho^\ast-\boldsymbol\rho_t ). }

138. Resolution Routing 就是補 Deficit

Agent 不應:

全域提高解析度。

而應:

target dimensions whereΔρk>0.\boxed{ \text{target dimensions where} \Delta\rho_k>0. }

139. Resolution Debt

若系統長期在:

ρt<ρ∗\rho_t<\rho^\ast

下做 consequential decisions,

可以定義:

Resolution Debt

它會累積:

  • misdiagnosis;
  • reopen;
  • false green;
  • hidden risk。

140. Resolution Debt ≠ Context Debt

Context Debt:

缺必要知識。

Resolution Debt:

目前 observation 粗到無法區分關鍵 states。

兩者可能重疊,

但不相同。


141. Resolution Debt Example

所有 code 都在 context。

所以 ContextDebt 低。

但沒有 browser observation。

UI state 不可區分。

因此:

ResolutionDebt>0.\text{ResolutionDebt}>0.

142. Over-Resolution Debt?

高解析本身通常不是 debt,

但:

OverObservationCost.\boxed{ \text{OverObservationCost}. }

可能拖慢系統。

所以需要:

minimal sufficient。


143. Resolution–Cost Frontier

對每個 policy:

πi,\pi_i,

有:

(Costi,Resolutioni).( Cost_i, Resolution_i ).

只保留 Pareto frontier。


144. Dominated Observation Policy

若:

CostA>CostBCost_A>Cost_B

且:

ρA≤ρB,\rho_A\le\rho_B,

則 A dominated。


145. 這與 SmartVL 的 Pareto 思想同型

SmartVL joint scheduling:

accuracy-efficiency Pareto frontier。

B03 抽象成:

resolution-cost frontier.\boxed{ \text{resolution-cost frontier.} }

146. Resolution Calibration

怎麼知道:

ρ\rho

真的提高?

不能只靠 Agent 自評。

需要 benchmark:

  • hidden world states;
  • known distinctions;
  • decision outcomes。

147. State Pair Benchmark

構造:

(xa,xb)(x_a,x_b)

只在某關鍵 dimension 不同。

測 observation policy:

OO

能否區分。


148. Pairwise Distinguishability

定義:

DO(xa,xb)=1[O(xa)≠O(xb)].\boxed{ D_O(x_a,x_b) = \mathbf 1[ O(x_a)\neq O(x_b) ]. }

149. Weighted Resolution Score

給 relevant state-pairs:

PQ.P_Q.

權重:

wab.w_{ab}.

則:

RQ(O)=∑(a,b)∈PQwabDO(xa,xb)∑wab.\boxed{ R_Q(O) = \frac{ \sum_{(a,b)\in P_Q} w_{ab}D_O(x_a,x_b) }{ \sum w_{ab} }. }

這是一個可實驗版本。


150. Resolution Recall

可理解:

所有需要區分的 state pairs 中,辨出了多少。


151. Resolution Precision?

如果 observation 產生大量 false distinction:

把本來等價 state 當不同。

也會增加 noise。

所以需:

FalseDistinctionRate.\boxed{ \text{FalseDistinctionRate}. }

152. Over-Distinction

例如:

兩個合法等價 implementation:

xa≡Qxb.x_a\equiv_Qx_b.

validator 卻因 byte 不同判:

one fail。

這是:

Over-Distinction


153. Discriminative Closure 再接入

理想 validator:

Accept(W+),\text{Accept}(W^+), Reject(W−),\text{Reject}(W^-), Accept(Weq).\text{Accept}(W^{eq}).

所以解析度不是:

越多差異越好。

而是:

distinguish relevant differences, ignore legal equivalences.\boxed{ \text{distinguish relevant differences, ignore legal equivalences.} }

154. Semantic Resolution 需要合法等價

否則:

Sensitivity\boxed{ \text{Sensitivity} }

會變:

Overfitting.\boxed{ \text{Overfitting}. }

155. Resolution Quality

因此:

ResolutionQuality=RelevantDistinction−FalseDistinction.\boxed{ \text{ResolutionQuality} = \text{RelevantDistinction} - \text{FalseDistinction}. }

156. Noise 可以造成假高解析

sensor noise:

每次值都不同。

state distinctions 多,

但都是 irrelevant。

所以:

Variability≠Resolution.\boxed{ \text{Variability} \neq \text{Resolution}. }

157. Resolution vs Sensitivity

高 sensitivity:

∂O/∂x\partial O/\partial x

不代表:

對 task-relevant state 高 resolution。

可能只對 noise 敏感。


158. Robust Resolution

希望:

DistinguishRelevant+InvariantToIrrelevant.\boxed{ \text{DistinguishRelevant} + \text{InvariantToIrrelevant}. }

159. Multimodal Fusion 需要對齊

如果 image timestamp:

t1t_1

log:

t2t_2

不是同一事件,

fusion 可能創造假 contradiction。

所以:

CrossModalAlignment\boxed{ \text{CrossModalAlignment} }

是 resolution 前提。


160. Alignment Dimensions

至少:

  • time;
  • entity;
  • version;
  • scope;
  • coordinate;
  • identity。

161. Misalignment 可以降低有效解析度

資料更多,

但 correspondence 錯,

則:

EffectiveResolution↓.\boxed{ \text{EffectiveResolution}\downarrow. }

162. Evidence Synchronization Window

定義:

WτW_\tau

只有:

∣ti−tj∣≤Wτ|t_i-t_j|\le W_\tau

才能視為同一 state slice,

依 domain 而定。


163. UI + Runtime Example

screenshot:

t=10.0s.t=10.0s.

log:

t=12.0s.t=12.0s.

若 system highly dynamic,

不能直接 merge。


164. Resolution Provenance

每個 observation:

observation:
  operator:
  role:
  modality:
  scope:
  resolution:
  time:
  version:
  tool:
  provenance:

165. Resolution Claim 也要有 Provenance

不能只說:

high-resolution evidence

要知道:

high in which dimension?


166. Resolution Profile Receipt

resolution:
  query: duplicate_payment
  spatial: low
  temporal: high
  semantic: high
  causal: high
  structural: medium
  authority: medium
  freshness: high
  discriminative: high

167. Resolution Unknown

若某 dimension 沒測:

UNKNOWN.UNKNOWN.

不要:

0.0.

因為:

未知解析度

與:

已知低解析度

不同。


168. Unknown Resolution 是 Meta-Uncertainty

U(ρk)>0.U(\rho_k)>0.

可以觸發:

calibration。


169. Role-specific Resolution Receipt

role: UX
resolution:
  visual: high
  interaction: medium
  causal_backend: low

170. Cross-Role Resolution Composition

多 roles:

r1,…,rn.r_1,\ldots,r_n.

joint resolution:

ρjoint\rho_{joint}

不等於:

∑iρi.\sum_i\rho_i.

因為有:

  • redundancy;
  • conflict;
  • complementarity。

171. Joint Partition

若每個 role 形成 partition:

Πi,\Pi_i,

joint observation:

Πjoint=⋀iΠi\boxed{ \Pi_{joint} = \bigwedge_i\Pi_i }

即共同 refinement。


172. Joint Equivalence Class

[x]joint=⋂i[x]i.[x]_{joint} = \bigcap_i[x]_i.

這是 B03 最簡潔的多視角數學。


173. 新 Role 的價值

新增:

On+1O_{n+1}

若:

[x]joint,n+1=[x]joint,n,[x]_{joint,n+1} = [x]_{joint,n},

那它對此 query 沒提升 resolution。


174. Role Complementarity 可被 Resolution 直接定義

Comp(rn+1)=Ambiguity(Πn)−Ambiguity(Πn+1).\boxed{ \text{Comp}(r_{n+1}) = \text{Ambiguity}(\Pi_n) - \text{Ambiguity}(\Pi_{n+1}). }

175. 這比「角色名稱不同」更實在

如果 security role 沒有切出任何新 relevant state distinctions,

就:

NoMarginalResolutionGain.\boxed{ \text{NoMarginalResolutionGain}. }

176. Resolution 與 Independent Evidence

A08:

IndependentEvidence>IndependentLabels.\text{IndependentEvidence} > \text{IndependentLabels}.

B03:

independence 的一個價值,就是它可能產生新的 partition refinement。


177. 但 Independent 不等於 Complementary

兩個獨立 sensors 都量同一 thing:

redundant.\text{redundant}.

可以提高 statistical confidence,

但不增加 semantic state dimensions。


178. Redundancy 有時仍有價值

例如高風險:

sensor1,sensor2sensor_1, sensor_2

獨立量同一 state。

雖然 semantic resolution 不增,

可靠性提高。

所以:

ResolutionGain≠ReliabilityGain.\boxed{ \text{ResolutionGain} \neq \text{ReliabilityGain}. }

179. Multimodal Value 有至少四種

新 modality 可以提供:

  1. resolution;
  2. confidence;
  3. robustness;
  4. provenance / falsification。

不能全部壓成一個 score。


180. Resolution 不等於 Confidence

你可以:

Confidence=0.99\text{Confidence}=0.99

但只知道:

A 或 B。

resolution 仍低。

反之:

能精確區分 A/B/C,

但 evidence noisy,

confidence 低。


181. Resolution × Confidence Matrix

Low Confidence High Confidence
Low Resolution vague uncertainty confidently coarse
High Resolution detailed but uncertain detailed and reliable

這兩軸必須分開。


182. Resolution 不等於 Accuracy

高 resolution sensor:

精細但偏移。

仍 inaccurate。

所以:

Resolution≠Accuracy≠Confidence.\boxed{ \text{Resolution} \neq \text{Accuracy} \neq \text{Confidence}. }

183. Calibration Dimension

因此 observation quality 至少:

QO=(Resolution,Accuracy,ConfidenceCalibration,Freshness,Coverage).Q_O = ( \text{Resolution}, \text{Accuracy}, \text{ConfidenceCalibration}, \text{Freshness}, \text{Coverage} ).

184. B04 將使用這個 distinction

Reasoner 收到:

QOQ_O

而不是一個抽象:

evidence quality。


185. Resolution 不等於 Coverage

Coverage 問:

看了多少 domain?

Resolution 問:

每個 domain 看多細?

所以:

Coverage≠Resolution.\boxed{ \text{Coverage} \neq \text{Resolution}. }

186. Global Skeleton = High Coverage / Low Resolution

B01 的 Global Skeleton:

  • coverage 高;
  • detail 低。

這完全合法。


187. Local Materialization = Local High Resolution

對 hotspot:

ρ↑.\rho\uparrow.

所以:

GlobalSkeleton+LocalHighResolution\boxed{ \text{GlobalSkeleton} + \text{LocalHighResolution} }

是低成本全域認知。


188. Uniform Medium Resolution 可能反而差

如果 budget 固定:

B,B,

把每個 domain 都看一點,

可能沒有任何 domain 達到 decision threshold。

Sparse allocation:

關鍵域看深,其餘保持 coarse。

可能更好。


189. Resolution Allocation 是 Knapsack-like Problem

每個 observation option:

aia_i

有:

  • cost;
  • expected IG;
  • risk coverage。

在 budget 下選。

不一定需要求精確 NP optimization;

runtime 可用 heuristic / learned router。


190. Learned Resolution Policy

可學:

πθ(a∣St).\pi_\theta(a\mid S_t).

輸入:

  • task;
  • current belief;
  • uncertainty;
  • risk;
  • budget。

191. Rule-Based Resolution Policy

第一版甚至可以:

UI change → screenshot
runtime anomaly → trace
authority change → policy/receipt
high risk → fresh post-action observation

不用先做 learned router。


192. Hybrid Policy

DeterministicTriggers+LearnedAllocation.\boxed{ \text{DeterministicTriggers} + \text{LearnedAllocation}. }

高風險 mandatory evidence 用 deterministic。

其餘 adaptive。


193. Resolution Governance 不等於 AI Guessing

每個 resolution escalation:

Reason.\text{Reason}.

可留下 receipt。


194. Resolution Decision Receipt

resolution_action:
  query: mobile_ui
  current_gap:
    visual: high
  action:
    acquire_screenshot
  scope:
    viewport: 390x844
  expected_gain:
    distinguish_occluded_vs_visible
  cost:
    low

195. Post-Observation Audit

取得 evidence 後,

比較:

ExpectedIG\text{ExpectedIG}

與:

RealizedIG.\text{RealizedIG}.

這可訓練 router。


196. Realized Information Gain

RIG(e)=AmbiguityBefore−AmbiguityAfter.\boxed{ \text{RIG}(e) = \text{AmbiguityBefore} - \text{AmbiguityAfter}. }

197. Resolution Waste

若:

RIG≈0,\text{RIG}\approx0,

成本高:

C≫0,C\gg0,

則:

Resolution Waste


198. Waste Analytics

統計:

  • 哪些 screenshots 常沒用;
  • 哪些 full-repo scans 冗餘;
  • 哪些 reviewer 沒新 distinction。

可降低 future cost。


199. Resolution Discovery

有時 Agent 不知道:

哪種 evidence 能區分 hypothesis。

可以採取 exploratory observation。


200. Experimental Resolution

例如:

H1,H2.H_1,H_2.

設計 action:

a∗a^\ast

使:

P(E∣H1,a)P(E\mid H_1,a)

與:

P(E∣H2,a)P(E\mid H_2,a)

差異最大。

這就是 active experiment design 的近鄰。


201. Resolution / Causal Intervention

如果 passive observation 無法區分:

H1,H2,H_1,H_2,

intervention:

do(a)do(a)

可以提高 causal resolution。


202. Software Fault Injection

例如:

cache 是不是 hidden dependency?

disable cache。

如果 system fail:

causal evidence.\text{causal evidence}.

比再讀 code 更高 resolution。


203. Discriminative Observation

所以:

ObserveBadState\boxed{ \text{ObserveBadState} }

有時比:

ObserveMoreNormalState\text{ObserveMoreNormalState}

資訊量高。


204. Counterexample as High-Resolution Evidence

一個精準 counterexample:

e−.e^-.

可以直接排除大量 hypothesis。

所以:

Counterexample\boxed{ \text{Counterexample} }

常有極高:

IG/Cost.IG/Cost.

205. Resolution 與 Scientific Method

科學實驗本質之一:

設計 observation / intervention 以區分 competing hypotheses。

B03 在 Agent engineering 中重新使用這個結構。


206. Agent Debugging 也應變成 Hypothesis Discrimination

不是:

more logs

而是:

H1 vs H2
→ what observation separates them?

207. Hypothesis Set

Ht={H1,…,Hn}.\mathcal H_t = \{H_1,\ldots,H_n\}.

resolution action:

aa

應最大化:

PartitionRefinement(Ht).PartitionRefinement(\mathcal H_t).

208. Hypothesis Resolution

可以直接:

ρH=H(Hprior)−H(Hposterior).\boxed{ \rho_H = H(\mathcal H_{prior}) - H(\mathcal H_{posterior}). }

209. Macro-State Resolution 與 Hypothesis Resolution

兩者相關但不同:

  • state resolution:世界是什麼;
  • hypothesis resolution:原因是哪個。

210. Diagnostic Agent 常需要後者

故障 diagnosis:

H1,H2,H3.H_1,H_2,H_3.

選 observation:

最能拆 hypothesis。


211. UI Example

Hypotheses:

  • CSS z-index;
  • stale state;
  • responsive breakpoint。

Observation:

  • computed style;
  • fresh screenshot;
  • viewport change。

每個 evidence 切不同 hypothesis。


212. Resolution Planning

可以建立:

hypotheses:
  - H1
  - H2
  - H3

candidate_observations:
  computed_style:
    separates: [H1]
  viewport_replay:
    separates: [H3]
  fresh_state:
    separates: [H2]

213. Resolution Graph

node:

  • hypothesis / world state;

edge:

尚不可區分。

observation:

刪除 edge。

這是一個很直觀的計算表示。


214. Resolution Closure

當 relevant graph:

DecisionAmbiguity=0\boxed{ DecisionAmbiguity=0 }

即可 stop。


215. 不要追求 Ontological Closure

我們不需要:

整個世界全解開。

只需要:

DecisionClosure.\boxed{ \text{DecisionClosure}. }

這是 Series B 最重要的成本控制原則。


216. Decision Closure 仍需 Scope

DecisionClosed(Q,S,t).DecisionClosed(Q,S,t).

換 query:

Q′Q'

可能重新打開 observation need。


217. Resolution Is Dynamic

今日:

ρt\rho_t

足夠。

明日 world change:

Xt+1X_{t+1}

舊 evidence stale。

所以:

Resolution\boxed{ \text{Resolution} }

也有 lifecycle。


218. Continuous Resolution Maintenance

APR:

ContinuousPerception=BeliefMaintenance.\text{ContinuousPerception} = \text{BeliefMaintenance}.

B03:

ContinuousObservation=ResolutionMaintenance.\boxed{ \text{ContinuousObservation} = \text{ResolutionMaintenance}. }

219. Event-Driven Re-Resolution

不需 continuous full sensor。

事件:

  • deploy;
  • incident;
  • user complaint;
  • schema change;

觸發:

Reobserve.\text{Reobserve}.

220. Resolution Cache

已取得 evidence:

Ev.E_v.

若 world version 未變,

可 reuse。


221. Cache Invalidation

若:

Affected(Ev,ΔX)=1,Affected(E_v,\Delta X)=1,

則:

Invalidate.\text{Invalidate}.

避免 stale high-confidence low-freshness evidence。


222. Resolution Memory

保存:

claim:
  required_resolution:
  evidence:
  satisfied_dimensions:
  stale_conditions:

223. Resolution Ledger

可和 closure ledger 串接:

claim:
  status: PARTIAL
  resolution_gap:
    causal: open
    freshness: open

224. B03 的工程架構

Macro Belief
↓
Query
↓
Ambiguity Set / Hypotheses
↓
Required Resolution Profile
↓
Current Resolution Profile
↓
Resolution Deficit
↓
Role / Modality / Tool Candidates
↓
Expected Information Gain / Cost
↓
Observation Action
↓
Evidence + Provenance
↓
Belief Revision
↓
Resolution Recompute
↓
STOP / REOBSERVE / SWITCH

225. Resolution Controller API

概念:

{
  "query": "...",
  "current_belief": "...",
  "unknowns": ["..."],
  "risk": "medium",
  "budget": {
    "tokens": 12000,
    "latency_ms": 5000
  }
}

輸出:

{
  "next_observation": "browser_interaction_replay",
  "target_dimension": ["temporal", "visual"],
  "scope": "checkout modal",
  "expected_information_gain": "high"
}

226. Resolution 不是單純 Sensor Setting

它可以決定:

  • role;
  • tool;
  • experiment;
  • evidence source;
  • representation;
  • sampling。

所以 Resolution Controller 是:

EpistemicResourceAllocator.\boxed{ \text{EpistemicResourceAllocator}. }

227. 與 APR 的完整映射

APR action:

at=(mt,rt,Ωt,ρt,νt,dt,ht,qt,pt).a_t = ( m_t, r_t, \Omega_t, \rho_t, \nu_t, d_t, h_t, q_t, p_t ).

B03 將:

ρt\rho_t

從「輸入解析度」擴張成:

macro-state distinguishability target。


228. APR 的 mtm_t

modality。

B03:

這個 modality 能切哪些 ambiguity?


229. APR 的 Ωt\Omega_t

觀察範圍。

B03:

哪一個 subspace 需要 refinement?


230. APR 的 ρt\rho_t

原始 resolution。

B03:

resolution 對哪一 decision dimension 有效?


231. APR 的 νt\nu_t

sampling rate。

B03:

temporal distinguishability 需要多密?


232. APR 的 dtd_t

reasoning depth。

B03:

evidence 夠了嗎,還是應把 compute 給 reasoning?

這進入 B04。


233. APR 的 qtq_t

reobservation。

B03:

stale / unresolved ambiguity 是否值得重看?


234. APR 的 ptp_t

epistemic action。

B03:

是否要主動改變 observation condition?


235. B03 對 APR 的增量

APR 已說:

動態感知資源分配。

B03 加:

allocation objective=relevant ambiguity reduction.\boxed{ \text{allocation objective} = \text{relevant ambiguity reduction}. }

236. 全域感知的真正公式

不是:

max⁡Data.\max \text{Data}.

而是:

max⁡RelevantDistinguishabilityCost\boxed{ \max \frac{ \text{RelevantDistinguishability} }{ \text{Cost} } }

subject to risk。


237. Resolution 與 Globality

B01:

Globality=MacroObjectAwareness+ProjectionAwareness.\text{Globality} = \text{MacroObjectAwareness} + \text{ProjectionAwareness}.

B02 加:

OperatorAwareness.\text{OperatorAwareness}.

B03 加:

ResolutionAwareness.\boxed{ \text{ResolutionAwareness}. }

238. Series B Globality v0.3

Globality=MacroObjectAwareness+OperatorAwareness+ResolutionControl.\boxed{ \text{Globality} = \text{MacroObjectAwareness} + \text{OperatorAwareness} + \text{ResolutionControl}. }

239. 真正全域不是「看最多」

真正全域:

知道什麼地方現在看得不夠清楚。

所以:

Globality=KnowledgeOfWhereResolutionIsInsufficient.\boxed{ \text{Globality} = \text{KnowledgeOfWhereResolutionIsInsufficient}. }

至少是重要部分。


240. Resolution Self-Awareness

Agent 應能說:

I know the code-level state.
I do not know the rendered mobile state.
The current claim is user-visible.
Therefore my current resolution is insufficient.

這比:

我很有信心。

更重要。


241. Resolution Uncertainty

Agent 也可能不知道:

自己到底看得夠不夠。

所以:

Uρ.U_\rho.

高:

UρU_\rho

時可:

  • calibrate;
  • ask another role;
  • acquire cheap probe。

242. Calibration Probe

低成本 evidence:

epe_p

用來判:

需不需要更高解析。

CARES 的 selector:

就具有類似 gate 作用。


243. Two-Stage Observation

cheap probe
→ decide resolution
→ expensive observation only if needed

這是 scalable pattern。


244. Hierarchical Resolution

coarse→medium→fine.\text{coarse} \rightarrow \text{medium} \rightarrow \text{fine}.

只有在 ambiguity persists 時升級。


245. Coarse-to-Fine

對 screenshot:

  • whole page;
  • component;
  • crop;
  • pixel。

對 logs:

  • incident summary;
  • service;
  • request;
  • event。

246. Fine-to-Coarse 也存在

有時 local evidence 需要重新拉回 macro view:

這個 bug 是否只是 symptom?

所以:

ResolutionNavigation\boxed{ \text{ResolutionNavigation} }

是雙向。


247. Zoom Out 是認知行動

如果過度局部:

ρmicro↑\rho_{\text{micro}}\uparrow

但:

MacroContext↓,\text{MacroContext}\downarrow,

需要:

ZoomOut.\text{ZoomOut}.

248. Zoom In / Zoom Out

全域 Agent:

Macro↔Meso↔Micro.\boxed{ \text{Macro} \leftrightarrow \text{Meso} \leftrightarrow \text{Micro}. }

這不只是 spatial zoom,

也是:

  • causal;
  • semantic;
  • structural zoom。

249. Causal Zoom

symptom
→ pattern
→ architecture
→ substrate

就是 causal / structural zoom out。


250. Semantic Zoom

system broken
→ payment inconsistent
→ duplicate charge
→ missing idempotency key

是 semantic refinement。


251. Role Zoom

general engineering
→ backend
→ transaction semantics

是 role resolution refinement。


252. Multi-Dimensional Zoom

一個 observation action 可以同時:

Δρt>0,Δρc>0.\Delta\rho_t>0, \Delta\rho_c>0.

例如 distributed trace。


253. Resolution Path

對 task:

Q,Q,

可保存:

ρ0→ρ1→⋯→ρn.\rho_0 \rightarrow \rho_1 \rightarrow \cdots \rightarrow \rho_n.

用來研究:

哪些 escalation 最有效。


254. Resolution Thrashing

如果:

zoom in
zoom out
switch modality
zoom in

但 ambiguity 不減,

形成:

Resolution Thrashing


255. Thrashing Detector

若:

Nresolution actions↑N_{\text{resolution actions}}\uparrow

但:

RIG≈0,\text{RIG}\approx0,

應:

  • reframe hypothesis;
  • switch role;
  • escalate to human / external evidence。

256. Resolution Lock

反過來:

ρt=constant\rho_t=\text{constant}

即使 ambiguity persist,

形成:

Resolution Lock


257. Typical Resolution Lock

unit tests
→ unit tests
→ unit tests

問題其實在 UI。


258. Modality Lock

永遠:

text/code.\text{text/code}.

即使:

vision\text{vision}

必要。


259. Scale Lock

永遠 micro。

即使:

architecture\text{architecture}

問題。


260. Freshness Lock

一直讀:

old evidence.\text{old evidence}.

261. Resolution Governance 失敗分類

R-F1 — Data-Volume Fallacy

more data = more resolution。

R-F2 — Pixel Fallacy

more pixels = better task evidence。

R-F3 — Modality Accumulation

all modalities always on。

R-F4 — Redundant Fusion

大量相同 evidence。

R-F5 — Stale Precision

很細但過期。

R-F6 — Causal Blindness

很多 observation 沒因果。

R-F7 — False Precision

小數很多、evidence 少。

R-F8 — Resolution Lock

不提高必要 dimension。

R-F9 — Resolution Thrash

一直切換但 ambiguity 不減。

R-F10 — Over-Distinction

把合法等價 state 拆成錯誤差異。


262. 可否證條件一

如果:

AmbiguityReduction\text{AmbiguityReduction}

無法比 raw token / pixel metrics 更好預測 task outcome,

本文 general resolution framing 的工程價值需縮小。


263. 可否證條件二

如果 dynamic resolution routing:

Cost↑\text{Cost}\uparrow

且:

Performance\text{Performance}

不改善,

則 router 不值得。


264. 可否證條件三

如果 uniform maximum processing 在大多實務 task 都成本可接受且穩定最優,

minimum-sufficient policy 的重要性會下降。

目前 2025–2026 研究反而提供了多個 adaptive allocation 方向的證據。


265. 可否證條件四

如果新增 modality 通常不增加:

IQ(X;Enew∣Eold),I_Q(X;E_{new}\mid E_{old}),

那 multimodal complementarity 對該 domain 的價值有限。


266. 實驗 H1:Resolution vs Data Volume

控制:

bytes/tokens.\text{bytes/tokens}.

比較:

  • random extra data;
  • query-targeted evidence。

預測:

TaskSuccess\text{TaskSuccess}

更相關於:

RelevantIG\text{RelevantIG}

而非 raw volume。


267. H2:Dynamic vs Uniform Resolution

Costdynamic<CostuniformCost_{dynamic}<Cost_{uniform}

且:

Performancedynamic≈Performanceuniform.Performance_{dynamic} \approx Performance_{uniform}.

CARES 已在 image-resolution domain 提供直接近鄰實證。


268. H3:Multimodal Complementarity

對 visual software tasks:

code+vision>code-onlycode+vision > \text{code-only}

在 defect detection 上成立,

尤其當 defect pair 在 code projection 不可區分時。


269. H4:Resolution Deficit Predicts Expert Surprise

若:

ΔρQ\Delta\rho_Q

大,

更容易出現:

frontier model 犯低階錯誤。


270. H5:Resolution-Aware Stop 降低成本

使用:

DecisionStable(A)DecisionStable(\mathcal A)

作 stop,

相比固定 rounds,

應降低:

  • token;
  • tool calls;
  • latency;

而不增加 critical error。


271. H6:Resolution Routing 優於 Always-On Multimodal

在固定 budget:

B,B,

task-aware selection 應優於:

uniform modality processing.\text{uniform modality processing}.

Selective Perception、Tempo、SmartVL 均提供相近外部方向。


272. Benchmark:Hidden-State Pair Suite

構造 state pairs:

same code / different render
same UI / different backend
same logs / different authority
same final state / different history
same output / hidden dependency

看 observation policy 是否能區分。


273. Pair Suite 的價值

比:

一般 QA accuracy

更直接測:

StateDistinguishability.\boxed{ \text{StateDistinguishability}. }

274. Query-Specific Pair Suite

每 pair 都綁:

Q.Q.

避免:

測無關差異。


275. Cost-Aware Score

Score=WeightedRelevantPairsDistinguishedToken+Compute+Latency+IO.\boxed{ \text{Score} = \frac{ \text{WeightedRelevantPairsDistinguished} }{ Token+Compute+Latency+IO }. }

276. Risk-Weighted Score

高風險 pair:

wab↑.w_{ab}\uparrow.

例如:

  • duplicate payment;
  • privilege escalation。

277. Resolution Benchmark 不是 Multimodal Benchmark 的替代

它是:

上位 evaluation dimension。

可以套到:

  • multimodal;
  • code agent;
  • robot;
  • scientific agent。

278. 科學 Agent Example

Hypothesis:

H1,H2.H_1,H_2.

新 experiment:

e.e.

若:

P(e∣H1)P(e\mid H_1)

與:

P(e∣H2)P(e\mid H_2)

差異大,

experiment resolution 高。


279. Robot Example

多 cameras:

不全開。

只選:

對當前 manipulation goal 最能區分 state 的 view。


280. Web Agent Example

問題:

button 沒作用。

可選:

  • screenshot;
  • DOM;
  • JS console;
  • network;
  • accessibility tree。

不是:

全部一次讀完。


281. Game Agent Example

NPC 行為異常。

可選:

  • AI state tree;
  • replay;
  • world state;
  • navmesh;
  • player observation。

282. Math Agent Example

數學也可以有「觀察解析度」

例如:

  • numerical samples;
  • symbolic identity;
  • counterexample search;
  • proof assistant state。

它們不是物理模態,

但都能區分:

HypothesisStates.\text{HypothesisStates}.

283. Formal Verification 是高判定解析度但窄 Scope

對 property:

P,P,

proof checker resolution 非常高。

但對:

Q≠P,Q\neq P,

可能沒任何資訊。

所以:

FormalStrength\boxed{ \text{FormalStrength} }

也仍然:

scope-relative.\text{scope-relative}.

284. Human Observation 的 Resolution

人類 expert:

  • 可高 semantic;
  • 可高 contextual;
  • 但低 reproducibility。

所以需要 provenance / independent evidence。


285. AI Observation 的 Resolution

AI:

  • 可快速跨資料;
  • 但受 tool / context / modality activation。

所以:

ObserverType\boxed{ \text{ObserverType} }

只是 resolution profile 的一個因素。


286. Resolution Portfolio

高風險 task 可以組:

deterministic+runtime+human+multimodal\boxed{ \text{deterministic} + \text{runtime} + \text{human} + \text{multimodal} }

不是因為「多」,

而是互補 dimensions。


287. Optimal Portfolio

選:

E∗\mathcal E^\ast

使:

DecisionStable\text{DecisionStable}

且:

Cost\text{Cost}

最低。


288. B03 的核心 Runtime 定義

對 macro belief:

X^t,\hat X_t,

query:

Qt,Q_t,

current evidence:

Et,E_t,

定義 current ambiguity:

At.\mathcal A_t.

Resolution Controller 選:

atρa_t^\rho

以:

max⁡E[Ambiguity(At)−Ambiguity(At+1)]−λCost(atρ)\boxed{ \max \mathbb E[ Ambiguity(\mathcal A_t) - Ambiguity(\mathcal A_{t+1}) ] - \lambda Cost(a_t^\rho) }

subject to:

RiskCoverage.\text{RiskCoverage}.

289. 如果不用概率

也可以用 partition refinement:

選:

aa

使:

Πt+1\Pi_{t+1}

最大程度 refine:

Πt.\Pi_t.

290. 如果不用完整 state space

實務上用:

HypothesisSet.\text{HypothesisSet}.

就足夠。

所以 B03 可以從:

  • exact formal;
  • probabilistic;
  • heuristic;

三層落地。


291. Exact Layer

已知 finite states:

ΠO.\Pi_O.

292. Probabilistic Layer

posterior:

P(X∣E).P(X\mid E).

293. Heuristic Layer

只記:

unknowns
candidate hypotheses
evidence gaps

計算 expected value。


294. 三層都屬同一方法論

核心:

reduce relevant indistinguishability.\boxed{ \text{reduce relevant indistinguishability}. }

295. 解析度並不是世界本身的屬性

這句很重要。

Resolution\boxed{ \text{Resolution} }

是:

Observer+Operator+Task+Evidence\boxed{ \text{Observer} + \text{Operator} + \text{Task} + \text{Evidence} }

的關係屬性。


296. 同一世界對不同 Observer 有不同 Resolution

ρexpert≠ρnovice.\rho_{expert} \neq \rho_{novice}.

因為同一 evidence:

專家能分出更多 relevant states。


297. 所以 Model Capability 也影響 Effective Resolution

即使 observation raw fidelity 相同,

reasoner 不能解讀:

⇒usable resolution↓.\Rightarrow \text{usable resolution}\downarrow.

這就是 B04 的橋。


298. Raw Resolution / Usable Resolution

分:

ρraw,\rho_{raw}, ρusable.\rho_{usable}.

如果:

ρraw≫ρusable,\rho_{raw}\gg\rho_{usable},

表示 evidence 很豐富但 cognition 沒吃到。


299. B04 問題正式形成

ReasoningResolution≠ObservationResolution.\boxed{ \text{ReasoningResolution} \neq \text{ObservationResolution}. }

若不匹配,

資源 allocation 失衡。


300. Series B 至此的鏈條

B01:

MacroObject≠Projection.\text{MacroObject} \neq \text{Projection}.

B02:

Role→ObservationOperator.\text{Role} \rightarrow \text{ObservationOperator}.

B03:

ObservationResolution=RelevantStateDistinguishability.\boxed{ \text{ObservationResolution} = \text{RelevantStateDistinguishability}. }

下一篇 B04:

HighReasoning⇏HighObservation.\boxed{ \text{HighReasoning} \nRightarrow \text{HighObservation}. }

301. B03 核心命題

本文 v0.2 收束為三十條。

P1 — Data Volume Non-Resolution

DataVolume≠ObservationResolution.\boxed{ \text{DataVolume} \neq \text{ObservationResolution}. }

P2 — Physical / Epistemic Resolution Separation

PhysicalResolution≠EpistemicResolution.\boxed{ \text{PhysicalResolution} \neq \text{EpistemicResolution}. }

P3 — Observational Equivalence

x∼O,Qx′\boxed{ x\sim_{O,Q}x' }

表示對 observation / query 不可區分。

P4 — Partition Resolution

ResolutionIncrease=RelevantPartitionRefinement.\boxed{ \text{ResolutionIncrease} = \text{RelevantPartitionRefinement}. }

P5 — Ambiguity Reduction

At+1⊊At\boxed{ \mathcal A_{t+1} \subsetneq \mathcal A_t }

是解析度提高的基本形式之一。

P6 — Query Relative Resolution

ρ=ρ(O,Q).\boxed{ \rho=\rho(O,Q). }

P7 — Resolution Vector

ρ\boxed{ \boldsymbol\rho }

一般為多維而非單一純量。

P8 — Role Anisotropy

Role\boxed{ \text{Role} }

通常具有非均勻 resolution profile。

P9 — Complementary Multimodality

IQ(X;E2∣E1)>0\boxed{ I_Q(X;E_2\mid E_1)>0 }

時,新 modality 才真正提供額外 task-relevant information。

P10 — Redundancy

MoreModalities⇏MoreResolution.\boxed{ \text{MoreModalities} \nRightarrow \text{MoreResolution}. }

P11 — Conflict as Signal

CrossModalConflict\boxed{ \text{CrossModalConflict} }

可以是高價值 anomaly evidence。

P12 — Coverage / Resolution Separation

Coverage≠Resolution.\boxed{ \text{Coverage} \neq \text{Resolution}. }

P13 — Resolution / Confidence Separation

Resolution≠Confidence.\boxed{ \text{Resolution} \neq \text{Confidence}. }

P14 — Resolution / Accuracy Separation

Resolution≠Accuracy.\boxed{ \text{Resolution} \neq \text{Accuracy}. }

P15 — Resolution / Reliability Separation

ResolutionGain≠ReliabilityGain.\boxed{ \text{ResolutionGain} \neq \text{ReliabilityGain}. }

P16 — Active Resolution Control

CanPerceive≠CanControlResolution.\boxed{ \text{CanPerceive} \neq \text{CanControlResolution}. }

P17 — Minimum Sufficient Resolution

min⁡Costs.t.DecisionStable.\boxed{ \min \text{Cost} \quad \text{s.t.} \quad \text{DecisionStable}. }

P18 — Uniform Maximum Non-Necessity

UniformMaximumObservation\boxed{ \text{UniformMaximumObservation} }

不是成熟 Agent 的必要形式。

P19 — Sparse Resolution Allocation

GlobalAwareness+SparseHighResolution\boxed{ \text{GlobalAwareness} + \text{SparseHighResolution} }

是 scalable global observation pattern。

P20 — Resolution Deficit

Δρ=max⁡(0,ρ∗−ρt).\boxed{ \Delta\boldsymbol\rho = \max(0,\boldsymbol\rho^\ast-\boldsymbol\rho_t). }

P21 — Resolution Routing

觀察資源應優先補:

Δρk>0\Delta\rho_k>0

的維度。

P22 — Provenance Raises Resolution

time / version / source / authority metadata 可減少 ambiguity。

P23 — Compression Non-Loss

DataCompression⇏DecisionResolutionLoss.\boxed{ \text{DataCompression} \nRightarrow \text{DecisionResolutionLoss}. }

若 task distinctions 被保留。

P24 — False Resolution

NumericalPrecision≠EpistemicResolution.\boxed{ \text{NumericalPrecision} \neq \text{EpistemicResolution}. }

P25 — Relevant Distinction

理想 resolution:

DistinguishRelevant+IgnoreLegalEquivalent.\boxed{ \text{DistinguishRelevant} + \text{IgnoreLegalEquivalent}. }

P26 — Epistemic Action

Action\boxed{ \text{Action} }

可以用來改變 observation condition、提高 resolution。

P27 — Decision-Sufficient Observability

不必唯一恢復 world state;

只需:

all remaining compatible states support the same current decision.\boxed{ \text{all remaining compatible states support the same current decision.} }

P28 — Resolution Lifecycle

Resolution\boxed{ \text{Resolution} }

需要隨 world change、freshness 與 task 重新維護。

P29 — APR Objective

B03 對 APR 的增量:

PerceptualAllocation→RelevantAmbiguityReduction.\boxed{ \text{PerceptualAllocation} \rightarrow \text{RelevantAmbiguityReduction}. }

P30 — Series B Resolution Principle

 Multimodality is valuable when it separates world states that the current observation cannot distinguish—not merely when it adds more input. \boxed{ \textbf{ Multimodality is valuable when it separates world states that the current observation cannot distinguish—not merely when it adds more input. } }

302. 結論

多模態智能最容易被誤解的一句話是:

資料越多,AI 看得越清楚。

真實情況更接近:

看得清楚=能區分對當前任務真正重要的世界差異.\boxed{ \text{看得清楚} = \text{能區分對當前任務真正重要的世界差異}. }

如果:

  • 100 張圖都在重複同一畫面;
  • 1M tokens 都描述同一錯誤 assumption;
  • 20 個 reviewer 都讀同一 fixture;
  • 8K screenshot 沒有 causal trace;
  • 全部 sensor 都在觀察 task-irrelevant background;

那麼:

Input↑\text{Input}\uparrow

可以同時:

Resolution≈constant.\text{Resolution}\approx \text{constant}.

甚至有效 performance 下降。

反過來,

一個非常小的 observation:

idempotency_key = null

可能一次排除大量 hypothesis。

因此:

Bytes\boxed{ \text{Bytes} }

不是解析度。

Tokens\boxed{ \text{Tokens} }

不是解析度。

Pixels\boxed{ \text{Pixels} }

不是解析度。

它們只是可能承載 resolution 的資源。

真正的 Resolution Theory 問:

目前哪些世界狀態還混在一起?

哪一個 observation 能把它們拆開?

拆開到什麼程度,就足以讓當前 decision 不再受剩餘不確定性影響?

這也重新定義了多模態。

多模態不是:

Text+Image+Audio+Video+⋯\boxed{ \text{Text}+\text{Image}+Audio+Video+\cdots }

的資料堆積。

而是:

一組可以從不同方向切分世界狀態的觀察算子族.\boxed{ \text{一組可以從不同方向切分世界狀態的觀察算子族}. }

不同 modality 的價值在於:

Oi(xa)=Oi(xb)\boxed{ O_i(x_a)=O_i(x_b) }

時,

新的:

OjO_j

能否讓:

Oj(xa)≠Oj(xb).\boxed{ O_j(x_a)\neq O_j(x_b). }

如果可以,

我們不是「多看了一點」。

而是:

世界第一次變得可區分了。

因此 Series B 的第三條總原則是:

 Do not maximize observation volume. Minimize the ambiguity that still matters to the decision. \boxed{ \textbf{ Do not maximize observation volume. Minimize the ambiguity that still matters to the decision. } }

中文即:

不要最大化觀察資料量;要最小化那些仍會改變當前決策的世界歧義。

B04 將從這裡接著處理最尖銳的一個問題:

如果推理能力已經很高,但 Agent 所取得的世界解析度仍然很低,會發生什麼?


參考文獻

A. 外部研究

  1. Kimhi, M., Shabtay, N., Giryes, R., Baskin, C., & Schwartz, E. (2026). CARES: Context-Aware Resolution Selector for VLMs. Proceedings of ACL 2026, 2243–2256. DOI: 10.18653/v1/2026.acl-long.102.
    https://aclanthology.org/2026.acl-long.102/
    對 image–query pair 預測 minimal sufficient input resolution;在五個多模態 benchmark 與多個 target VLM 上,在保持 task performance 的同時報告最高約 80% compute reduction。本文用其作「解析度應由 query / content 決定,而非固定 maximum」的直接外部近鄰。

  2. Son, Y.-C., Lee, J.-W., Choi, Y.-J., Ko, D.-K., & Lim, S.-C. (2026). Selective Perception for Robot: Task-Aware Attention in Multimodal VLA. arXiv:2602.15543.
    多 camera VLA 中使用 task-aware adaptive routing,指出 static uniform processing 會造成不必要 compute 並使 task-irrelevant background 成為 noise。本文將其作為 view-level selective resolution allocation 的近鄰。

  3. Wang, Z., Chen, C., Luo, F., Dong, Y., Zhang, Y., Xu, Y., Wang, X., Li, P., & Liu, Y. (2025). ActiView: Evaluating Active Perception Ability for Multimodal Large Language Models. ACL 2025, 7605–7633. DOI: 10.18653/v1/2025.acl-long.376.
    https://aclanthology.org/2025.acl-long.376/
    在限制 perceptual field 的條件下要求模型主動 zoom / shift,明確把 active perceptual control 作為獨立能力評估。

  4. Fei, J., Chen, J., Liu, Z., Xiong, Y., Zhou, C., Wen, W., et al. (2026). Small Vision-Language Models are Smart Compressors for Long Video Understanding (Tempo). arXiv:2604.08120 / ECCV 2026.
    Query-aware Adaptive Token Allocation 對 query-critical temporal segments 提高 token density、壓縮冗餘背景。本文用其作 temporal resolution routing 的外部近鄰。

  5. Wang, P., Wang, Z., Lee, J., Xu, Z., Xu, R., Bagchi, S., Li, Y., & Chaterji, S. (2026). Look Less, Think Faster: Joint Token-Compute Adaptation for Multimodal LLMs (SmartVL). arXiv:2607.20357.
    聯合控制 visual token 數與 LLM compute,在不同 input complexity / runtime budget 下學習 joint scheduling。本文用其作 observation–reasoning resource coupling 的近鄰。

  6. Zhang, H., Mengsi, L., He, C., Ao, Y., & Lin, Y. (2026). TrimTokenator: Towards Adaptive Visual Token Pruning for Large Multimodal Models. Findings of ACL 2026, 32633–32650. DOI: 10.18653/v1/2026.findings-acl.1633.
    https://aclanthology.org/2026.findings-acl.1633/
    使用 cross-modal alignment、mutual-information-based pruning 與 intra-modal informational diversity 減少 redundant visual tokens;支持「保留 relevant distinctions,不等於保留最大 token count」。

  7. Liao, H., Jiang, Z., Hao, Y., Tan, Y., He, S., Wang, B., Zhao, J., Xu, K., & Liu, K. (2026). ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning. arXiv:2603.28610.
    將 frame-level visual budget allocation 建模為 contextual bandit,控制 encoder 前的 input-side resolution / frame budget;支持 resolution 也可作為 learned resource-allocation decision。

  8. Xu, C., Tao, D., & Xu, C. (2013). A Survey on Multi-view Learning. arXiv:1304.5634. DOI: 10.48550/arXiv.1304.5634.
    將 multi-view learning 的核心機制概括為 consensus 與 complementary principles,提供 B03 中 complementary projection 的經典外部近鄰。

  9. Qin, Y., Zhang, X., Yu, S., & Feng, G. (2025). A survey on representation learning for multi-view data. Neural Networks, 181, 106842. DOI: 10.1016/j.neunet.2024.106842.
    指出 multi-view data 同時具有 consistent、complementary、inconsistent 與 redundant information,因此不宜只是直接把所有 views 堆疊。

  10. Hu, S., Lou, Z., Yan, X., & Ye, Y. (2024). A Survey on Information Bottleneck. IEEE TPAMI, 46(8), 5325–5344. DOI: 10.1109/TPAMI.2024.3366349.
    Information Bottleneck 的 compression–information preservation trade-off 是 B03「resolution-preserving compression」的重要資訊論近鄰,但本文不把 observation resolution 等同 IB objective。

  11. Huang, T.-H., El Gamal, A., & El Gamal, H. (2022). On the Multi-View Information Bottleneck Representation. arXiv:2202.02684.
    處理 multi-view representation overlap / incremental information,提供 redundant vs complementary views 的資訊論近鄰。

B. Neo.K / EveMissLab 既有研究

  1. Neo.K. 〈宏觀個體與局部投影〉,Series B B01 v0.2, 2026.
    建立 observation equivalence、ambiguity set、Decision-Sufficient Observability、Global Skeleton / Local Materialization。B03 將其 formalize 為 resolution / partition-refinement theory。

  2. Neo.K. 〈角色即觀察算子〉,Series B B02 v0.2, 2026.
    建立:

    Role→ObservationOperator,\text{Role}\rightarrow \text{ObservationOperator},

    role-specific non-uniform resolution profile、Role Router 與 Role != Modality。B03 將 role-specific resolution 轉為一般向量。

  3. Neo.K. 感知預算分配:從固定視覺 Token 到動態資訊獲益最大化, APR-05, 2026.
    建立 multi-resource perceptual budget、minimum sufficient perception、information gain、marginal value、re-observation 與 stop rules。

  4. Neo.K. 跨模態感知閱讀:文字、影像、影片與聲音的統一注意策略, APR-06, 2026.
    建立:

    Πtread:(G,W,U,R,B)→(m,Ω,ρ,ν,d,h,q),\Pi_t^{read}: (G,W,U,R,B) \rightarrow (m,\Omega,\rho,\nu,d,h,q),

    以及 modality activation、modality substitution、cross-modal conflict / re-reading。

  5. Neo.K. Agentic Perception:具備自主感知策略的多模態智能架構, APR-07, 2026.
    建立 Perception is Resource Allocation、Available Information != Information That Must Be Processed、epistemic action、Persistent World State 與 Autonomous Perceptual Governance。

  6. Neo.K. 〈能力—視角啟動不對稱〉,Series A A07 v0.2, 2026.
    建立:

    Capability≠PerspectiveActivation≠ObservedEvidence,\text{Capability} \neq \text{PerspectiveActivation} \neq \text{ObservedEvidence},

    並提出 reasoning / observation resolution mismatch 的問題入口。

  7. Neo.K. 〈同質綠燈:多 Agent 不等於多視角〉,Series A A08 v0.2, 2026.
    建立 independent evidence、heterogeneous projection coverage 與 AgentCount != PerspectiveDiversity,B03 進一步把 heterogeneous projection 的價值表示為 marginal ambiguity reduction。

  8. Neo.K. Global Computation Methodology Series, 2026.
    建立 Computation != Observation、Global Dependency != Full Materialization;B03 將「局部物化」具體化為 adaptive resolution allocation。

  9. Neo.K. Project-World Cognition, 2026.
    建立 importance-weighted project attention 與 project-world unknown map;B03 提供其 observation-granularity / state-distinguishability 基礎。


End of Series B — B03 v0.2