解析度理論 v0.1

——多模態為何不是資料堆積，而是可區分狀態空間的擴張

English Title: Observation Resolution Theory: Multimodality as State-Space Disambiguation Rather Than Data Accumulation
系列：《宏觀個體導向的動態全域觀察方法論》03 / 07
作者： Neo.K × AI 協作
版本： v0.1
日期： 2026-09

機構： EveMissLab／一言諾科技有限公司

摘要

多模態通常被描述為「模型可以同時處理文字、圖像、影片與聲音」。本文提出更接近 Agent 工程的方法論解釋：多模態的核心價值不是輸入種類增加，而是提高對宏觀世界狀態的可區分解析度。

若某一文字／程式碼觀察無法區分兩個世界狀態，但視覺、互動 trace 或 runtime evidence 可以區分，則新增模態的價值是縮小 observation equivalence class，而不是單純增加 token。

1. Observation Equivalence Class

對 observation operator $O$ ：

[X]_O = \{Y\mid O(Y)=O(X)\}.

若 equivalence class 很大，代表很多不同真實狀態在該觀察下看起來相同。

可概念性定義解析度：

Res(O) \propto \frac{1}{|[X]_O|}.

這不是要求所有問題都用離散 cardinality，而是表示：

可被區分的有效狀態越多，觀察解析度越高。

2. 新模態何時真的提高解析度

若：

O_1(X_a)=O_1(X_b),

但：

O_2(X_a)\neq O_2(X_b),

則聯合觀察：

O_{12}(X) = (O_1(X),O_2(X))

至少在這對狀態上具有更高辨識力。

因此：

\boxed{ Res(O_{12})>Res(O_1) }

在 $O_2$ 提供非冗餘資訊時成立。

3. UI 例子

只看 source code：

O_{code}(S_a) = O_{code}(S_b) \approx \text{looks valid}.

component tests 也可能全部通過。

但 render 後：

O_{vision}(S_a) \neq O_{vision}(S_b).

例如：

button 被 overlay 蓋住；
text overflow；
modal 出界；
loading feedback 不可見；
mobile breakpoint 失真。

模型不是因為「看圖後突然變聰明」，而是世界狀態的 observation partition 變細了。

4. Interaction 也是模態

多模態不應只理解成：

\text{Text}+\text{Image}+\text{Audio}+\text{Video}.

對 Agent runtime，還包括：

browser action trace；
cursor / focus state；
DOM state；
network trace；
runtime log；
profiler；
sensor stream；
user event sequence。

因此 modality 更一般地可以定義為：

M_i = \text{Evidence Carrier Family}.

5. 冗餘模態不一定提高解析度

若：

O_2 \approx f(O_1),

且沒有新增可區分狀態，則：

\Delta Res\approx0.

例如把同一 log 用兩種文字格式輸出，不構成真正 multimodal gain。

因此多模態的價值應以：

\boxed{ \text{Distinct State Information Gain} }

而不是模態數量衡量。

6. 解析度也有空間、時間與語義尺度

觀察解析度至少有：

\mathbf R = ( R_{space}, R_{time}, R_{semantic}, R_{causal}, R_{role} ).

例如：

screenshot 提高 spatial resolution；
video 提高 temporal resolution；
trace 提高 causal resolution；
architecture operator 提高 responsibility resolution；
player operator 提高 experiential resolution。

所以「高解析度」不是單純 pixel 更多。

7. Resolution on Demand

如果所有 evidence 都永久最高解析度：

\text{Cost}\rightarrow \text{very high}.

因此真正需要：

\boxed{ Resolution_t = f( \text{Goal}, \text{Uncertainty}, \text{Risk}, \text{Budget} ) }

這與 APR 的 minimum necessary observation 完全一致。

8. 解析度提高的停止條件

如果額外 observation 不再有效縮小 relevant equivalence class：

\Delta Res_{relevant}\approx0,

或：

\text{MarginalInformationGain} < \text{MarginalCost},

則應停止。

因此方法論不是：

看得越多越好。

而是：

看到足以做出可靠 decision 為止。

9. 核心命題

\boxed{ \textbf{P1: Multimodality is valuable when it splits previously indistinguishable world states.} }

\boxed{ \textbf{P2: More data is not equivalent to higher task-relevant resolution.} }

\boxed{ \textbf{P3: Interaction, traces, runtime metrics, and role projections are modalities in the broader evidence sense.} }

\boxed{ \textbf{P4: Resolution should be dynamically allocated, not globally maximized.} }

10. 結論

多模態最重要的不是：

模型可以看圖、聽聲音。

而是：

\boxed{ \text{The agent can acquire a new operator when the current world projection is under-resolved.} }

下一篇將處理更尖銳的問題：如果 reasoning capability 遠高於 observation resolution，AI 會出現什麼結構性錯誤？