# 解析度理論 v0.1
## ——多模態為何不是資料堆積，而是可區分狀態空間的擴張

**English Title:** *Observation Resolution Theory: Multimodality as State-Space Disambiguation Rather Than Data Accumulation*  
**系列：**《宏觀個體導向的動態全域觀察方法論》03 / 07  
**作者：** Neo.K × AI 協作  
**版本：** v0.1  
**日期：** 2026-09

**機構：** EveMissLab／一言諾科技有限公司  

---

## 摘要

多模態通常被描述為「模型可以同時處理文字、圖像、影片與聲音」。本文提出更接近 Agent 工程的方法論解釋：**多模態的核心價值不是輸入種類增加，而是提高對宏觀世界狀態的可區分解析度。**

若某一文字／程式碼觀察無法區分兩個世界狀態，但視覺、互動 trace 或 runtime evidence 可以區分，則新增模態的價值是縮小 observation equivalence class，而不是單純增加 token。

---

## 1. Observation Equivalence Class

對 observation operator $O$：

$$
[X]_O
=
\{Y\mid O(Y)=O(X)\}.
$$

若 equivalence class 很大，代表很多不同真實狀態在該觀察下看起來相同。

可概念性定義解析度：

$$
Res(O)
\propto
\frac{1}{|[X]_O|}.
$$

這不是要求所有問題都用離散 cardinality，而是表示：

> 可被區分的有效狀態越多，觀察解析度越高。

---

## 2. 新模態何時真的提高解析度

若：

$$
O_1(X_a)=O_1(X_b),
$$

但：

$$
O_2(X_a)\neq O_2(X_b),
$$

則聯合觀察：

$$
O_{12}(X)
=
(O_1(X),O_2(X))
$$

至少在這對狀態上具有更高辨識力。

因此：

$$
\boxed{
Res(O_{12})>Res(O_1)
}
$$

在 $O_2$ 提供非冗餘資訊時成立。

---

## 3. UI 例子

只看 source code：

$$
O_{code}(S_a)
=
O_{code}(S_b)
\approx
\text{looks valid}.
$$

component tests 也可能全部通過。

但 render 後：

$$
O_{vision}(S_a)
\neq
O_{vision}(S_b).
$$

例如：

- button 被 overlay 蓋住；
- text overflow；
- modal 出界；
- loading feedback 不可見；
- mobile breakpoint 失真。

模型不是因為「看圖後突然變聰明」，而是世界狀態的 observation partition 變細了。

---

## 4. Interaction 也是模態

多模態不應只理解成：

$$
\text{Text}+\text{Image}+\text{Audio}+\text{Video}.
$$

對 Agent runtime，還包括：

- browser action trace；
- cursor / focus state；
- DOM state；
- network trace；
- runtime log；
- profiler；
- sensor stream；
- user event sequence。

因此 modality 更一般地可以定義為：

$$
M_i
=
\text{Evidence Carrier Family}.
$$

---

## 5. 冗餘模態不一定提高解析度

若：

$$
O_2
\approx
f(O_1),
$$

且沒有新增可區分狀態，則：

$$
\Delta Res\approx0.
$$

例如把同一 log 用兩種文字格式輸出，不構成真正 multimodal gain。

因此多模態的價值應以：

$$
\boxed{
\text{Distinct State Information Gain}
}
$$

而不是模態數量衡量。

---

## 6. 解析度也有空間、時間與語義尺度

觀察解析度至少有：

$$
\mathbf R
=
(
R_{space},
R_{time},
R_{semantic},
R_{causal},
R_{role}
).
$$

例如：

- screenshot 提高 spatial resolution；
- video 提高 temporal resolution；
- trace 提高 causal resolution；
- architecture operator 提高 responsibility resolution；
- player operator 提高 experiential resolution。

所以「高解析度」不是單純 pixel 更多。

---

## 7. Resolution on Demand

如果所有 evidence 都永久最高解析度：

$$
\text{Cost}\rightarrow \text{very high}.
$$

因此真正需要：

$$
\boxed{
Resolution_t
=
f(
\text{Goal},
\text{Uncertainty},
\text{Risk},
\text{Budget}
)
}
$$

這與 APR 的 minimum necessary observation 完全一致。

---

## 8. 解析度提高的停止條件

如果額外 observation 不再有效縮小 relevant equivalence class：

$$
\Delta Res_{relevant}\approx0,
$$

或：

$$
\text{MarginalInformationGain}
<
\text{MarginalCost},
$$

則應停止。

因此方法論不是：

> 看得越多越好。

而是：

> **看到足以做出可靠 decision 為止。**

---

## 9. 核心命題

$$
\boxed{
\textbf{P1: Multimodality is valuable when it splits previously indistinguishable world states.}
}
$$

$$
\boxed{
\textbf{P2: More data is not equivalent to higher task-relevant resolution.}
}
$$

$$
\boxed{
\textbf{P3: Interaction, traces, runtime metrics, and role projections are modalities in the broader evidence sense.}
}
$$

$$
\boxed{
\textbf{P4: Resolution should be dynamically allocated, not globally maximized.}
}
$$

---

## 10. 結論

多模態最重要的不是：

> 模型可以看圖、聽聲音。

而是：

$$
\boxed{
\text{The agent can acquire a new operator when the current world projection is under-resolved.}
}
$$

下一篇將處理更尖銳的問題：如果 reasoning capability 遠高於 observation resolution，AI 會出現什麼結構性錯誤？