AI 組織吸收與耦合拓撲 05

多模態觀測閉包論：從綠燈錯置到共享觀測織體

English Title:
Multimodal Observation Closure Theory: From Misplaced Green Lights to a Shared Observation Fabric

系列： AI Organizational Absorption & Coupling Topology
系列編號： 05 / 06
版本： v0.1
日期： 2026-09-18
作者： Neo.K
協作： Aletheia（GPT-5.6 Sol）
機構： EveMissLab / 一言諾科技有限公司
文件性質： 多模態 AI 理論／Agent 驗證理論／企業 AI 協作拓撲
前置母文：

Paper 00《軟體時代鑲嵌與 AI 組織拓撲》
Paper 01《有效問題覆蓋論》
Paper 02《企業 AI 吸收論》
Paper 03《重構權限與相容性債務》
Paper 04《多主體 AI 耦合拓撲》

主要前置研究：

A07《能力視角啟動不對稱》
APR 多視角／多模態 Skill 系列
MRMIC–MGCB–MSSP 統合多模態數位具身架構
Persistent Multi-Agent Workspace
SCDT Shared Cognitive Domain Theory / Protocol

摘要

多模態能力經常被描述為 AI 的附加能力：模型「除了文字之外，也能看圖片、影片、畫面或其他感知訊號」。本文主張，對 Agent、軟體驗證與多主體協作而言，這種理解仍然太弱。

在大量現實任務中，某個 modality 並不是性能加分，而是：

\boxed{ \text{Closure Condition}. }

如果一個 Claim 的真假必須依賴特定觀測通道判定，而 Agent 沒有取得該通道，則 Agent 可以：

推理；
修改；
提議；
測試部分結果；

但不能獨立宣告該 Claim 已完成閉包。

本文將此原理定義為 Epistemic Modality Sufficiency Constraint：

\boxed{ \mathcal M_{\mathrm{required}}(C) \subseteq \mathcal M_{\mathrm{observed}}(A) }

才允許：

\boxed{ Certify_A(C)=TRUE. }

其中：

$\mathcal M_{\mathrm{required}}(C)$ ：Claim $C$ 所需的最小 evidence modality set；
$\mathcal M_{\mathrm{observed}}(A)$ ：Agent $A$ 實際取得且有效的觀測模態集合。

本文以「綠燈錯置」型問題作為一般化案例。程式碼、unit test 與 runtime log 都可能顯示綠燈狀態正常，但實際 rendered GUI 中綠燈位於錯誤位置。若目標 Claim 是：

綠燈位於正確位置。

則：

\boxed{ \text{CodeCorrect} \land \text{TestPass} \land \text{NoRuntimeError} \not\Rightarrow \text{VisualPlacementCorrect}. }

這種錯誤不是單純「AI 推理錯誤」，而可能是：

\boxed{ \text{Evidence–Claim Modality Mismatch}. }

本文進一步主張，不同 modality 對不同 Claim 具有不同證據權威。因此定義 Claim–Modality Authority Matrix：

\boxed{ \mathbf A_M(C,m) = Authority(m\mid C). }

例如：

「按鈕位置正確」：visual / rendered state 證據權威高；
「API contract 未破壞」：integration / schema / runtime 證據權威高；
「secret 未明文落盤」：source / storage / runtime security 證據高於 screenshot；
「影片播放沒有掉幀」：video / timing / telemetry 高於靜態 screenshot。

因此：

\boxed{ \text{More Modalities} \neq \text{Better Evidence by Default}. }

真正需要的是：

\boxed{ \text{Right Modality for the Right Claim}. }

本文同時將多 Agent 問題擴張為多觀測者問題。令真實世界狀態為：

S^\*,

Observer $i$ 取得：

\boxed{ O_i = \Pi_i(S^\*), }

其中 $\Pi_i$ 是其：

modality；
sensor；
screen；
machine；
permission；
timestamp；

共同形成的 observation projection。

因此：

\boxed{ O_i\neq O_j }

可以在：

S^\*=S^\*

完全不變時發生。

本文提出 Multimodal State Skew：

\boxed{ \Delta O_{ij} = d( O_i(t_i), O_j(t_j) ), }

用以描述多人、多 AI、多設備、多時間點觀測同一 project / world 時的觀測落差。

因此 Paper 04 的共享分層：

\text{SharedWorkspace} \neq \text{SharedCanonicalState} \neq \text{SharedObservation} \neq \text{SharedCognition} \neq \text{SharedClosureAuthority}

在本文得到完整的 observation layer。

本文提出 Shared Observation Fabric（SOF），其目的不是把所有影像、log 與 sensor stream 永久塞給每個 Agent，而是讓協作系統能保存：

observation identity；
modality；
timestamp；
environment；
version / commit；
observer；
source provenance；
related claims；
contradictions；
confidence；
supersession。

使 Agent 可以知道：

我現在的判斷是基於哪一個世界快照？

另一個 Agent 說我錯，是因為它推理不同，還是它看到的是另一個 state？

本文將 disagreement 分解為：

\boxed{ D_{ij} \in \{ D_{\mathrm{obs}}, D_{\mathrm{sem}}, D_{\mathrm{goal}}, D_{\mathrm{time}}, D_{\mathrm{authority}}, D_{\mathrm{reason}} \}. }

因此：

\boxed{ \text{Disagreement} \neq \text{Reasoning Failure}. }

它可能是 state divergence 的 sensor。

外部研究已提供強烈實證錨點。OSWorld 以真實 desktop 環境、screenshot / accessibility tree 等觀測與 execution-based evaluation 測量 computer-use Agent；2026 的 OSWorld 2.0 更將 visual-spatial precision、dynamic environments、implicit-state inference、cross-source reasoning 與 verification failure 列為長時程 Agent 的主要挑戰，最佳系統在其主要 500-step binary completion metric 上仍只完成 20.6% 任務。2025 的 RegionFocus 顯示，在 GUI Agent 中，單純改變視覺觀測方式與聚焦區域即可大幅提高 grounding 表現；OSWorld-MCP 則進一步顯示 GUI observation 與 tool invocation 是不同能力通道，不能只用單一介面評估。OpenAI 的 computer-using agent 也採用 screenshot → reasoning → action 的感知閉環，顯示 computer-use Agent 的成功本身就是 observation–reasoning–action 的循環，而不是只有文字推理。

本文最終提出：

\boxed{ \text{Required Modality Missing} \Rightarrow \text{Independent Closure Certification Forbidden}. }

這不是要求所有任務 always-on multimodality，而是：

\boxed{ \text{Task} \rightarrow \text{Claim} \rightarrow \text{Required Perspective} \rightarrow \text{Required Modality} \rightarrow \text{Observation} \rightarrow \text{Evidence} \rightarrow \text{Closure}. }

0. 問題不是「AI 有沒有眼睛」

若 Agent 能理解圖片：

Vision=TRUE.

不能推出：

\boxed{ \text{Agent will use vision whenever required}. }

所以：

\boxed{ \text{Modality Capability} \neq \text{Modality Activation}. }

1. Capability Availability ≠ Evidence Availability

模型可能支援：

vision；
audio；
video；
browser；
runtime；

但實際 task turn 只收到：

\boxed{ \text{Text}. }

因此模型內建能力並沒有變成 evidence。

2. A07 的基礎：Perspective ≠ Modality

既有 A07 已提出：

\boxed{ \text{Perspective} \neq \text{Modality}. }

Perspective 問：

從哪個判斷域看？

Modality 問：

用哪個 evidence channel 看？

3. 同一 Perspective 可以跨模態

例如 Runtime perspective 可以需要：

logs；
traces；
metrics；
screenshot；
network；
DB state。

所以：

\boxed{ \text{Perspective} \leftrightarrow \text{Multi-Modal Evidence Set}. }

4. 同一 Modality 可以支援不同 Perspective

同一 screenshot：

UX 看 affordance；
Frontend 看 layout；
Security 看 data leakage；
Accessibility 看 contrast。

因此：

\boxed{ \text{Modality} \neq \text{Judgment Operator}. }

5. 本文的新一步

A07 回答：

需要從哪些 perspective 與 modality 看？

本文進一步問：

如果該 modality 沒有被實際觀測，Agent 還能不能宣告完成？

答案是：

\boxed{ \text{not independently}. }

6. Claim-Centered Verification

令：

C

為待驗 Claim。

例如：

button is visible.

API remains backward compatible.

build succeeds.

animation looks smooth.

不同 Claim 需要不同 evidence。

7. Required Modality Set

定義：

\boxed{ \mathcal M_R(C) = \text{minimum modality set sufficient to evaluate }C. }

8. Observed Modality Set

對 Agent $A$ ：

\boxed{ \mathcal M_O(A,t) }

表示在時間 $t$ 實際取得的有效 observation channels。

9. Epistemic Modality Sufficiency Constraint

若：

\boxed{ \mathcal M_R(C) \subseteq \mathcal M_O(A,t), }

Agent 才具有候選獨立 closure 資格。

10. Sufficiency 仍不等於 Correctness

即使：

\mathcal M_R(C) \subseteq \mathcal M_O,

仍不表示：

C=\text{TRUE}.

它只表示：

Agent 至少看到了足以判定 Claim 的必要證據通道。

11. Necessary vs Sufficient

某些 modality 是必要但非充分。

例如：

UI position correct.

Screenshot 可能必要。

但可能還需要：

viewport size；
browser zoom；
responsive state。

所以：

\boxed{ m\in\mathcal M_R }

不表示 $m$ 單獨足夠。

12. Claim–Modality Authority Matrix

定義：

\boxed{ A_{cm} = Authority(m\mid C). }

其中值可暫分：

primary
supporting
weak
irrelevant
contradictory-capable

13. 例：Visual Placement Claim

對：

C_1=\text{indicator position correct},

可有：

source code        supporting
unit test          supporting
runtime no-error   weak
screenshot         primary
video              primary
DOM geometry       primary/supporting

14. 例：Secret Storage Claim

對：

C_2=\text{secret not stored in plaintext},

可有：

screenshot         weak
source scan        primary
storage inspection primary
runtime trace      supporting
security scanner   primary/supporting

15. Authority Depends on Claim

所以：

\boxed{ Authority(m) }

沒有全域固定值。

更正確：

\boxed{ Authority(m,C,E). }

16. More Modalities ≠ Better by Default

增加無關 modality：

|\mathcal M|\uparrow

可能只增加：

cost；
noise；
context pressure。

所以：

\boxed{ \text{Multimodal} \neq \text{Always-On Everything}. }

17. APR 的 Null Modality

既有 APR 已允許：

m_t=\varnothing.

表示：

現在不需要額外感知。

本文保留此原則。

18. Triggered Multimodality

更合理：

\boxed{ \text{Task} \rightarrow \text{Claim} \rightarrow \text{Perspective} \rightarrow \text{ModalityTrigger}. }

19. 綠燈錯置問題

假設 system outputs：

test = pass
runtime = healthy
green light = enabled

但 screenshot 顯示：

綠燈位於錯誤位置。

20. 這不是傳統 Test Failure

因為：

Test=PASS.

真正失敗的是：

\boxed{ \text{Claim Coverage}. }

21. Claim Was Underspecified

如果 test 只驗：

light is active.

而目標是：

light is active at correct position.

則：

\boxed{ C_{\mathrm{test}} \subset C_{\mathrm{goal}}. }

22. Evidence–Claim Modality Mismatch

本文定義：

\boxed{ M_{\mathrm{mismatch}}(C) }

當：

\mathcal M_{\mathrm{used}} \not\supseteq \mathcal M_R(C).

23. False Closure

如果 Agent 在 mismatch 下仍宣告：

\text{Done},

形成：

\boxed{ \text{False Closure}. }

24. False Closure ≠ Incorrect Internal Reasoning

Agent 可能根據：

O_A

做出合理推理。

真正問題：

\boxed{ O_A \text{ is insufficient for }C. }

25. World → Observation

令真實世界：

S^\*.

Observer $i$ ：

\boxed{ O_i = \Pi_i(S^\*). }

$\Pi_i$ 包含：

sensor；
modality；
access；
preprocessing；
time；
resolution。

26. Observation Is Projection

所以：

\boxed{ O_i \neq S^\*. }

Observation 只是世界狀態的投影。

27. 不同觀測者可以同時合理

若：

O_A\neq O_B,

則：

B_A\neq B_B

不一定有人推理錯。

28. Observation Divergence

定義：

\boxed{ D_O(i,j) = d(O_i,O_j). }

$d$ 可按：

missing channels；
state version；
spatial region；
time；
resolution；

定義。

29. Multimodal State Skew

若：

O_i(t_i) \neq O_j(t_j),

本文稱：

\boxed{ \text{Multimodal State Skew}. }

30. Temporal Skew

Agent A：

Screenshot(t_1).

Agent B：

Runtime(t_2).

若：

t_1<t_2,

它們其實不是在談同一 state。

31. Device Skew

不同：

computer；
browser；
viewport；
GPU；
OS；

也可能形成：

\boxed{ \text{Environment Skew}. }

32. Branch Skew

對 software task：

Branch_A\neq Branch_B.

兩個 screenshot 都真，

但來自不同 code state。

33. Resolution Skew

GUI grounding 可能因：

resolution；
scaling；
crop；
zoom；

改變。

因此：

\boxed{ \text{Same Screenshot Content} \neq \text{Same Grounding Difficulty}. }

34. RegionFocus 的實證意義

2025 RegionFocus 顯示：

動態聚焦 relevant visual region，可以顯著改善 GUI Agent grounding benchmark。

研究報告在部分基準上取得超過 20% 的相對大幅提升。

其重要意義不是某一方法排名，

而是：

\boxed{ \text{Observation Transformation} }

本身可以大幅改變 Agent capability。

35. 能力邊界受到觀測接口影響

因此：

\boxed{ Capability(A) \neq Capability(ModelOnly). }

computer-use domain 更接近：

\boxed{ \text{Capability} = \text{Model} + \text{ObservationInterface} + \text{ActionInterface} + \text{Memory} + \text{Verification}. }

36. OSWorld 的基本啟示

OSWorld 以：

real OS；
real apps；
screenshots；
accessibility tree；
actions；
execution-based evaluation；

建立 computer-use benchmark。

這使：

\boxed{ \text{Perception} + \text{Action} + \text{World State} }

進入能力評估本身。

37. OSWorld 2.0

2026 OSWorld 2.0 將任務擴張為：

108 long-horizon workflows；
human median 約 1.6 hours；
平均約 318 tool calls（在其指定 Agent 設定下）。

並特別設計：

streaming interaction；
dynamic environments；
cross-source reasoning；
implicit-state inference；
visual-spatial precision。

38. OSWorld 2.0 的 verification 啟示

研究報告指出 frontier agents 常：

lose track of constraints；
miss mid-task information；
guess instead of asking；
skip verification；
fail on hidden state recovery。

這幾乎直接對應本文：

\boxed{ \text{Observation} + \text{StateTracking} + \text{Verification} }

三層問題。

39. Partial Score vs Binary Completion

OSWorld 2.0 最佳系統在其主要設定下：

binary completion：20.6%；
partial score：54.8%。

這也提醒：

\boxed{ \text{Partial Progress} \neq \text{Task Closure}. }

40. Computer Use Agent 的感知循環

OpenAI computer-using agent 的公開架構採：

\boxed{ \text{Screenshot} \rightarrow \text{Reasoning} \rightarrow \text{Action} \rightarrow \text{NewScreenshot}. }

這是標準感知—行動閉環。

41. Action Without Re-Observation Is Dangerous

如果：

Action_t

後不重新取得：

Observation_{t+1},

Agent 只能假設 action 成功。

因此：

\boxed{ \text{Action} \not\Rightarrow \text{StateTransitionConfirmed}. }

42. Observe–Act–Verify Loop

本文推薦：

\boxed{ \text{Observe} \rightarrow \text{Act} \rightarrow \text{Reobserve} \rightarrow \text{Verify}. }

43. Verification Modality Can Differ from Action Modality

Agent 用：

mouse；

執行 action。

但驗證可以用：

screenshot；
DOM；
database；
API state。

所以：

\boxed{ \text{ActionChannel} \neq \text{VerificationChannel}. }

44. OSWorld-MCP 的啟示

OSWorld-MCP 2025 顯示：

GUI interaction；
MCP tool invocation；

是可分離能力。

加入工具後部分 Agent success rate 提升，但 strongest models 的 tool invocation 使用仍非完整。

因此：

\boxed{ \text{Tool Access} \neq \text{Tool Use} \neq \text{GUI Observation}. }

45. Multi-Channel Verification

同一 Claim 可以有：

\boxed{ E(C) = \{ e_1^{\mathrm{visual}}, e_2^{\mathrm{runtime}}, e_3^{\mathrm{state}} \}. }

多通道互證可以提高 closure confidence。

46. Cross-Modal Agreement

定義：

\boxed{ \text{Agreement}(C) = \text{Consistency}( E_1(C), E_2(C), \ldots ). }

47. Cross-Modal Contradiction

如果：

test = pass
screenshot = wrong

不應：

多數決。

而應：

\boxed{ \text{Identify claim authority}. }

48. Claim Authority Resolution

例如 Claim：

rendered button is centered.

則 screenshot / geometry 具有 primary authority。

Test 如果只驗：

component exists.

不能覆蓋它。

49. Evidence Hierarchy Must Be Claim-Relative

所以：

\boxed{ \text{Evidence Hierarchy} = H(C). }

不是固定：

tests always beat images.

50. Observer Identity

Observation record 至少應含：

\boxed{ \text{ObserverID}. }

因為：

human screenshot；
Agent screenshot；
sensor reading；

有不同 provenance。

51. Observation Identity

本文提出：

\boxed{ OBS\text{-}ID. }

例如：

observation_id: OBS-10291
modality: screenshot
captured_at: 2026-09-18T15:41:22+08:00
environment: chrome-local-build-812
commit: abc123
observer: agent-a
claims:
  - CLM-17
status: active

52. Shared Observation Fabric

本文定義：

\boxed{ SOF = \text{Shared Observation Fabric}. }

它不是大型檔案倉庫的同義詞。

53. SOF 的核心作用

SOF 至少管理：

identity；
modality；
time；
environment；
provenance；
claim linkage；
contradiction；
freshness；
supersession。

54. Observation Payload 可以外部保存

大型：

video；
image；
trace；
sensor stream；

不必全部塞進 metadata store。

只需：

\boxed{ \text{ObservationMetadata} + \text{ArtifactRef}. }

這和 UIR / SEDB 的 representation 分層可以自然相接。

55. Shared Observation ≠ Shared Payload Copy

Agent B 不必把 Agent A 的整段 video 複製進 context。

可以先知道：

OBS-17 exists
supports CLM-22
captured after commit X

需要時再 resolve payload。

56. Observation Freshness

定義：

\boxed{ F_O = t_{\mathrm{now}} - t_{\mathrm{observation}}. }

但是否 stale 應 task-relative。

57. Fast-Changing State

例如：

UI；
market；
deployment；

需要低：

F_O.

靜態 architecture diagram 可以允許更高 freshness gap。

58. Observation Supersession

新 observation：

O_{t+1}

可以：

supersede；
contradict；
refine；

舊 observation。

不能只是 overwrite。

59. Observation Graph

定義：

\boxed{ G_O = (V_O,E_O). }

edge types：

supports
contradicts
supersedes
derived_from
same_state_as
different_environment

60. Claim–Observation Graph

再與 Claim graph 相接：

\boxed{ G_{CO} = (C,O,E_{CO}). }

使 closure 可追溯。

61. Closure Is Evidence-Bearing State

本文主張：

\boxed{ \text{Done} }

不應只是 boolean。

更合理：

\boxed{ \text{ClosureState} = ( \text{Claim}, \text{Evidence}, \text{Modalities}, \text{Observer}, \text{Version}, \text{Authority} ). }

62. Closure Certification Authority

並非每個 Agent 都可：

\boxed{ \text{CAN\_CERTIFY}. }

63. Certification Permissions

可以區分：

CAN_OBSERVE
CAN_PROPOSE
CAN_ACT
CAN_TEST
CAN_VERIFY_MODALITY
CAN_CERTIFY_CLAIM

64. Work Permission ≠ Closure Authority

所以：

\boxed{ \text{CAN\_ACT} \neq \text{CAN\_CERTIFY}. }

這延續 Paper 04。

65. Self-Certification Risk

同一 Agent：

implement；
observe；
judge；

可能產生：

\boxed{ \text{Self-Confirmation Bias}. }

66. Independent Observation

高風險 Claim 可以要求：

\boxed{ \text{Observer}_A \neq \text{Implementer}_A. }

或不同 modality 的 cross-check。

67. 多 Agent 並不自動提供獨立性

如果兩個 Agent：

使用同一 context；
同一 model；
同一 screenshot；

可能高度相關。

所以：

\boxed{ \text{Multiple Agents} \neq \text{Independent Evidence}. }

68. Evidence Independence

可記錄：

model；
source；
modality；
data；
prompt family；

用以估計 evidence correlation。

69. Observation–Interpretation Split

Observation：

O.

Interpretation：

I(O).

不能把兩者混成：

AI 看到了 X。

70. Raw Observation vs Derived Judgment

因此：

\boxed{ O \rightarrow J. }

應保留 lineage。

71. 多人類也有相同問題

這不是 AI 特有。

人類工程師也會：

看不同 screen；
記得不同版本；
誤解同一畫面。

AI 只是把這個問題規模化。

72. Human–AI Observation Asymmetry

人類可能：

看實際機器；
知道現場。

AI 只看到：

screenshot。

也可能反過來：

AI 看：

logs；
traces；
database；

人類只看 GUI。

73. Complementary Observation

因此：

\boxed{ O_{H+AI} = O_H \cup O_{AI} }

可以比任一方更完整。

74. Observation Fusion

但 fusion 不應直接：

合併全部。

需要：

timestamp alignment；
provenance；
contradiction handling。

75. Cross-Modal State Alignment

若：

\text{Screenshot}(t_1), \text{Log}(t_2), \text{DB}(t_3),

應先確認：

t_1\approx t_2\approx t_3

是否落在同一 target state window。

76. Observation Window

定義：

\boxed{ W_O(C) = [t_a,t_b]. }

Claim 只接受該時間窗內 observation。

77. Event-Sensitive Claims

例如：

transaction succeeded.

需要：

before state；
action；
after state。

單一 screenshot 不足。

78. Temporal Evidence

因此 required modality 可以包含：

\boxed{ \text{TemporalSequence}. }

不只是靜態 carrier。

79. Video 不等於多張圖片

某些 Claim 依賴：

motion；
continuity；
latency。

所以：

\boxed{ \text{Video} \neq \sum \text{Images} }

作為判斷語義。

80. Runtime State 不等於 Log Text

Log 是 runtime 的投影。

因此：

\boxed{ \text{Log} \neq \text{RuntimeState}. }

也可能：

missing events；
delayed log；
incorrect logging。

81. Sensor ≠ World

所有 modality 都是 projection。

所以本文不建立：

視覺是真相。

而是：

\boxed{ \text{Claim-specific observation sufficiency}. }

82. Modality Failure Types

本文提出：

\boxed{ F_M \in \{ \text{Missing}, \text{Stale}, \text{Misaligned}, \text{LowResolution}, \text{WrongRegion}, \text{WrongEnvironment}, \text{Corrupted}, \text{Misinterpreted} \}. }

83. Missing

必要 modality 根本沒取得。

84. Stale

取得的是舊 state。

85. Misaligned

不同 modality 不屬於同一狀態。

86. Low Resolution

channel 存在但資訊不足。

87. Wrong Region

Agent 看到了 screenshot，

但沒看關鍵區域。

88. Wrong Environment

看的是：

staging；

要驗的是：

production。

89. Corrupted

資料本身失真。

90. Misinterpreted

observation 足夠，

但 reasoning 錯。

只有這個才比較接近純推理 failure。

91. Failure Typing

因此：

\boxed{ \text{Visual Failure} }

本身太粗。

應分：

\text{ObservationFailure} \quad \text{vs}\quad \text{InterpretationFailure}.

92. Modality Debt

本文提出：

\boxed{ D_M = \text{Modality Debt}. }

表示：

工作流長期依賴某種 Claim，卻沒有建立對應 observation / verification channel 所累積的驗證債務。

93. 例

公司大量用 AI 改 frontend，

但沒有：

screenshot regression；
browser validation；
visual diff。

則：

\boxed{ D_M\uparrow. }

94. 多 Agent 會放大 Modality Debt

因為：

Agent A 說：

tests green.

Agent B 直接接受：

done.

如果沒有 claim-modality policy，

錯誤會跨 Agent 傳播。

95. Observation Propagation Error

定義：

\boxed{ E_P = \text{error propagated from insufficient observation through handoff}. }

96. Shared Error ≠ Shared Truth

多人都相信：

B_i=C

不代表：

C=\text{TRUE}.

如果所有人共享同一個不足 observation。

97. Consensus Is Not Verification

因此：

\boxed{ \text{Consensus} \neq \text{Verification}. }

98. Multi-Agent Voting 限制

如果所有 Agent：

same model family；
same evidence；
same blind spot；

投票沒有真正增加 epistemic independence。

99. Better Pattern: Evidence Diversity

高風險 closure 應優先增加：

\boxed{ \text{Evidence Diversity} }

而不只是：

\text{Agent Count}.

100. Shared Observation Fabric + Canonical State

Paper 04 的：

S_G

保存 operational truth。

本文的：

SOF

保存：

supporting observation topology。

兩者：

\boxed{ SOF \leftrightarrow S_G. }

101. Observation Does Not Directly Overwrite State

新的 screenshot 不應直接：

更新 canonical state。

需要：

\boxed{ \text{Observe} \rightarrow \text{Interpret} \rightarrow \text{Validate} \rightarrow \text{Commit}. }

102. SEDB / UIR 接口

如果未來接入 SEDB–UIR：

SEDB 保存 semantic observation state；
UIR resolve native payload；
Artifact Store 保存 video / image / trace。

因此：

\boxed{ SOF }

可以是上層 coordination abstraction。

103. Required Modality Policy

可寫：

claim_type: ui.visual-placement
required:
  - screenshot
supporting:
  - dom_geometry
  - runtime
closure:
  independent_visual_verification: true

104. Dynamic Modality Selection

不是所有 task 事先完全知道。

Agent 可在：

\boxed{ \text{OutcomeError} }

後觸發：

\text{PerspectiveReassessment} \rightarrow \text{ModalityExpansion}.

105. Surprise Trigger

如果：

ExpertLevelSurprise>\tau,

應問：

我是否缺少觀測通道？

106. Repeated Failure Trigger

相同 defect 重複：

F_1,F_2,F_3

可能表示：

原 perspective / modality 不足。

107. Cross-Boundary Contradiction

例如：

tests pass
user says UI wrong

應觸發：

\boxed{ \text{Cross-Modality Investigation}. }

108. Modality Escalation

可形成：

text
→ code
→ runtime
→ screenshot
→ video
→ human observation

不是固定順序，而是 escalation policy。

109. Cost-Aware Observation

每種 modality 有：

Cost(m).

目標：

\boxed{ \min \sum_m Cost(m) }

subject to：

\boxed{ \mathcal M_R(C) \subseteq \mathcal M_O. }

110. Minimum Sufficient Observation

本文提出：

\boxed{ MSO(C) = \text{Minimum Sufficient Observation Set}. }

這避免：

always-on multimodality。

111. MSO 與 Paper 02 的 MAC 類似

Paper 02：

MAC(q) = \text{Minimum Absorbable Configuration}.

本文：

MSO(C) = \text{Minimum Sufficient Observation}.

兩者都是：

避免全面升級，找到最小閉包條件。

112. Closure Confidence

若要使用 confidence：

\boxed{ Conf(C) = f( \text{Coverage}, \text{Authority}, \text{Freshness}, \text{Consistency}, \text{Independence} ). }

此為結構候選，不是已校準模型。

113. 不確定度應顯式

若 modality 不足：

status: insufficient_observation

比：

status: done
confidence: 0.55

更正確。

114. Unknown ≠ Failed

因此：

\boxed{ \text{Unknown} \neq \text{False} \neq \text{Failed}. }

115. Closure States

可以定義：

UNOBSERVED
PARTIALLY_OBSERVED
OBSERVED
VERIFIED
CONTRADICTED
STALE
CERTIFIED

116. Certified 是最高治理狀態

CERTIFIED

不只是：

Agent believes true.

而是：

required modalities satisfied；
evidence valid；
authority valid；
version current。

117. Observation Closure Runtime

未來可建立：

\boxed{ \text{OCRuntime}. }

注意不要與 OCR 光學文字辨識縮寫混淆。

更完整可叫：

\boxed{ \text{MOC Runtime} = \text{Multimodal Observation Closure Runtime}. }

118. Runtime Flow

\boxed{ \text{Task} \rightarrow \text{Claims} \rightarrow \text{Perspectives} \rightarrow MSO \rightarrow \text{Observe} \rightarrow \text{Evidence} \rightarrow \text{Verify} \rightarrow \text{Certify}. }

119. 可反駁假說 H1

對 GUI task：

加入 claim-specific visual verification 應降低 false closure rate。

120. 可反駁假說 H2

對需要多模態的 task：

缺少 required modality 時，Agent 的 confidence calibration 會惡化。

121. 可反駁假說 H3

Shared Observation Fabric 應降低 multi-agent disagreement 中由：

stale；
wrong branch；
wrong environment；

造成的比例。

122. 可反駁假說 H4

Claim–Modality Authority policy 比單純「多 Agent 投票」更能降低 correlated false closure。

123. 可反駁假說 H5

動態 modality escalation 在維持較低 observation cost 的同時，可接近 always-on multimodal verification 的可靠度。

124. 可反駁假說 H6

long-horizon Agent 的主要失敗中，將有顯著比例可歸因於：

state tracking；
observation freshness；
hidden-state recovery；
skipped verification；

而不只是 reasoning capacity。

OSWorld 2.0 已提供相容的初步證據。

125. 最小資料模型

claim_id:
claim_type:
required_modalities:
primary_modalities:
supporting_modalities:
observer:
observation_ids:
environment:
commit:
timestamp:
freshness:
cross_modal_consistency:
verification_status:
certifier:
authority:
closure_state:

126. Shared Observation Record

observation_id:
modality:
artifact_ref:
captured_at:
observer:
environment:
state_version:
related_claims:
supports:
contradicts:
supersedes:
confidence:
quality:

127. 與 Paper 06 的接口

Paper 05 已回答：

Agent 要看到什麼，才能合法宣稱「知道」或「完成」？

最後 Paper 06 要問：

就算它真的看到了、做對了，也是否應該被允許自主做？

因此：

\boxed{ \text{ObservationClosure} \rightarrow \text{DeployableAutonomy}. }

128. Claim Boundary

$K$ ｜已有外部支持

已有研究支持：

computer-use Agent 表現高度依賴 observation / grounding / execution environment；
visual-spatial precision、implicit state、dynamic environment、verification 是 long-horizon Agent 的重要瓶頸；
改變 visual observation strategy 可以顯著改變 GUI grounding 表現；
GUI 操作與 tool invocation 是可分離能力；
screenshot → reasoning → action 是 computer-use Agent 的實際架構路徑之一。

$E$ ｜本文新推導

本文提出：

Epistemic Modality Sufficiency Constraint；
Claim–Modality Authority Matrix；
Evidence–Claim Modality Mismatch；
Multimodal State Skew；
Shared Observation Fabric；
Minimum Sufficient Observation；
Modality Debt；
Observation Propagation Error；
Shared Observation ≠ Shared Cognition；
Work Permission ≠ Closure Certification Authority。

$S$ ｜需要 benchmark / simulation

false closure rate；
modality ablation；
SOF usefulness；
cross-modal contradiction resolution；
evidence independence。

$X$ ｜需要企業／實際 Agent field study

multimodal verification policy；
GUI production defects；
shared observation state；
multimodal human–AI disagreement；
claim-specific certification。

$F$ ｜工程化

Shared Observation Fabric；
MOC Runtime；
Claim–Modality Registry；
Observation Graph；
Closure Certification Runtime；
multimodal evidence ledger。

129. 結論

多模態 AI 的真正重要性不是：

模型可以看更多東西。

而是：

現實問題的真偽本來就分散在不同 evidence channels。

程式碼可以告訴 Agent：

implementation looks correct.

測試可以告訴 Agent：

specified behavior passes.

runtime 可以告訴 Agent：

process did not crash.

但 screenshot 才可能告訴它：

green light is in the wrong place.

因此：

\boxed{ \text{One Evidence Channel} \neq \text{The Whole State}. }

真正可靠的 Agent 必須先問：

我現在要驗證的 Claim 是什麼？

再問：

這個 Claim 需要什麼 evidence？

所以：

\boxed{ \text{Task} \rightarrow \text{Claim} \rightarrow \text{Perspective} \rightarrow \text{RequiredModality} \rightarrow \text{Observation} \rightarrow \text{Evidence} \rightarrow \text{Closure}. }

這與傳統「模型有 vision 就用 vision」完全不同。

本文最核心的限制是：

\boxed{ \mathcal M_{\mathrm{required}}(C) \not\subseteq \mathcal M_{\mathrm{observed}}(A) \Rightarrow Certify_A(C)=FALSE. }

注意：

Certify_A(C)=FALSE

不表示：

C=FALSE.

它表示：

Agent 沒有足夠認識論資格判定。

這個區分會變得越來越重要。

尤其當多人類、多 Agent、多機器、多分支、多時間點同時存在時：

\boxed{ \text{SharedWorkspace} \neq \text{SharedState} \neq \text{SharedObservation}. }

而 disagreement 也不必立即解讀為：

有一個 AI 很笨。

可能只是：

O_i\neq O_j.

因此未來真正成熟的 Multi-Agent Runtime，除了 Shared State，還需要：

\boxed{ \text{Shared Observation Fabric}. }

使每一個 Claim 的 closure 都可以回答：

看了什麼；
什麼時候看的；
在哪個 environment；
哪個版本；
誰看的；
哪些 modality；
是否有 contradiction；
誰有 certification authority。

只有這樣：

\boxed{ \text{Done} }

才不再只是一盞可能亮錯位置的綠燈。

參考文獻與研究錨點

內部前置研究

[INT-01] Neo.K. 《AI 組織吸收與耦合拓撲 00：軟體時代鑲嵌與 AI 組織拓撲》v0.2. EveMissLab, 2026.

[INT-02] Neo.K. 《AI 組織吸收與耦合拓撲 01：有效問題覆蓋論》v0.1. EveMissLab, 2026.

[INT-03] Neo.K. 《AI 組織吸收與耦合拓撲 02：企業 AI 吸收論》v0.1. EveMissLab, 2026.

[INT-04] Neo.K. 《AI 組織吸收與耦合拓撲 03：重構權限與相容性債務》v0.1. EveMissLab, 2026.

[INT-05] Neo.K. 《AI 組織吸收與耦合拓撲 04：多主體 AI 耦合拓撲》v0.1. EveMissLab, 2026.

[INT-06] Neo.K. A07《能力視角啟動不對稱》v0.2. EveMissLab, 2026.

[INT-07] Neo.K. APR Multimodal / Perspective Series. EveMissLab, 2026.

[INT-08] Neo.K. 《MRMIC–MGCB–MSSP 統合多模態數位具身架構》v0.1. EveMissLab, 2026.

外部研究

[R1] Xie, T., Zhang, D., Chen, J., et al. OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. NeurIPS 2024 / arXiv:2404.07972.

[R2] Yuan, M., Zhou, Z., Xiong, X., et al. OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks. arXiv:2606.29537, 2026.

[R3] Luo, T., Logeswaran, L., Johnson, J., & Lee, H. Visual Test-time Scaling for GUI Agent Grounding. arXiv:2505.00684, 2025.

[R4] Jia, H., Liao, J., Zhang, X., et al. OSWorld-MCP: Benchmarking MCP Tool Invocation in Computer-Use Agents. arXiv:2510.24563, 2025.

[R5] OpenAI. Computer-Using Agent. 2025.
https://openai.com/index/computer-using-agent/

AI Organizational Absorption & Coupling Topology — Paper 05 v0.1
EveMissLab — Boundless Knowledge. One Promise Forward.