# AI 組織吸收與耦合拓撲 05 # 多模態觀測閉包論：從綠燈錯置到共享觀測織體 **English Title:** **Multimodal Observation Closure Theory: From Misplaced Green Lights to a Shared Observation Fabric** **系列：** AI Organizational Absorption & Coupling Topology **系列編號：** 05 / 06 **版本：** v0.1 **日期：** 2026-09-18 **作者：** Neo.K **協作：** Aletheia（GPT-5.6 Sol） **機構：** EveMissLab / 一言諾科技有限公司 **文件性質：** 多模態 AI 理論／Agent 驗證理論／企業 AI 協作拓撲 **前置母文：** - Paper 00《軟體時代鑲嵌與 AI 組織拓撲》 - Paper 01《有效問題覆蓋論》 - Paper 02《企業 AI 吸收論》 - Paper 03《重構權限與相容性債務》 - Paper 04《多主體 AI 耦合拓撲》 **主要前置研究：** - A07《能力視角啟動不對稱》 - APR 多視角／多模態 Skill 系列 - MRMIC–MGCB–MSSP 統合多模態數位具身架構 - Persistent Multi-Agent Workspace - SCDT Shared Cognitive Domain Theory / Protocol --- ## 摘要 多模態能力經常被描述為 AI 的附加能力：模型「除了文字之外，也能看圖片、影片、畫面或其他感知訊號」。本文主張，對 Agent、軟體驗證與多主體協作而言，這種理解仍然太弱。 在大量現實任務中，某個 modality 並不是性能加分，而是： $$ \boxed{ \text{Closure Condition}. } $$ 如果一個 Claim 的真假必須依賴特定觀測通道判定，而 Agent 沒有取得該通道，則 Agent 可以： - 推理； - 修改； - 提議； - 測試部分結果； 但不能獨立宣告該 Claim 已完成閉包。 本文將此原理定義為 **Epistemic Modality Sufficiency Constraint**： $$ \boxed{ \mathcal M_{\mathrm{required}}(C) \subseteq \mathcal M_{\mathrm{observed}}(A) } $$ 才允許： $$ \boxed{ Certify_A(C)=TRUE. } $$ 其中： - $\mathcal M_{\mathrm{required}}(C)$：Claim $C$ 所需的最小 evidence modality set； - $\mathcal M_{\mathrm{observed}}(A)$：Agent $A$ 實際取得且有效的觀測模態集合。 本文以「綠燈錯置」型問題作為一般化案例。程式碼、unit test 與 runtime log 都可能顯示綠燈狀態正常，但實際 rendered GUI 中綠燈位於錯誤位置。若目標 Claim 是： > 綠燈位於正確位置。 則： $$ \boxed{ \text{CodeCorrect} \land \text{TestPass} \land \text{NoRuntimeError} \not\Rightarrow \text{VisualPlacementCorrect}. } $$ 這種錯誤不是單純「AI 推理錯誤」，而可能是： $$ \boxed{ \text{Evidence–Claim Modality Mismatch}. } $$ 本文進一步主張，不同 modality 對不同 Claim 具有不同證據權威。因此定義 **Claim–Modality Authority Matrix**： $$ \boxed{ \mathbf A_M(C,m) = Authority(m\mid C). } $$ 例如： - 「按鈕位置正確」：visual / rendered state 證據權威高； - 「API contract 未破壞」：integration / schema / runtime 證據權威高； - 「secret 未明文落盤」：source / storage / runtime security 證據高於 screenshot； - 「影片播放沒有掉幀」：video / timing / telemetry 高於靜態 screenshot。 因此： $$ \boxed{ \text{More Modalities} \neq \text{Better Evidence by Default}. } $$ 真正需要的是： $$ \boxed{ \text{Right Modality for the Right Claim}. } $$ 本文同時將多 Agent 問題擴張為多觀測者問題。令真實世界狀態為： $$ S^\*, $$ Observer $i$ 取得： $$ \boxed{ O_i = \Pi_i(S^\*), } $$ 其中 $\Pi_i$ 是其： - modality； - sensor； - screen； - machine； - permission； - timestamp； 共同形成的 observation projection。 因此： $$ \boxed{ O_i\neq O_j } $$ 可以在： $$ S^\*=S^\* $$ 完全不變時發生。 本文提出 **Multimodal State Skew**： $$ \boxed{ \Delta O_{ij} = d( O_i(t_i), O_j(t_j) ), } $$ 用以描述多人、多 AI、多設備、多時間點觀測同一 project / world 時的觀測落差。 因此 Paper 04 的共享分層： $$ \text{SharedWorkspace} \neq \text{SharedCanonicalState} \neq \text{SharedObservation} \neq \text{SharedCognition} \neq \text{SharedClosureAuthority} $$ 在本文得到完整的 observation layer。 本文提出 **Shared Observation Fabric（SOF）**，其目的不是把所有影像、log 與 sensor stream 永久塞給每個 Agent，而是讓協作系統能保存： - observation identity； - modality； - timestamp； - environment； - version / commit； - observer； - source provenance； - related claims； - contradictions； - confidence； - supersession。 使 Agent 可以知道： > 我現在的判斷是基於哪一個世界快照？ > 另一個 Agent 說我錯，是因為它推理不同，還是它看到的是另一個 state？ 本文將 disagreement 分解為： $$ \boxed{ D_{ij} \in \{ D_{\mathrm{obs}}, D_{\mathrm{sem}}, D_{\mathrm{goal}}, D_{\mathrm{time}}, D_{\mathrm{authority}}, D_{\mathrm{reason}} \}. } $$ 因此： $$ \boxed{ \text{Disagreement} \neq \text{Reasoning Failure}. } $$ 它可能是 state divergence 的 sensor。 外部研究已提供強烈實證錨點。OSWorld 以真實 desktop 環境、screenshot / accessibility tree 等觀測與 execution-based evaluation 測量 computer-use Agent；2026 的 OSWorld 2.0 更將 visual-spatial precision、dynamic environments、implicit-state inference、cross-source reasoning 與 verification failure 列為長時程 Agent 的主要挑戰，最佳系統在其主要 500-step binary completion metric 上仍只完成 20.6% 任務。2025 的 RegionFocus 顯示，在 GUI Agent 中，單純改變視覺觀測方式與聚焦區域即可大幅提高 grounding 表現；OSWorld-MCP 則進一步顯示 GUI observation 與 tool invocation 是不同能力通道，不能只用單一介面評估。OpenAI 的 computer-using agent 也採用 screenshot → reasoning → action 的感知閉環，顯示 computer-use Agent 的成功本身就是 observation–reasoning–action 的循環，而不是只有文字推理。 本文最終提出： $$ \boxed{ \text{Required Modality Missing} \Rightarrow \text{Independent Closure Certification Forbidden}. } $$ 這不是要求所有任務 always-on multimodality，而是： $$ \boxed{ \text{Task} \rightarrow \text{Claim} \rightarrow \text{Required Perspective} \rightarrow \text{Required Modality} \rightarrow \text{Observation} \rightarrow \text{Evidence} \rightarrow \text{Closure}. } $$ --- # 0. 問題不是「AI 有沒有眼睛」 若 Agent 能理解圖片： $$ Vision=TRUE. $$ 不能推出： $$ \boxed{ \text{Agent will use vision whenever required}. } $$ 所以： $$ \boxed{ \text{Modality Capability} \neq \text{Modality Activation}. } $$ --- # 1. Capability Availability ≠ Evidence Availability 模型可能支援： - vision； - audio； - video； - browser； - runtime； 但實際 task turn 只收到： $$ \boxed{ \text{Text}. } $$ 因此模型內建能力並沒有變成 evidence。 --- # 2. A07 的基礎：Perspective ≠ Modality 既有 A07 已提出： $$ \boxed{ \text{Perspective} \neq \text{Modality}. } $$ Perspective 問： > 從哪個判斷域看？ Modality 問： > 用哪個 evidence channel 看？ --- # 3. 同一 Perspective 可以跨模態 例如 Runtime perspective 可以需要： - logs； - traces； - metrics； - screenshot； - network； - DB state。 所以： $$ \boxed{ \text{Perspective} \leftrightarrow \text{Multi-Modal Evidence Set}. } $$ --- # 4. 同一 Modality 可以支援不同 Perspective 同一 screenshot： - UX 看 affordance； - Frontend 看 layout； - Security 看 data leakage； - Accessibility 看 contrast。 因此： $$ \boxed{ \text{Modality} \neq \text{Judgment Operator}. } $$ --- # 5. 本文的新一步 A07 回答： > 需要從哪些 perspective 與 modality 看？ 本文進一步問： > **如果該 modality 沒有被實際觀測，Agent 還能不能宣告完成？** 答案是： $$ \boxed{ \text{not independently}. } $$ --- # 6. Claim-Centered Verification 令： $$ C $$ 為待驗 Claim。 例如： > button is visible. > API remains backward compatible. > build succeeds. > animation looks smooth. 不同 Claim 需要不同 evidence。 --- # 7. Required Modality Set 定義： $$ \boxed{ \mathcal M_R(C) = \text{minimum modality set sufficient to evaluate }C. } $$ --- # 8. Observed Modality Set 對 Agent $A$： $$ \boxed{ \mathcal M_O(A,t) } $$ 表示在時間 $t$ 實際取得的有效 observation channels。 --- # 9. Epistemic Modality Sufficiency Constraint 若： $$ \boxed{ \mathcal M_R(C) \subseteq \mathcal M_O(A,t), } $$ Agent 才具有候選獨立 closure 資格。 --- # 10. Sufficiency 仍不等於 Correctness 即使： $$ \mathcal M_R(C) \subseteq \mathcal M_O, $$ 仍不表示： $$ C=\text{TRUE}. $$ 它只表示： > Agent 至少看到了足以判定 Claim 的必要證據通道。 --- # 11. Necessary vs Sufficient 某些 modality 是必要但非充分。 例如： > UI position correct. Screenshot 可能必要。 但可能還需要： - viewport size； - browser zoom； - responsive state。 所以： $$ \boxed{ m\in\mathcal M_R } $$ 不表示 $m$ 單獨足夠。 --- # 12. Claim–Modality Authority Matrix 定義： $$ \boxed{ A_{cm} = Authority(m\mid C). } $$ 其中值可暫分： ```text primary supporting weak irrelevant contradictory-capable ``` --- # 13. 例：Visual Placement Claim 對： $$ C_1=\text{indicator position correct}, $$ 可有： ```text source code supporting unit test supporting runtime no-error weak screenshot primary video primary DOM geometry primary/supporting ``` --- # 14. 例：Secret Storage Claim 對： $$ C_2=\text{secret not stored in plaintext}, $$ 可有： ```text screenshot weak source scan primary storage inspection primary runtime trace supporting security scanner primary/supporting ``` --- # 15. Authority Depends on Claim 所以： $$ \boxed{ Authority(m) } $$ 沒有全域固定值。 更正確： $$ \boxed{ Authority(m,C,E). } $$ --- # 16. More Modalities ≠ Better by Default 增加無關 modality： $$ |\mathcal M|\uparrow $$ 可能只增加： - cost； - noise； - context pressure。 所以： $$ \boxed{ \text{Multimodal} \neq \text{Always-On Everything}. } $$ --- # 17. APR 的 Null Modality 既有 APR 已允許： $$ m_t=\varnothing. $$ 表示： > 現在不需要額外感知。 本文保留此原則。 --- # 18. Triggered Multimodality 更合理： $$ \boxed{ \text{Task} \rightarrow \text{Claim} \rightarrow \text{Perspective} \rightarrow \text{ModalityTrigger}. } $$ --- # 19. 綠燈錯置問題 假設 system outputs： ```text test = pass runtime = healthy green light = enabled ``` 但 screenshot 顯示： > 綠燈位於錯誤位置。 --- # 20. 這不是傳統 Test Failure 因為： $$ Test=PASS. $$ 真正失敗的是： $$ \boxed{ \text{Claim Coverage}. } $$ --- # 21. Claim Was Underspecified 如果 test 只驗： > light is active. 而目標是： > light is active at correct position. 則： $$ \boxed{ C_{\mathrm{test}} \subset C_{\mathrm{goal}}. } $$ --- # 22. Evidence–Claim Modality Mismatch 本文定義： $$ \boxed{ M_{\mathrm{mismatch}}(C) } $$ 當： $$ \mathcal M_{\mathrm{used}} \not\supseteq \mathcal M_R(C). $$ --- # 23. False Closure 如果 Agent 在 mismatch 下仍宣告： $$ \text{Done}, $$ 形成： $$ \boxed{ \text{False Closure}. } $$ --- # 24. False Closure ≠ Incorrect Internal Reasoning Agent 可能根據： $$ O_A $$ 做出合理推理。 真正問題： $$ \boxed{ O_A \text{ is insufficient for }C. } $$ --- # 25. World → Observation 令真實世界： $$ S^\*. $$ Observer $i$： $$ \boxed{ O_i = \Pi_i(S^\*). } $$ $\Pi_i$ 包含： - sensor； - modality； - access； - preprocessing； - time； - resolution。 --- # 26. Observation Is Projection 所以： $$ \boxed{ O_i \neq S^\*. } $$ Observation 只是世界狀態的投影。 --- # 27. 不同觀測者可以同時合理 若： $$ O_A\neq O_B, $$ 則： $$ B_A\neq B_B $$ 不一定有人推理錯。 --- # 28. Observation Divergence 定義： $$ \boxed{ D_O(i,j) = d(O_i,O_j). } $$ $d$ 可按： - missing channels； - state version； - spatial region； - time； - resolution； 定義。 --- # 29. Multimodal State Skew 若： $$ O_i(t_i) \neq O_j(t_j), $$ 本文稱： $$ \boxed{ \text{Multimodal State Skew}. } $$ --- # 30. Temporal Skew Agent A： $$ Screenshot(t_1). $$ Agent B： $$ Runtime(t_2). $$ 若： $$ t_1 動態聚焦 relevant visual region，可以顯著改善 GUI Agent grounding benchmark。 研究報告在部分基準上取得超過 20% 的相對大幅提升。 其重要意義不是某一方法排名， 而是： $$ \boxed{ \text{Observation Transformation} } $$ 本身可以大幅改變 Agent capability。 --- # 35. 能力邊界受到觀測接口影響 因此： $$ \boxed{ Capability(A) \neq Capability(ModelOnly). } $$ computer-use domain 更接近： $$ \boxed{ \text{Capability} = \text{Model} + \text{ObservationInterface} + \text{ActionInterface} + \text{Memory} + \text{Verification}. } $$ --- # 36. OSWorld 的基本啟示 OSWorld 以： - real OS； - real apps； - screenshots； - accessibility tree； - actions； - execution-based evaluation； 建立 computer-use benchmark。 這使： $$ \boxed{ \text{Perception} + \text{Action} + \text{World State} } $$ 進入能力評估本身。 --- # 37. OSWorld 2.0 2026 OSWorld 2.0 將任務擴張為： - 108 long-horizon workflows； - human median 約 1.6 hours； - 平均約 318 tool calls（在其指定 Agent 設定下）。 並特別設計： - streaming interaction； - dynamic environments； - cross-source reasoning； - implicit-state inference； - visual-spatial precision。 --- # 38. OSWorld 2.0 的 verification 啟示 研究報告指出 frontier agents 常： - lose track of constraints； - miss mid-task information； - guess instead of asking； - skip verification； - fail on hidden state recovery。 這幾乎直接對應本文： $$ \boxed{ \text{Observation} + \text{StateTracking} + \text{Verification} } $$ 三層問題。 --- # 39. Partial Score vs Binary Completion OSWorld 2.0 最佳系統在其主要設定下： - binary completion：20.6%； - partial score：54.8%。 這也提醒： $$ \boxed{ \text{Partial Progress} \neq \text{Task Closure}. } $$ --- # 40. Computer Use Agent 的感知循環 OpenAI computer-using agent 的公開架構採： $$ \boxed{ \text{Screenshot} \rightarrow \text{Reasoning} \rightarrow \text{Action} \rightarrow \text{NewScreenshot}. } $$ 這是標準感知—行動閉環。 --- # 41. Action Without Re-Observation Is Dangerous 如果： $$ Action_t $$ 後不重新取得： $$ Observation_{t+1}, $$ Agent 只能假設 action 成功。 因此： $$ \boxed{ \text{Action} \not\Rightarrow \text{StateTransitionConfirmed}. } $$ --- # 42. Observe–Act–Verify Loop 本文推薦： $$ \boxed{ \text{Observe} \rightarrow \text{Act} \rightarrow \text{Reobserve} \rightarrow \text{Verify}. } $$ --- # 43. Verification Modality Can Differ from Action Modality Agent 用： - mouse； 執行 action。 但驗證可以用： - screenshot； - DOM； - database； - API state。 所以： $$ \boxed{ \text{ActionChannel} \neq \text{VerificationChannel}. } $$ --- # 44. OSWorld-MCP 的啟示 OSWorld-MCP 2025 顯示： - GUI interaction； - MCP tool invocation； 是可分離能力。 加入工具後部分 Agent success rate 提升，但 strongest models 的 tool invocation 使用仍非完整。 因此： $$ \boxed{ \text{Tool Access} \neq \text{Tool Use} \neq \text{GUI Observation}. } $$ --- # 45. Multi-Channel Verification 同一 Claim 可以有： $$ \boxed{ E(C) = \{ e_1^{\mathrm{visual}}, e_2^{\mathrm{runtime}}, e_3^{\mathrm{state}} \}. } $$ 多通道互證可以提高 closure confidence。 --- # 46. Cross-Modal Agreement 定義： $$ \boxed{ \text{Agreement}(C) = \text{Consistency}( E_1(C), E_2(C), \ldots ). } $$ --- # 47. Cross-Modal Contradiction 如果： ```text test = pass screenshot = wrong ``` 不應： > 多數決。 而應： $$ \boxed{ \text{Identify claim authority}. } $$ --- # 48. Claim Authority Resolution 例如 Claim： > rendered button is centered. 則 screenshot / geometry 具有 primary authority。 Test 如果只驗： > component exists. 不能覆蓋它。 --- # 49. Evidence Hierarchy Must Be Claim-Relative 所以： $$ \boxed{ \text{Evidence Hierarchy} = H(C). } $$ 不是固定： > tests always beat images. --- # 50. Observer Identity Observation record 至少應含： $$ \boxed{ \text{ObserverID}. } $$ 因為： - human screenshot； - Agent screenshot； - sensor reading； 有不同 provenance。 --- # 51. Observation Identity 本文提出： $$ \boxed{ OBS\text{-}ID. } $$ 例如： ```yaml observation_id: OBS-10291 modality: screenshot captured_at: 2026-09-18T15:41:22+08:00 environment: chrome-local-build-812 commit: abc123 observer: agent-a claims: - CLM-17 status: active ``` --- # 52. Shared Observation Fabric 本文定義： $$ \boxed{ SOF = \text{Shared Observation Fabric}. } $$ 它不是大型檔案倉庫的同義詞。 --- # 53. SOF 的核心作用 SOF 至少管理： - identity； - modality； - time； - environment； - provenance； - claim linkage； - contradiction； - freshness； - supersession。 --- # 54. Observation Payload 可以外部保存 大型： - video； - image； - trace； - sensor stream； 不必全部塞進 metadata store。 只需： $$ \boxed{ \text{ObservationMetadata} + \text{ArtifactRef}. } $$ 這和 UIR / SEDB 的 representation 分層可以自然相接。 --- # 55. Shared Observation ≠ Shared Payload Copy Agent B 不必把 Agent A 的整段 video 複製進 context。 可以先知道： ```text OBS-17 exists supports CLM-22 captured after commit X ``` 需要時再 resolve payload。 --- # 56. Observation Freshness 定義： $$ \boxed{ F_O = t_{\mathrm{now}} - t_{\mathrm{observation}}. } $$ 但是否 stale 應 task-relative。 --- # 57. Fast-Changing State 例如： - UI； - market； - deployment； 需要低： $$ F_O. $$ 靜態 architecture diagram 可以允許更高 freshness gap。 --- # 58. Observation Supersession 新 observation： $$ O_{t+1} $$ 可以： - supersede； - contradict； - refine； 舊 observation。 不能只是 overwrite。 --- # 59. Observation Graph 定義： $$ \boxed{ G_O = (V_O,E_O). } $$ edge types： ```text supports contradicts supersedes derived_from same_state_as different_environment ``` --- # 60. Claim–Observation Graph 再與 Claim graph 相接： $$ \boxed{ G_{CO} = (C,O,E_{CO}). } $$ 使 closure 可追溯。 --- # 61. Closure Is Evidence-Bearing State 本文主張： $$ \boxed{ \text{Done} } $$ 不應只是 boolean。 更合理： $$ \boxed{ \text{ClosureState} = ( \text{Claim}, \text{Evidence}, \text{Modalities}, \text{Observer}, \text{Version}, \text{Authority} ). } $$ --- # 62. Closure Certification Authority 並非每個 Agent 都可： $$ \boxed{ \text{CAN\_CERTIFY}. } $$ --- # 63. Certification Permissions 可以區分： ```text CAN_OBSERVE CAN_PROPOSE CAN_ACT CAN_TEST CAN_VERIFY_MODALITY CAN_CERTIFY_CLAIM ``` --- # 64. Work Permission ≠ Closure Authority 所以： $$ \boxed{ \text{CAN\_ACT} \neq \text{CAN\_CERTIFY}. } $$ 這延續 Paper 04。 --- # 65. Self-Certification Risk 同一 Agent： - implement； - observe； - judge； 可能產生： $$ \boxed{ \text{Self-Confirmation Bias}. } $$ --- # 66. Independent Observation 高風險 Claim 可以要求： $$ \boxed{ \text{Observer}_A \neq \text{Implementer}_A. } $$ 或不同 modality 的 cross-check。 --- # 67. 多 Agent 並不自動提供獨立性 如果兩個 Agent： - 使用同一 context； - 同一 model； - 同一 screenshot； 可能高度相關。 所以： $$ \boxed{ \text{Multiple Agents} \neq \text{Independent Evidence}. } $$ --- # 68. Evidence Independence 可記錄： - model； - source； - modality； - data； - prompt family； 用以估計 evidence correlation。 --- # 69. Observation–Interpretation Split Observation： $$ O. $$ Interpretation： $$ I(O). $$ 不能把兩者混成： > AI 看到了 X。 --- # 70. Raw Observation vs Derived Judgment 因此： $$ \boxed{ O \rightarrow J. } $$ 應保留 lineage。 --- # 71. 多人類也有相同問題 這不是 AI 特有。 人類工程師也會： - 看不同 screen； - 記得不同版本； - 誤解同一畫面。 AI 只是把這個問題規模化。 --- # 72. Human–AI Observation Asymmetry 人類可能： - 看實際機器； - 知道現場。 AI 只看到： - screenshot。 也可能反過來： AI 看： - logs； - traces； - database； 人類只看 GUI。 --- # 73. Complementary Observation 因此： $$ \boxed{ O_{H+AI} = O_H \cup O_{AI} } $$ 可以比任一方更完整。 --- # 74. Observation Fusion 但 fusion 不應直接： > 合併全部。 需要： - timestamp alignment； - provenance； - contradiction handling。 --- # 75. Cross-Modal State Alignment 若： $$ \text{Screenshot}(t_1), \text{Log}(t_2), \text{DB}(t_3), $$ 應先確認： $$ t_1\approx t_2\approx t_3 $$ 是否落在同一 target state window。 --- # 76. Observation Window 定義： $$ \boxed{ W_O(C) = [t_a,t_b]. } $$ Claim 只接受該時間窗內 observation。 --- # 77. Event-Sensitive Claims 例如： > transaction succeeded. 需要： - before state； - action； - after state。 單一 screenshot 不足。 --- # 78. Temporal Evidence 因此 required modality 可以包含： $$ \boxed{ \text{TemporalSequence}. } $$ 不只是靜態 carrier。 --- # 79. Video 不等於多張圖片 某些 Claim 依賴： - motion； - continuity； - latency。 所以： $$ \boxed{ \text{Video} \neq \sum \text{Images} } $$ 作為判斷語義。 --- # 80. Runtime State 不等於 Log Text Log 是 runtime 的投影。 因此： $$ \boxed{ \text{Log} \neq \text{RuntimeState}. } $$ 也可能： - missing events； - delayed log； - incorrect logging。 --- # 81. Sensor ≠ World 所有 modality 都是 projection。 所以本文不建立： > 視覺是真相。 而是： $$ \boxed{ \text{Claim-specific observation sufficiency}. } $$ --- # 82. Modality Failure Types 本文提出： $$ \boxed{ F_M \in \{ \text{Missing}, \text{Stale}, \text{Misaligned}, \text{LowResolution}, \text{WrongRegion}, \text{WrongEnvironment}, \text{Corrupted}, \text{Misinterpreted} \}. } $$ --- # 83. Missing 必要 modality 根本沒取得。 --- # 84. Stale 取得的是舊 state。 --- # 85. Misaligned 不同 modality 不屬於同一狀態。 --- # 86. Low Resolution channel 存在但資訊不足。 --- # 87. Wrong Region Agent 看到了 screenshot， 但沒看關鍵區域。 --- # 88. Wrong Environment 看的是： - staging； 要驗的是： - production。 --- # 89. Corrupted 資料本身失真。 --- # 90. Misinterpreted observation 足夠， 但 reasoning 錯。 只有這個才比較接近純推理 failure。 --- # 91. Failure Typing 因此： $$ \boxed{ \text{Visual Failure} } $$ 本身太粗。 應分： $$ \text{ObservationFailure} \quad \text{vs}\quad \text{InterpretationFailure}. $$ --- # 92. Modality Debt 本文提出： $$ \boxed{ D_M = \text{Modality Debt}. } $$ 表示： > 工作流長期依賴某種 Claim，卻沒有建立對應 observation / verification channel 所累積的驗證債務。 --- # 93. 例 公司大量用 AI 改 frontend， 但沒有： - screenshot regression； - browser validation； - visual diff。 則： $$ \boxed{ D_M\uparrow. } $$ --- # 94. 多 Agent 會放大 Modality Debt 因為： Agent A 說： > tests green. Agent B 直接接受： > done. 如果沒有 claim-modality policy， 錯誤會跨 Agent 傳播。 --- # 95. Observation Propagation Error 定義： $$ \boxed{ E_P = \text{error propagated from insufficient observation through handoff}. } $$ --- # 96. Shared Error ≠ Shared Truth 多人都相信： $$ B_i=C $$ 不代表： $$ C=\text{TRUE}. $$ 如果所有人共享同一個不足 observation。 --- # 97. Consensus Is Not Verification 因此： $$ \boxed{ \text{Consensus} \neq \text{Verification}. } $$ --- # 98. Multi-Agent Voting 限制 如果所有 Agent： - same model family； - same evidence； - same blind spot； 投票沒有真正增加 epistemic independence。 --- # 99. Better Pattern: Evidence Diversity 高風險 closure 應優先增加： $$ \boxed{ \text{Evidence Diversity} } $$ 而不只是： $$ \text{Agent Count}. $$ --- # 100. Shared Observation Fabric + Canonical State Paper 04 的： $$ S_G $$ 保存 operational truth。 本文的： $$ SOF $$ 保存： > supporting observation topology。 兩者： $$ \boxed{ SOF \leftrightarrow S_G. } $$ --- # 101. Observation Does Not Directly Overwrite State 新的 screenshot 不應直接： > 更新 canonical state。 需要： $$ \boxed{ \text{Observe} \rightarrow \text{Interpret} \rightarrow \text{Validate} \rightarrow \text{Commit}. } $$ --- # 102. SEDB / UIR 接口 如果未來接入 SEDB–UIR： - SEDB 保存 semantic observation state； - UIR resolve native payload； - Artifact Store 保存 video / image / trace。 因此： $$ \boxed{ SOF } $$ 可以是上層 coordination abstraction。 --- # 103. Required Modality Policy 可寫： ```yaml claim_type: ui.visual-placement required: - screenshot supporting: - dom_geometry - runtime closure: independent_visual_verification: true ``` --- # 104. Dynamic Modality Selection 不是所有 task 事先完全知道。 Agent 可在： $$ \boxed{ \text{OutcomeError} } $$ 後觸發： $$ \text{PerspectiveReassessment} \rightarrow \text{ModalityExpansion}. $$ --- # 105. Surprise Trigger 如果： $$ ExpertLevelSurprise>\tau, $$ 應問： > 我是否缺少觀測通道？ --- # 106. Repeated Failure Trigger 相同 defect 重複： $$ F_1,F_2,F_3 $$ 可能表示： > 原 perspective / modality 不足。 --- # 107. Cross-Boundary Contradiction 例如： ```text tests pass user says UI wrong ``` 應觸發： $$ \boxed{ \text{Cross-Modality Investigation}. } $$ --- # 108. Modality Escalation 可形成： ```text text → code → runtime → screenshot → video → human observation ``` 不是固定順序，而是 escalation policy。 --- # 109. Cost-Aware Observation 每種 modality 有： $$ Cost(m). $$ 目標： $$ \boxed{ \min \sum_m Cost(m) } $$ subject to： $$ \boxed{ \mathcal M_R(C) \subseteq \mathcal M_O. } $$ --- # 110. Minimum Sufficient Observation 本文提出： $$ \boxed{ MSO(C) = \text{Minimum Sufficient Observation Set}. } $$ 這避免： > always-on multimodality。 --- # 111. MSO 與 Paper 02 的 MAC 類似 Paper 02： $$ MAC(q) = \text{Minimum Absorbable Configuration}. $$ 本文： $$ MSO(C) = \text{Minimum Sufficient Observation}. $$ 兩者都是： > 避免全面升級，找到最小閉包條件。 --- # 112. Closure Confidence 若要使用 confidence： $$ \boxed{ Conf(C) = f( \text{Coverage}, \text{Authority}, \text{Freshness}, \text{Consistency}, \text{Independence} ). } $$ 此為結構候選，不是已校準模型。 --- # 113. 不確定度應顯式 若 modality 不足： ```text status: insufficient_observation ``` 比： ```text status: done confidence: 0.55 ``` 更正確。 --- # 114. Unknown ≠ Failed 因此： $$ \boxed{ \text{Unknown} \neq \text{False} \neq \text{Failed}. } $$ --- # 115. Closure States 可以定義： ```text UNOBSERVED PARTIALLY_OBSERVED OBSERVED VERIFIED CONTRADICTED STALE CERTIFIED ``` --- # 116. Certified 是最高治理狀態 $$ CERTIFIED $$ 不只是： > Agent believes true. 而是： - required modalities satisfied； - evidence valid； - authority valid； - version current。 --- # 117. Observation Closure Runtime 未來可建立： $$ \boxed{ \text{OCRuntime}. } $$ 注意不要與 OCR 光學文字辨識縮寫混淆。 更完整可叫： $$ \boxed{ \text{MOC Runtime} = \text{Multimodal Observation Closure Runtime}. } $$ --- # 118. Runtime Flow $$ \boxed{ \text{Task} \rightarrow \text{Claims} \rightarrow \text{Perspectives} \rightarrow MSO \rightarrow \text{Observe} \rightarrow \text{Evidence} \rightarrow \text{Verify} \rightarrow \text{Certify}. } $$ --- # 119. 可反駁假說 H1 對 GUI task： > 加入 claim-specific visual verification 應降低 false closure rate。 --- # 120. 可反駁假說 H2 對需要多模態的 task： > 缺少 required modality 時，Agent 的 confidence calibration 會惡化。 --- # 121. 可反駁假說 H3 Shared Observation Fabric 應降低 multi-agent disagreement 中由： - stale； - wrong branch； - wrong environment； 造成的比例。 --- # 122. 可反駁假說 H4 Claim–Modality Authority policy 比單純「多 Agent 投票」更能降低 correlated false closure。 --- # 123. 可反駁假說 H5 動態 modality escalation 在維持較低 observation cost 的同時，可接近 always-on multimodal verification 的可靠度。 --- # 124. 可反駁假說 H6 long-horizon Agent 的主要失敗中，將有顯著比例可歸因於： - state tracking； - observation freshness； - hidden-state recovery； - skipped verification； 而不只是 reasoning capacity。 OSWorld 2.0 已提供相容的初步證據。 --- # 125. 最小資料模型 ```yaml claim_id: claim_type: required_modalities: primary_modalities: supporting_modalities: observer: observation_ids: environment: commit: timestamp: freshness: cross_modal_consistency: verification_status: certifier: authority: closure_state: ``` --- # 126. Shared Observation Record ```yaml observation_id: modality: artifact_ref: captured_at: observer: environment: state_version: related_claims: supports: contradicts: supersedes: confidence: quality: ``` --- # 127. 與 Paper 06 的接口 Paper 05 已回答： > Agent 要看到什麼，才能合法宣稱「知道」或「完成」？ 最後 Paper 06 要問： > 就算它真的看到了、做對了，也是否應該被允許自主做？ 因此： $$ \boxed{ \text{ObservationClosure} \rightarrow \text{DeployableAutonomy}. } $$ --- # 128. Claim Boundary ## $K$ ｜已有外部支持 已有研究支持： - computer-use Agent 表現高度依賴 observation / grounding / execution environment； - visual-spatial precision、implicit state、dynamic environment、verification 是 long-horizon Agent 的重要瓶頸； - 改變 visual observation strategy 可以顯著改變 GUI grounding 表現； - GUI 操作與 tool invocation 是可分離能力； - screenshot → reasoning → action 是 computer-use Agent 的實際架構路徑之一。 ## $E$ ｜本文新推導 本文提出： - Epistemic Modality Sufficiency Constraint； - Claim–Modality Authority Matrix； - Evidence–Claim Modality Mismatch； - Multimodal State Skew； - Shared Observation Fabric； - Minimum Sufficient Observation； - Modality Debt； - Observation Propagation Error； - Shared Observation ≠ Shared Cognition； - Work Permission ≠ Closure Certification Authority。 ## $S$ ｜需要 benchmark / simulation - false closure rate； - modality ablation； - SOF usefulness； - cross-modal contradiction resolution； - evidence independence。 ## $X$ ｜需要企業／實際 Agent field study - multimodal verification policy； - GUI production defects； - shared observation state； - multimodal human–AI disagreement； - claim-specific certification。 ## $F$ ｜工程化 - Shared Observation Fabric； - MOC Runtime； - Claim–Modality Registry； - Observation Graph； - Closure Certification Runtime； - multimodal evidence ledger。 --- # 129. 結論 多模態 AI 的真正重要性不是： > 模型可以看更多東西。 而是： > **現實問題的真偽本來就分散在不同 evidence channels。** 程式碼可以告訴 Agent： > implementation looks correct. 測試可以告訴 Agent： > specified behavior passes. runtime 可以告訴 Agent： > process did not crash. 但 screenshot 才可能告訴它： > green light is in the wrong place. 因此： $$ \boxed{ \text{One Evidence Channel} \neq \text{The Whole State}. } $$ 真正可靠的 Agent 必須先問： > 我現在要驗證的 Claim 是什麼？ 再問： > 這個 Claim 需要什麼 evidence？ 所以： $$ \boxed{ \text{Task} \rightarrow \text{Claim} \rightarrow \text{Perspective} \rightarrow \text{RequiredModality} \rightarrow \text{Observation} \rightarrow \text{Evidence} \rightarrow \text{Closure}. } $$ 這與傳統「模型有 vision 就用 vision」完全不同。 本文最核心的限制是： $$ \boxed{ \mathcal M_{\mathrm{required}}(C) \not\subseteq \mathcal M_{\mathrm{observed}}(A) \Rightarrow Certify_A(C)=FALSE. } $$ 注意： $$ Certify_A(C)=FALSE $$ 不表示： $$ C=FALSE. $$ 它表示： > **Agent 沒有足夠認識論資格判定。** 這個區分會變得越來越重要。 尤其當多人類、多 Agent、多機器、多分支、多時間點同時存在時： $$ \boxed{ \text{SharedWorkspace} \neq \text{SharedState} \neq \text{SharedObservation}. } $$ 而 disagreement 也不必立即解讀為： > 有一個 AI 很笨。 可能只是： $$ O_i\neq O_j. $$ 因此未來真正成熟的 Multi-Agent Runtime，除了 Shared State，還需要： $$ \boxed{ \text{Shared Observation Fabric}. } $$ 使每一個 Claim 的 closure 都可以回答： - 看了什麼； - 什麼時候看的； - 在哪個 environment； - 哪個版本； - 誰看的； - 哪些 modality； - 是否有 contradiction； - 誰有 certification authority。 只有這樣： $$ \boxed{ \text{Done} } $$ 才不再只是一盞可能亮錯位置的綠燈。 --- # 參考文獻與研究錨點 ### 內部前置研究 [INT-01] Neo.K. 《AI 組織吸收與耦合拓撲 00：軟體時代鑲嵌與 AI 組織拓撲》v0.2. EveMissLab, 2026. [INT-02] Neo.K. 《AI 組織吸收與耦合拓撲 01：有效問題覆蓋論》v0.1. EveMissLab, 2026. [INT-03] Neo.K. 《AI 組織吸收與耦合拓撲 02：企業 AI 吸收論》v0.1. EveMissLab, 2026. [INT-04] Neo.K. 《AI 組織吸收與耦合拓撲 03：重構權限與相容性債務》v0.1. EveMissLab, 2026. [INT-05] Neo.K. 《AI 組織吸收與耦合拓撲 04：多主體 AI 耦合拓撲》v0.1. EveMissLab, 2026. [INT-06] Neo.K. A07《能力視角啟動不對稱》v0.2. EveMissLab, 2026. [INT-07] Neo.K. APR Multimodal / Perspective Series. EveMissLab, 2026. [INT-08] Neo.K. 《MRMIC–MGCB–MSSP 統合多模態數位具身架構》v0.1. EveMissLab, 2026. ### 外部研究 [R1] Xie, T., Zhang, D., Chen, J., et al. **OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments.** NeurIPS 2024 / arXiv:2404.07972. [R2] Yuan, M., Zhou, Z., Xiong, X., et al. **OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks.** arXiv:2606.29537, 2026. [R3] Luo, T., Logeswaran, L., Johnson, J., & Lee, H. **Visual Test-time Scaling for GUI Agent Grounding.** arXiv:2505.00684, 2025. [R4] Jia, H., Liao, J., Zhang, X., et al. **OSWorld-MCP: Benchmarking MCP Tool Invocation in Computer-Use Agents.** arXiv:2510.24563, 2025. [R5] OpenAI. **Computer-Using Agent.** 2025. https://openai.com/index/computer-using-agent/ --- *AI Organizational Absorption & Coupling Topology — Paper 05 v0.1* *EveMissLab — Boundless Knowledge. One Promise Forward.*