← Archive
lm-004791 · 2026-10

能力—視角啟動不對稱 v0.2

下載 MD 檔 ⬇

能力—視角啟動不對稱 v0.2

——為什麼前沿 AI 仍會犯專家眼中的低階錯誤

English Title: Capability–Perspective Activation Asymmetry in Frontier AI Engineering
系列:《綠燈錯置:AI 操作意圖不對齊與完成失真》07 / 08
作者: Neo.K × AI 協作
版本: v0.2
日期: 2026-09-16
文件性質: AI Engineering/Agent Runtime/Multimodal Perception/Software Engineering/Active Perception/Global Observation
承接: A01〈綠燈錯置〉、A03〈局部正確與全域失敗〉、A06〈生成—治理缺口與 AI 原生結構負擔〉
既有方法基座: Adaptive Perceptual Reading(APR)、Agentic Perception Runtime、Project-World Cognition、Global Observer、Global-First Completion
後續接口: A08〈同質綠燈:多 Agent 不等於多視角〉、Series B〈宏觀個體導向的動態全域觀察方法論〉

機構: EveMissLab/一言諾科技有限公司


摘要

前沿 AI 可以同時在程式設計、系統架構、視覺理解、資料分析、自然語言、數學推理與工具使用上展現很高能力,卻仍可能在實際工程工作流中犯出某一領域專家一眼即可辨識的低階錯誤。例如:程式碼、型別檢查與 component tests 全部通過,但畫面中按鈕明顯互相覆蓋;後端邏輯局部正確,卻沒有注意使用者實際體驗中的 end-to-end latency;遊戲技能狀態機沒有 bug,卻完全忽略玩家根本看不懂可互動物件;架構 review 很完整,卻從頭到尾沒有真正查看 runtime trace、GUI、外部服務狀態或目標平台。

這類現象常被簡化為:

模型「不會」。

本文提出另一個更一般、且可工程驗證的分解:

AI Capability≠Activated Perspective≠Observed Evidence≠Effective Performance.\boxed{ \text{AI Capability} \neq \text{Activated Perspective} \neq \text{Observed Evidence} \neq \text{Effective Performance}. }

令 domain dd 的 latent capability 為 CdC_d,perspective / role activation 為 PdP_d,必要 observation 是否被取得為 OdO_d,觀察解析度為 RdR_d,reasoning / integration quality 為 QdQ_d,action / execution quality 為 AdA_d。則實際工作表現不應只看:

Cd.C_d.

概念上可寫成 gate / bottleneck 模型:

Cdeff=Φ(Cd,Pd,Od,Rd,Qd,Ad).\boxed{ C_d^{eff} = \Phi( C_d, P_d, O_d, R_d, Q_d, A_d ). }

在最簡乘積 heuristic 下:

Cdeff≈CdPdOdRdQdAd,C_d^{eff} \approx C_d P_d O_d R_d Q_d A_d,

或以 bottleneck 觀點:

Cdeff≲min⁡(Cd,Pd,Od,Rd,Qd,Ad).C_d^{eff} \lesssim \min( C_d,P_d,O_d,R_d,Q_d,A_d ).

這些式子不是心理學或模型機制的精確定律,而是工程診斷語言。它們要表達的是:latent capability 很高,並不能抵消 perspective 沒被啟動、必要 evidence 根本沒有進入推理、或 observation resolution 過低。

本文將此現象定義為:

Capability–Perspective Activation Asymmetry

能力—視角啟動不對稱

並進一步區分:

  • Latent Capability Gap;
  • Perspective Activation Gap;
  • Modality Activation Gap;
  • Observation Acquisition Gap;
  • Observation Resolution Gap;
  • Evidence Freshness Gap;
  • Cross-Perspective Integration Gap;
  • Action Realization Gap。

本文特別提出 Perspective Lock、Pseudo-Globality、Expert-Level Surprise、Activation Coverage、Counterfactual Capability Audit 等概念,並把「AI 為什麼會犯看似不相稱的低階錯誤」從單一模型能力評價,改造成一條可以逐層定位的因果鏈:

Capability→PerspectiveActivation→Observation→Evidence→Resolution→Reasoning→Action→Outcome.\boxed{ \text{Capability} \rightarrow \text{PerspectiveActivation} \rightarrow \text{Observation} \rightarrow \text{Evidence} \rightarrow \text{Resolution} \rightarrow \text{Reasoning} \rightarrow \text{Action} \rightarrow \text{Outcome}. }

外部研究提供了清楚近鄰。ACL 2025 的 ActiView 專門測試 Multimodal LLM 的 active perception,要求模型在受限視野下主動 zoom / shift 感知範圍;其對 30 個模型的評估發現 active-perception ability 仍存在顯著缺口。這說明「能處理圖片」與「能主動決定接下來該看哪裡」不是同一能力。2026 年 Selective Perception for Robot 則使用 task-aware routing 動態選擇多 camera views,指出把所有視覺輸入一律均勻處理不但成本高,task-irrelevant background 還可能形成 noise。2025 的 GUIRepair 更直接在軟體工程中顯示:只依賴文字與 code 的 automated repair 對 visual issue 存在明顯限制;將 screenshot→code comprehension 與 patch→render re-observation 接入 cross-modal loop,可改善 fault comprehension 與 patch validation。

這些工作與本文的關係不是「證明本文所有理論」,而是提供一組重要外部支持:

Perceptual capability≠active perceptual control.\boxed{ \text{Perceptual capability} \neq \text{active perceptual control}. }

以及:

Available modality≠task-relevant modality activated.\boxed{ \text{Available modality} \neq \text{task-relevant modality activated}. }

本文進一步把 active perception 從圖片/機器人/影片推廣到 AI-native engineering 的角色與專業視角層:對一個軟體、遊戲或 Agent 系統而言,前端、後端、UX、安全、架構、資料、runtime、玩家、營運等角色,本質上可以被視為不同 observation operators。高能力 AI 的「全域」不應等於同時永久啟動所有角色,而應是:

Global Perspective Awareness+Dynamic Perspective Activation+Adaptive Evidence Acquisition.\boxed{ \text{Global Perspective Awareness} + \text{Dynamic Perspective Activation} + \text{Adaptive Evidence Acquisition}. }

這也形成第二系列方法論的直接入口。


1. 問題:AI 明明會,為什麼這次像完全不會?

現代 frontier model 的能力 profile 已經很難用單一:

CC

描述。

同一模型可能:

  • 會寫前端;
  • 會寫後端;
  • 看得懂 screenshot;
  • 能分析 architecture;
  • 能做安全 reasoning;
  • 能理解 game design;
  • 能跑 browser;
  • 能讀 logs;
  • 能操作工具;
  • 能理解數學。

但實際工作流可能只讓它做:

read code
→ edit code
→ run tests
→ inspect diff
→ done

如果真正問題位於:

Visual,\text{Visual}, Runtime,\text{Runtime}, UX,\text{UX}, Performance,\text{Performance}, Security,\text{Security},

或:

CrossBoundary,\text{CrossBoundary},

那麼模型即使「理論上會」,也可能完全沒有取得該 domain 的 observation。

所以:

Capability Possession⇏Capability Deployment.\boxed{ \text{Capability Possession} \nRightarrow \text{Capability Deployment}. }

2. Latent Capability 與 Effective Capability

對 domain dd,令:

Cd=latent capability.C_d = \text{latent capability}.

這表示:

在適當 prompt、context、tool、observation 與 task framing 下,模型具有完成該類 cognition 的能力。

但實際 task 的 effective capability:

CdeffC_d^{eff}

還取決於:

Pd=perspective activation,P_d = \text{perspective activation}, Od=observation acquisition,O_d = \text{observation acquisition}, Rd=observation resolution,R_d = \text{observation resolution}, Qd=reasoning / integration quality,Q_d = \text{reasoning / integration quality}, Ad=action realization.A_d = \text{action realization}.

因此:

Cdeff=Φ(Cd,Pd,Od,Rd,Qd,Ad).\boxed{ C_d^{eff} = \Phi( C_d,P_d,O_d,R_d,Q_d,A_d ). }

3. 乘積式只是 Gate Heuristic

可以用:

Cdeff≈CdPdOdRdQdAdC_d^{eff} \approx C_dP_dO_dR_dQ_dA_d

表達「任何一個近零 gate 都可能把總有效能力壓低」。

例如:

Cd=0.95,C_d=0.95,

但:

Pd=0.1,Od=0.1,P_d=0.1, \qquad O_d=0.1,

則即使 reasoning 很強,最後也可能表現很差。

但本文不主張這六個量真正在模型內部以實數乘法運作。

更保守的理解是:

effective performance is jointly constrained by these stages.\boxed{ \text{effective performance is jointly constrained by these stages}. }

4. Bottleneck Model

另一種更安全的工程近似:

Cdeff≲min⁡(Cd,Pd,Od,Rd,Qd,Ad).\boxed{ C_d^{eff} \lesssim \min( C_d,P_d,O_d,R_d,Q_d,A_d ). }

意思不是 mathematically exact。

而是:

若模型根本沒有觀察畫面,視覺 reasoning 能力再強也無法直接判定當前 rendered state。

同理:

如果沒有 production runtime evidence,architecture reasoning 只能在 prior / source projection 上推測。


5. 能力失敗的八層診斷

當 AI 犯錯時,本文建議不要直接寫:

model incapable

而先分八層。

L1 — Latent Capability Failure

模型真的不具備該 domain 能力:

Cd↓.C_d\downarrow.

L2 — Perspective Activation Failure

能力存在,但:

Pd≈0.P_d\approx0.

L3 — Modality Activation Failure

domain perspective 已想到,但 relevant modality 沒打開。

例如:

visual perspective requested
but no screenshot/browser observation acquired

L4 — Observation Acquisition Failure

工具可用,但沒有取得真正 relevant evidence。

L5 — Resolution Failure

有 observation,但:

  • crop 錯;
  • resolution 不夠;
  • time window 不夠;
  • wrong log range;
  • wrong file slice。

L6 — Evidence Freshness Failure

看到的是舊狀態:

Evidencet≠Worldt.\text{Evidence}_t \neq \text{World}_t.

L7 — Cross-Perspective Integration Failure

各局部 evidence 都有,但沒有合成同一 macro-object model。

L8 — Action Realization Failure

已經看懂、也 reasoning 正確,但 patch / execution 做錯。


6. 這八層對「低級錯誤」非常重要

例如:

AI 把按鈕做出畫面外。

可能是:

真正不懂 CSS

L1.L1.

也可能是:

只以 code reviewer 身分工作

L2.L2.

沒有啟動 browser / screenshot

L3.L3.

browser 開了錯 viewport

L4/L5.L4/L5.

screenshot 是 patch 前

L6.L6.

看見按鈕,但沒有把 layout、interaction、responsive breakpoint 放在同一模型

L7.L7.

找對原因但改錯 selector

L8.L8.

這八種 failure 的修法完全不同。


7. 「模型能力」常被 Runtime Configuration 污染

如果評估只看一次 execution,

就可能把:

RuntimeConfiguration\text{RuntimeConfiguration}

造成的失敗錯記為:

ModelCapability.\text{ModelCapability}.

因此:

ObservedFailure≠LatentCapabilityFailure.\boxed{ \text{ObservedFailure} \neq \text{LatentCapabilityFailure}. }

需要:

causal attribution.\text{causal attribution}.

8. 能力的 operational definition 必須帶條件

更完整地,模型能力應表示:

Cd(M∣Context,Tools,Observation,Prompt,Budget,Workflow).\boxed{ C_d( M \mid \text{Context}, \text{Tools}, \text{Observation}, \text{Prompt}, \text{Budget}, \text{Workflow} ). }

而不是:

Cd(M).C_d(M).

這不是說 benchmark 沒有意義。

而是說:

agentic runtime 中的 observable competence 是 conditional competence。


9. Perspective 是什麼?

本文使用:

Perspective

不是人格扮演。

不是:

pretend you are a UX designer

而是:

a task-relevant observation / judgment operator.\boxed{ \text{a task-relevant observation / judgment operator}. }

例如:

PUXP_{\text{UX}}

會問:

  • 使用者如何看見?
  • feedback 是否充分?
  • interaction 是否可理解?
  • perceived latency 如何?
PsecurityP_{\text{security}}

會問:

  • trust boundary 在哪?
  • authority 是否正確?
  • input 是否 untrusted?
  • blast radius 如何?
ParchitectureP_{architecture}

會問:

  • state ownership?
  • dependencies?
  • lifecycle?
  • coupling?
  • boundary?

所以 perspective 是:

QuestionSet+ObservationPolicy+FailurePrior+EvaluationCriteria.\boxed{ \text{QuestionSet} + \text{ObservationPolicy} + \text{FailurePrior} + \text{EvaluationCriteria}. }

10. Role Label 不等於 Perspective Activation

prompt 寫:

You are the architect.

不能保證:

Parchitecture=1.P_{architecture}=1.

如果 Agent 實際只:

  • 看 current diff;
  • 看 unit tests;
  • 看 README;

卻沒有:

  • dependency graph;
  • runtime;
  • state ownership;
  • boundary;
  • history;

那只是:

Architect Label\boxed{ \text{Architect Label} }

不一定是:

Architectural Observation.\boxed{ \text{Architectural Observation}. }

11. Perspective Activation 的最低判準

本文建議:

Activated(Pd)=1\text{Activated}(P_d)=1

至少需要:

  1. domain-relevant question set 被打開;
  2. relevant unknowns 被辨識;
  3. evidence policy 有機會改變;
  4. verifier criteria 與 domain 相符。

若只是:

role_name = security_reviewer

但做的仍是:

same code diff + same unit tests

則:

PdP_d

可能只是 nominally active。


12. Perspective Lock

本文定義:

Perspective Lock

若 workflow 在多輪中持續使用:

PkP_k

並在 evidence 不足或 repeated failure 出現後仍不考慮切換:

Pt=Pk∀t∈[t0,tn],P_t=P_k \quad \forall t\in[t_0,t_n],

則形成:

PerspectiveLock.\boxed{ \text{PerspectiveLock}. }

典型形式:

implementation
→ unit test
→ implementation
→ unit test
→ implementation
→ unit test

即使 failure 實際屬於:

UX\text{UX}

或:

Runtime.\text{Runtime}.

13. Perspective Inertia

Perspective Lock 的弱版本是:

Perspective Inertia

新的 evidence 已經暗示:

PjP_j

更相關,

但 Agent 仍因:

  • workflow;
  • skill;
  • prior;
  • tool convenience;
  • context;
  • role assignment;

維持:

Pk.P_k.

可寫:

Pt+1=Pt\boxed{ P_{t+1} = P_t }

即使:

ExpectedInformationGain(Pj)>ExpectedInformationGain(Pt).\text{ExpectedInformationGain}(P_j) > \text{ExpectedInformationGain}(P_t).

14. 看似全局的局部優化

某些流程包含:

Plan+TDD+Review+Verify+Debug.\text{Plan} + \text{TDD} + \text{Review} + \text{Verify} + \text{Debug}.

表面上很完整。

但如果所有 activity 都作用於同一 projection:

Ok(X),O_k(X),

則:

Ok→Optimize→Verify→Optimize→Verify.O_k \rightarrow \text{Optimize} \rightarrow \text{Verify} \rightarrow \text{Optimize} \rightarrow \text{Verify}.

這是:

DeepLocalOptimization.\boxed{ \text{DeepLocalOptimization}. }

不是:

DynamicGlobalObservation.\text{DynamicGlobalObservation}.

15. Pseudo-Globality

本文定義:

Pseudo-Globality

偽全域性

如果 workflow 具有很多:

  • phase;
  • reviewer;
  • tool;
  • test;
  • report;

但它們的 effective observation set 高度重疊:

O1≈O2≈⋯≈On,\mathcal O_1 \approx \mathcal O_2 \approx \cdots \approx \mathcal O_n,

則:

ProcessBreadth≫PerspectiveBreadth.\boxed{ \text{ProcessBreadth} \gg \text{PerspectiveBreadth}. }

這就是偽全域。


16. 多 Agent 也可以只是 Pseudo-Globality

例如:

Agent 1: implementer
Agent 2: reviewer
Agent 3: tester
Agent 4: architect

如果四個都:

  • same model;
  • same repo slice;
  • same prompt assumptions;
  • same spec;
  • same text-only tools;

那麼:

Nagents=4N_{agents}=4

不代表:

Nperspectives=4.N_{perspectives}=4.

這將由 A08 完整處理。


17. 三個來源假說

本文保留 v0.1 的三個假說,並強調:

目前沒有充分證據判定哪一個是主要原因。


18. H1 — Default Knowledge / Workflow Contamination

假說:

大量訓練語料、工程教學與 Agent scaffold 反覆出現:

plan
→ code
→ test
→ review

可能使模型形成強 prior:

P(Pimplementation/test)≫P(Pruntime/UX/global)P(P_{\mathrm{implementation/test}}) \gg P(P_{\mathrm{runtime/UX/global}})

在缺乏 trigger 時,Agent 自然回到高頻人類工程拓撲。

這不是說「訓練資料被污染」已被實證。

更精確地,它是:

Default Workflow Prior Hypothesis.\boxed{ \text{Default Workflow Prior Hypothesis}. }

需要實驗。


19. H2 — Architectural Trace Scarcity

公開 code corpus 中有大量:

  • functions;
  • commits;
  • issues;
  • PR;
  • unit tests;
  • snippets。

但真正高品質的:

  • architecture deliberation;
  • cross-role disagreement;
  • runtime incident reasoning;
  • full project-world trace;
  • long-term architectural consequence;

可能相對少、較難取得、較少被完整保存。

因此模型也許更容易學到:

local code transformation\text{local code transformation}

而不是:

macro-object stewardship.\text{macro-object stewardship}.

本文同樣只把它列為:

Data Distribution Hypothesis.\boxed{ \text{Data Distribution Hypothesis}. }

20. H3 — Role Over-Conditioning

skill / system prompt 可能要求:

you are implementer

或:

you are reviewer

這能提升 domain focus,

但也可能降低:

Pother perspectives.P_{\mathrm{other\ perspectives}}.

所以 role conditioning 有:

FocusBenefit\boxed{ \text{FocusBenefit} }

與:

PerspectiveSuppressionRisk.\boxed{ \text{PerspectiveSuppressionRisk}. }

最佳強度應是 task-dependent。


21. H4 — Tool Availability Bias

v0.2 新增第四個假說。

Agent 可能偏向:

使用最便宜、最熟悉、最容易呼叫的 evidence source。

例如:

grep
unit test
static diff

比:

launch browser
reproduce GUI
record runtime
profile
inspect network

便宜。

因此:

Cost(Oi)\text{Cost}(O_i)

可能扭曲:

P(Oi∣task).P(O_i\mid \text{task}).

這是:

Tool Availability Bias


22. H5 — Verification Convenience Bias

如果 CI 已經有:

UnitTests,\text{UnitTests},

Agent 很容易把:

TestPass\text{TestPass}

當 closure。

而沒有 ready-made visual / runtime verifier 時,

VisualClosure\text{VisualClosure}

可能被省略。

因此:

What is easy to verify\boxed{ \text{What is easy to verify} }

可能取代:

What actually needs verification.\boxed{ \text{What actually needs verification}. }

23. 多模態 Capability Available 不等於 Evidence Acquired

模型具有:

Capabilityvision=1Capability_{vision}=1

並不代表:

Observationvision=1.Observation_{vision}=1.

所以:

MultimodalCapabilityAvailable≠MultimodalEvidenceAcquired.\boxed{ \text{MultimodalCapabilityAvailable} \neq \text{MultimodalEvidenceAcquired}. }

這是 A07 的核心命題之一。


24. 能看圖不等於會主動看圖

ACL 2025 的 ActiView 特別重要。

它測的不是:

給模型完整圖片,它會不會回答?

而是:

在 perceptual field 被限制時,模型能否根據 reasoning 主動 zoom / shift 到正確區域,再完成問題?

這建立很清楚的分離:

PassiveVisualUnderstanding≠ActivePerception.\boxed{ \text{PassiveVisualUnderstanding} \neq \text{ActivePerception}. }

研究評估 30 個 proprietary / open-source MLLMs,報告 active perception ability 仍存在顯著 gap。


25. 這正是工程 Agent 的問題

coding Agent 即使:

VisionCapable=1,\text{VisionCapable}=1,

也可能沒有:

PerceptionPolicy\boxed{ \text{PerceptionPolicy} }

去判定:

現在必須看 screenshot。

因此:

Vision Model≠Visual Engineering Agent.\boxed{ \text{Vision Model} \neq \text{Visual Engineering Agent}. }

後者還需要:

  • trigger;
  • browser / image acquisition;
  • task grounding;
  • visual-to-code mapping;
  • post-fix re-observation。

26. GUIRepair:視覺 Evidence 不是裝飾

2025 的 GUIRepair 研究處理 visual software issue。

其觀察是:

  • 多數 LLM-based repair system 偏 text / code;
  • visual issue 需要 GUI information;
  • screenshot 本身也不能直接等於 root cause;
  • 需要建立 image↔code 的 cross-modal reasoning。

GUIRepair 因此設計:

Image2Code

從 visual symptom 追到相關 project context / reproduced code。

以及:

Code2Image

patch 後重新 render GUI,

取得新的 visual evidence 驗證是否真的修好。

因此:

PatchGenerated≠VisualOutcomeVerified.\boxed{ \text{PatchGenerated} \neq \text{VisualOutcomeVerified}. }

27. GUIRepair 與 A01 的關係

A01 說:

TestGreen⇏IntentClosed.\text{TestGreen} \nRightarrow \text{IntentClosed}.

GUIRepair 類工作提供一個具體 software example:

如果 defect 本質在:

Ovisual,O_{\mathrm{visual}},

但 validator 只在:

Otext/code,O_{\mathrm{text/code}},

那:

ValidatorScope<FailureScope.\boxed{ \text{ValidatorScope} < \text{FailureScope}. }

這不是 reasoner 不聰明。

而是 evidence domain 不對。


28. SWE-bench 類 text-only 成功不能直接外推 visual task

GUIRepair 論文指出,既有 automated repair 系統主要在 unimodal benchmark 上評估,而 multimodal visual issue 對它們更困難。

這提供一個一般原則:

Performance(M∣Oi)⇏Performance(M∣Oj).\boxed{ Performance(M\mid O_i) \nRightarrow Performance(M\mid O_j). }

所以 benchmark success 需要帶:

Observation Regime.\text{Observation Regime}.

29. Observation Regime

本文定義:

RO=(Modalities,Tools,Scope,Resolution,Freshness,InteractionRights).\boxed{ \mathcal R_O = ( \text{Modalities}, \text{Tools}, \text{Scope}, \text{Resolution}, \text{Freshness}, \text{InteractionRights} ). }

模型 performance 應寫:

Perf(M,T∣RO).Perf(M,T\mid\mathcal R_O).

同一模型:

Perf(M,T∣text-only)Perf(M,T\mid\text{text-only})

和:

Perf(M,T∣text+browser+vision)Perf(M,T\mid\text{text+browser+vision})

可能完全不同。


30. Active Perception:資訊取得本身是 Action

APR-07 已把 Agentic Perception 寫成:

WorldState→Prediction→Monitoring→Difference→Significance→PerceptualPolicy→Observation/Action→BeliefRevision.\text{WorldState} \rightarrow \text{Prediction} \rightarrow \text{Monitoring} \rightarrow \text{Difference} \rightarrow \text{Significance} \rightarrow \text{PerceptualPolicy} \rightarrow \text{Observation/Action} \rightarrow \text{BeliefRevision}.

因此 Agent 不只控制:

HowWorldChanges\boxed{ \text{HowWorldChanges} }

也控制:

HowWorldIsObserved.\boxed{ \text{HowWorldIsObserved}. }

這正是 A07 的 runtime 解法基礎。


31. Perspective Activation 與 Perception Action

A07 在 APR 前面再加一層:

Need→Perspective→PerceptualPolicy.\text{Need} \rightarrow \text{Perspective} \rightarrow \text{PerceptualPolicy}.

完整可寫:

Goal→MacroState→Unknown→Perspective→Modality→ObservationPolicy→Evidence.\boxed{ \text{Goal} \rightarrow \text{MacroState} \rightarrow \text{Unknown} \rightarrow \text{Perspective} \rightarrow \text{Modality} \rightarrow \text{ObservationPolicy} \rightarrow \text{Evidence}. }

所以:

PdP_d

不是純 prompt。

它會改變:

mt,Ωt,ρt,νt,dt,ht,qt.m_t,\Omega_t,\rho_t,\nu_t,d_t,h_t,q_t.

32. Perspective 是 Perception Governance 的上層控制

APR 問:

看哪個模態?哪裡?多細?多久?

A07 先問:

我們現在到底需要從哪種專業/判定視角看?

所以:

PerspectiveRouting→PerceptualRouting.\boxed{ \text{PerspectiveRouting} \rightarrow \text{PerceptualRouting}. }

這會在 Series B 正式架構化。


33. Static Fusion 不是理想的全域解法

2026 的 Selective Perception for Robot 指出,多 camera / multimodal VLA 若一律 uniform processing:

  • 會產生不必要計算;
  • task-irrelevant background 會成 noise。

其 adaptive router 根據 prompt 與當前 observation 判斷不同 camera view 的 task relevance,只提供 essential visual features。

這支持:

GlobalPerception≠UniformMaximumPerception.\boxed{ \text{GlobalPerception} \neq \text{UniformMaximumPerception}. }

34. 全部模態永久開啟甚至可能變差

如果:

Nmodalities↑N_{\mathrm{modalities}}\uparrow

但:

RelevantInformation\text{RelevantInformation}

沒增加,

反而:

Noise↑,\text{Noise}\uparrow, Cost↑,\text{Cost}\uparrow, AttentionCompetition↑.\text{AttentionCompetition}\uparrow.

所以:

MoreInput⇏MoreUnderstanding.\boxed{ \text{MoreInput} \nRightarrow \text{MoreUnderstanding}. }

35. APR 感知預算與 A07

APR-05 已建立多維 budget:

Bt=(Btok,Bflop,Blat,Bmem,Beng,Bio).\mathbf B_t = ( B^{tok}, B^{flop}, B^{lat}, B^{mem}, B^{eng}, B^{io} ).

並把 allocation 分配到:

(modality,space,time,representation,reasoning,memory,reobservation).( \text{modality}, \text{space}, \text{time}, \text{representation}, \text{reasoning}, \text{memory}, \text{reobservation} ).

因此 A07 不需要解法:

所有 perspective 永遠全開。

更合理:

Perspective Coverage+Adaptive Perceptual Budget.\boxed{ \text{Perspective Coverage} + \text{Adaptive Perceptual Budget}. }

36. Perspective Coverage

令 relevant perspective set:

P∗(T)\mathcal P^\ast(T)

為任務 TT 需要的 perspective。

每個 perspective importance:

wi.w_i.

實際啟動:

ai∈{0,1}.a_i\in\{0,1\}.

定義:

PC(T)=∑iwiai∑iwi.\boxed{ PC(T) = \frac{ \sum_i w_i a_i }{ \sum_i w_i }. }

這是:

Perspective Coverage


37. Coverage 不是 Role Count

若:

4 agents4\ \text{agents}

全都只看 code,

那:

RoleCount=4\text{RoleCount}=4

但:

PCPC

可能仍很低。

反過來,

單一 Agent 內部動態切換:

implementation
→ runtime
→ visual
→ architecture

可能具有更高:

PC.PC.

所以:

PerspectiveCoverage≠AgentCount.\boxed{ \text{PerspectiveCoverage} \neq \text{AgentCount}. }

38. Activation Coverage 與 Project-World Cognition

既有 Project-World Cognition 已提出:

AG(P)=∑iwici∑iwi,A_G(P) = \frac{ \sum_i w_i c_i }{ \sum_i w_i },

其中 cic_i 表示 AI 是否主動建模 project dimension ii。

A07 的 Perspective Coverage 與它同型。

差別是:

  • Project-World Cognition 關心 project dimensions 是否被建模;
  • A07 關心當前 decision 中哪些觀察 perspective 被激活。

二者可組成:

Global Model Coverage+Dynamic Perspective Coverage.\boxed{ \text{Global Model Coverage} + \text{Dynamic Perspective Coverage}. }

39. Project World 不是 Checklist

一個 AI 可以列出:

security
performance
UX
database
backup

但如果:

  • 沒有建模;
  • 沒有 evidence;
  • 沒有路由;
  • 沒有影響 decision;

那:

ChecklistMention≠PerspectiveActivation.\text{ChecklistMention} \neq \text{PerspectiveActivation}.

這避免:

AI 把所有 buzzword 說一次,就宣稱全域。


40. Expert-Level Surprise

本文沿用 v0.1:

Es=Expert-Level Surprise.E_s = \text{Expert-Level Surprise}.

它不是「人類覺得很丟臉」的情緒指標。

更精確:

Es=ExpectedCapability(d,T)−ObservedPerformance(d,T).\boxed{ E_s = \text{ExpectedCapability}(d,T) - \text{ObservedPerformance}(d,T). }

如果:

Es>τs,E_s>\tau_s,

則應啟動 attribution audit。


41. Surprise 不是能力證明

高:

EsE_s

不能直接證明:

workflow 問題。

它只是一個 trigger:

Surprise→ReassessCausalChain.\boxed{ \text{Surprise} \rightarrow \text{ReassessCausalChain}. }

重新檢查:

Capability→Activation→Observation→Resolution→Reasoning→Action.\text{Capability} \rightarrow \text{Activation} \rightarrow \text{Observation} \rightarrow \text{Resolution} \rightarrow \text{Reasoning} \rightarrow \text{Action}.

42. Expert-Level Surprise Trigger 的工程價值

例如:

frontier model 居然忘了檢查 modal overlay。

可以做兩件事。

錯誤方法:

patch overlay
→ rerun same test

較強方法:

why was visual interaction perspective absent?
→ should this task class activate browser observation?
→ was screenshot stale?
→ is this repeated?

如果同類問題重複:

Instance→Pattern→Workflow.\text{Instance} \rightarrow \text{Pattern} \rightarrow \text{Workflow}.

43. Counterfactual Capability Audit

本文提出:

Counterfactual Capability Audit

若某次 failure 後,提供被缺失的:

  • perspective;
  • observation;
  • modality;
  • tool;

但保持:

Model=M,Model=M, Task=T,Task=T,

若 performance 顯著改善,

則可初步支持:

Activation / Observation Bottleneck\boxed{ \text{Activation / Observation Bottleneck} }

而不是純 latent capability failure。


44. 最小 A/B 設計

同一 task:

Condition A — Text-only

code + issue

Condition B — Role Activation

code + issue + explicit UX/runtime perspective

Condition C — Evidence Activation

B + screenshot/log/trace

Condition D — Active Routing

Agent can autonomously request perspective/modality/evidence

比較:

Success,\text{Success}, DefectEscape,\text{DefectEscape}, TokenCost,\text{TokenCost}, ToolCost,\text{ToolCost}, Time,\text{Time}, EvidenceRequests.\text{EvidenceRequests}.

45. Attribution Matrix

可建立:

Condition Capability Perspective Evidence Interpretation
A fail / B fail / C fail same improved improved likely deeper capability/reasoning problem
A fail / B pass same changed same activation-sensitive
B fail / C pass same same changed evidence-sensitive
C pass / D cheaper same dynamic dynamic routing efficiency gain

這能讓「AI 怎麼這麼笨」變成可實驗的 engineering question。


46. Role Over-Conditioning 實驗

同一模型:

Role = implementer
Role = architect
Role = UX
Role = global observer

保持 evidence 一致。

觀察:

FailureDetectionSet.\text{FailureDetectionSet}.

若差異很大,

支持:

RoleConditioningChangesSearchSpace.\boxed{ \text{RoleConditioningChangesSearchSpace}. }

但這仍不證明訓練資料原因。


47. Observation Acquisition Experiment

保持 role 相同:

code only
code + screenshot
code + runtime
code + screenshot + runtime

測:

P(correct diagnosis).P(\text{correct diagnosis}).

可直接估計:

ΔOd.\Delta O_d.

48. Resolution Experiment

保持同一 modality:

thumbnail
full screenshot
focused crop
DOM + screenshot
video replay

如果 performance 隨 resolution / evidence type 上升,

說明:

RdR_d

是 bottleneck。


49. Freshness Experiment

給:

EvidenceoldEvidence_{old}

與:

Evidencepost-action.Evidence_{post\text{-}action}.

測:

OutcomeVerification.\text{OutcomeVerification}.

這和 APR 的:

ExpectedOutcome≠ObservedOutcome\text{ExpectedOutcome} \neq \text{ObservedOutcome}

完全一致。


50. Software Example:UI Layout

Task:

修好設定頁面。

Text-only Agent:

inspect component
patch CSS
tests pass

若沒有:

Ovisual,O_{\mathrm{visual}},

它只能推測。

加入:

viewport screenshot

才看見:

footer overlap。

再加入:

responsive breakpoints

才發現:

desktop pass,mobile fail。

所以:

ObservationResolution\boxed{ \text{ObservationResolution} }

是逐步提升的。


51. Software Example:Backend Latency

後端 profiler:

Tserver=120ms.T_{server}=120ms.

Agent 宣稱:

performance good。

但使用者體感:

Tperceived=Tnetwork+Tserver+Tserialization+Tclient+Trender.T_{\mathrm{perceived}} = T_{network} + T_{server} + T_{serialization} + T_{client} + T_{render}.

若只啟動:

Pbackend,P_{backend},

那:

TserverT_{server}

就是局部真相。

要理解宏觀 latency,

需要:

Pend-to-end.P_{end\text{-}to\text{-}end}.

52. Software Example:Security

功能:

Pass.\text{Pass}.

安全:

Unknown.\text{Unknown}.

如果 task 真正含 auth boundary,

那 security perspective 應被啟動。

但如果只是:

改字體大小,

則不應因為「模型會 security」就永久開 full threat model。

因此:

CapabilityRegistry≠AlwaysOnCapability.\boxed{ \text{CapabilityRegistry} \neq \text{AlwaysOnCapability}. }

53. Game Example:程式正確,但玩家看不懂

技能:

  • state machine 正確;
  • damage 正確;
  • animation 資產正確。

但 telegraph:

太短。

玩家根本無法讀。

因此:

Pprogrammer=PASS,P_{programmer}=\text{PASS}, Pdesigner=PASS,P_{designer}=\text{PASS}, Pplayer=FAIL.P_{player}=\text{FAIL}.

問題不一定在:

Code.\text{Code}.

而在:

CrossPerspectiveTiming.\boxed{ \text{CrossPerspectiveTiming}. }

54. Game Example:美術很漂亮,但 gameplay read 不出來

美術 perspective:

VisualQuality↑.\text{VisualQuality}\uparrow.

玩家 perspective:

InteractableReadability↓.\text{InteractableReadability}\downarrow.

同一畫面可以:

ArtPass∧PlayerFail.\text{ArtPass} \land \text{PlayerFail}.

因此:

Beauty≠GameplayReadability.\boxed{ \text{Beauty} \neq \text{GameplayReadability}. }

這也是角色即觀察算子的直接例子。


55. 玩家也只是投影

即使:

PplayerP_{player}

被啟動,

它仍不是完整遊戲。

玩家不一定看見:

  • server consistency;
  • anti-cheat;
  • save corruption;
  • data migration;
  • architecture。

所以:

PlayerView≠Game.\boxed{ \text{PlayerView} \neq \text{Game}. }

它只是重要 observation operator。


56. Frontend / Backend / X-end 同理

前端:

OF(S).O_F(S).

後端:

OB(S).O_B(S).

Data:

OD(S).O_D(S).

Infra:

OI(S).O_I(S).

Security:

OS(S).O_S(S).

任何一個:

Oi(S)O_i(S)

都不是:

S.S.

高能力 AI 的真正問題是:

能否知道何時目前 projection 已不足?


57. Global Awareness

本文不把 global intelligence 定義為:

KnowEverything.\boxed{ \text{KnowEverything}. }

而是:

GlobalAwareness=Knowledge(CurrentProjection)+Knowledge(AvailablePerspectives)+Knowledge(Unknowns).\boxed{ \text{GlobalAwareness} = Knowledge(CurrentProjection) + Knowledge(AvailablePerspectives) + Knowledge(Unknowns). }

這是一個重要轉向。


58. Globality 是 Meta-Perspective Capacity

真正全域 Agent 至少應知道:

我現在站在哪個 perspective?

還有哪些 relevant perspective 沒被打開?

哪一個可能推翻目前結論?

因此:

Globality=PerspectiveMetaAwareness+DynamicRoutingCapacity.\boxed{ \text{Globality} = \text{PerspectiveMetaAwareness} + \text{DynamicRoutingCapacity}. }

59. Dynamic Perspective Routing

當:

Ut,Rt,AnomalytU_t, R_t, \text{Anomaly}_t

改變,

Agent 選:

Pt∗=arg⁡max⁡Pi[IG(Pi)−λCost(Pi)].\boxed{ P_t^\ast = \arg\max_{P_i} [ IG(P_i) - \lambda Cost(P_i) ]. }

其中:

IGIG

為 task-relevant information gain。


60. Perspective Switch 不等於 Agent Switch

同一 Agent 可以:

implementation
→ visual
→ runtime
→ architecture
→ implementation

所以:

PerspectiveSwitching≠MultiAgent.\boxed{ \text{PerspectiveSwitching} \neq \text{MultiAgent}. }

Multi-agent 只是可能實作。


61. Perspective Registry

成熟 runtime 可以有:

P={Pimplementation,Parchitecture,Pruntime,PUX,Pvisual,Psecurity,Pdata,Pops,Pplayer,…}.\mathcal P = \{ P_{implementation}, P_{architecture}, P_{runtime}, P_{UX}, P_{visual}, P_{security}, P_{data}, P_{ops}, P_{player}, \ldots \}.

每個 perspective metadata:

perspective:
  questions:
  modalities:
  tools:
  failure_classes:
  cost:
  trigger:
  exit_conditions:

62. Modality Registry 與 Perspective Registry 不同

Perspective:

要從什麼判斷域看?

Modality:

用什麼 evidence channel 看?

例如:

PUXP_{\text{UX}}

可以使用:

  • screenshot;
  • video;
  • browser interaction;
  • accessibility tree;
  • user test。

所以:

Perspective≠Modality.\boxed{ \text{Perspective} \neq \text{Modality}. }

63. 同一 Modality 也可以支援不同 Perspective

一張 screenshot:

Image\text{Image}

UX 看:

affordance。

Security 看:

sensitive data leak。

Frontend 看:

layout。

Accessibility 看:

contrast / readable state。

所以:

Modality\boxed{ \text{Modality} }

只是 carrier,

不是完整 judgment operator。


64. 同一 Perspective 也可以跨模態

Runtime perspective 可以看:

  • logs;
  • traces;
  • metrics;
  • screenshot;
  • network;
  • DB state。

因此:

Perspective↔multi-modal evidence set.\boxed{ \text{Perspective} \leftrightarrow \text{multi-modal evidence set}. }

65. APR-06:模態不是必須同等啟用

APR-06 已提出:

mt∈{text,vision,audio,video,state,sensor,∅}.m_t \in \{ \text{text}, \text{vision}, \text{audio}, \text{video}, \text{state}, \text{sensor}, \varnothing \}.

其中:

mt=∅m_t=\varnothing

也是合法決策:

現在不需要額外感知。

這正好防止:

Capability Awareness→Always-On Modality.\text{Capability Awareness} \rightarrow \text{Always-On Modality}.

66. A07 的最小控制鏈

因此可得到:

Task→RelevantPerspectives→ActivePerspective→Modality→Observation→Evidence→Reasoning→Action.\boxed{ \text{Task} \rightarrow \text{RelevantPerspectives} \rightarrow \text{ActivePerspective} \rightarrow \text{Modality} \rightarrow \text{Observation} \rightarrow \text{Evidence} \rightarrow \text{Reasoning} \rightarrow \text{Action}. }

如果 outcome 不符預期:

OutcomeError→PerspectiveReassessment.\text{OutcomeError} \rightarrow \text{PerspectiveReassessment}.

67. Perspective Reassessment Trigger

典型 trigger:

T1 — Expert-Level Surprise

Es>τ.E_s>\tau.

T2 — Repeated Same-Class Failure

同型 defect 反覆。

T3 — Cross-Boundary Contradiction

兩 projection 不一致。

T4 — Evidence Saturation

同一 perspective 繼續 reasoning,但:

ΔEvidence≈0.\Delta Evidence\approx0.

T5 — Low Validation Yield

same verifier 重複不產生新資訊。

T6 — World-State Staleness

evidence age 過高。

T7 — Risk Escalation

blast radius / irreversibility 上升。


68. Evidence Saturation 很重要

如果:

PkP_k

內 reasoning depth:

d↑↑d\uparrow\uparrow

但:

Evidence\text{Evidence}

沒變,

Agent 只是:

在同一低解析度世界模型上想更久。

因此:

ReasoningDepth⇏ObservationDepth.\boxed{ \text{ReasoningDepth} \not\Rightarrow \text{ObservationDepth}. }

這會在 Series B B04 正式展開。


69. Reasoning–Observation Resolution Asymmetry

令:

QR=reasoning resolution,Q_R = \text{reasoning resolution}, QO=observation resolution.Q_O = \text{observation resolution}.

若:

QR≫QO,Q_R\gg Q_O,

則:

高級推理在低解析度投影上運作。

這正是前沿 AI 的某些「荒謬低級錯誤」看起來特別刺眼的原因。


70. 高能力可能放大錯誤先驗的自洽性

若:

H0H_0

建立在錯 perspective / stale evidence,

強 reasoner 可以產生:

H0→H1→⋯→HnH_0 \rightarrow H_1 \rightarrow \cdots \rightarrow H_n

全部邏輯一致。

因此:

LogicalCoherence⇏WorldAlignment.\boxed{ \text{LogicalCoherence} \nRightarrow \text{WorldAlignment}. }

甚至:

ReasoningStrength↑ReasoningStrength\uparrow

可能使錯 worldview 更精緻。


71. 先觀察,還是先推理?

不是固定其中一個。

成熟 Agent 應判斷:

ValueOfReasoning\boxed{ \text{ValueOfReasoning} }

與:

ValueOfObservation.\boxed{ \text{ValueOfObservation}. }

若目前 uncertainty 主要來自:

MissingEvidence,\text{MissingEvidence},

則:

Observe.\text{Observe}.

若 evidence 足夠但 inference 未閉合:

Reason.\text{Reason}.

72. Value of Perspective

定義 perspective PiP_i 的預期價值:

V(Pi)=IG(Pi)+RiskReduction(Pi)+ContradictionResolution(Pi)−Cost(Pi).V(P_i) = IG(P_i) + RiskReduction(P_i) + ContradictionResolution(P_i) - Cost(P_i).

選:

P∗=arg⁡max⁡iV(Pi).P^\ast = \arg\max_iV(P_i).

這不是精確 runtime 公式,

而是設計原則。


73. Perspective Cost

成本包括:

C(Pi)=Ctoken+Ctool+Clatency+Ccontext+Chuman+Ccoordination.C(P_i) = C_{token} + C_{tool} + C_{latency} + C_{context} + C_{human} + C_{coordination}.

所以:

PiP_i

不是越多越好。


74. Minimum Sufficient Perspective Set

對任務 TT:

P∗(T)\mathcal P^\ast(T)

不需要等於所有 perspective。

定義最小充分集合:

Pmin(T)=arg⁡min⁡P′Cost(P′)\boxed{ \mathcal P_{min}(T) = \arg\min_{\mathcal P'} Cost(\mathcal P') }

subject to:

ClosureConfidence(T∣P′)≥τ.ClosureConfidence(T\mid\mathcal P') \ge\tau.

這是第二系列的重要方向。


75. 不是每個 task 都需要 Architecture Mode

例如:

修 typo。

若:

ChangeRadius≈0,ChangeRadius\approx0,

就不需要:

  • architecture review;
  • performance benchmark;
  • UX study;
  • threat model。

否則 A07 解法又會掉回 A04 的 process inflation。

所以:

DynamicActivation\boxed{ \text{DynamicActivation} }

才是關鍵。


76. 不是每個 task 都需要 Vision

同理:

改 pure data parser。

如果:

VisualDependency=0,VisualDependency=0,

則:

Vision=OFFVision=\text{OFF}

完全合理。

所以:

MultimodalMaturity≠AlwaysUseVision.\boxed{ \text{MultimodalMaturity} \neq \text{AlwaysUseVision}. }

77. 高風險 task 的 Activation Floor

如果 task 涉及:

  • production;
  • credentials;
  • irreversible write;
  • financial transaction;
  • user-visible critical path;

則某些 perspective 可以設最低 activation floor。

例如:

Pauthority=1,P_{authority}=1, Pruntime=1.P_{runtime}=1.

這是 risk-conditioned activation。


78. Activation Budget

類比 APR:

BP=Perspective Activation Budget.B_P = \text{Perspective Activation Budget}.

Agent 應配置:

aiPa_i^P

到 relevant perspectives。

目標:

max⁡∑iIG(Pi)aiP\max \sum_i IG(P_i)a_i^P

subject to:

∑iCost(Pi)aiP≤BP.\sum_iCost(P_i)a_i^P \le B_P.

79. Perspective / Modality 雙層 Budget

第一層:

P∗.P^\ast.

第二層:

m∗.m^\ast.

再進 APR:

Ω,ρ,ν,d,h,q.\Omega, \rho, \nu, d, h, q.

因此:

Perspective→Modality→Resolution.\boxed{ \text{Perspective} \rightarrow \text{Modality} \rightarrow \text{Resolution}. }

80. 多模態的真正方法論角色:補解析度

如果:

O1(Xa)=O1(Xb),O_1(X_a)=O_1(X_b),

但:

O2(Xa)≠O2(Xb),O_2(X_a)\neq O_2(X_b),

則加入:

O2O_2

提高:

StateDistinguishability.\boxed{ \text{StateDistinguishability}. }

所以多模態不是:

資料越多越好。

而是:

補上原 projection 無法區分的世界狀態.\boxed{ \text{補上原 projection 無法區分的世界狀態}. }

81. 解析度提高不必等於更高像素

「解析度」在本文是一般化概念。

可以是:

  • more pixels;
  • longer time window;
  • runtime trace;
  • DOM tree;
  • dependency graph;
  • higher semantic specificity;
  • player perspective;
  • production environment。

所以:

Resolution=DistinguishingPower.\boxed{ \text{Resolution} = \text{DistinguishingPower}. }

不只:

Pixels.\text{Pixels}.

82. Screenshot 也不是完整真相

一張 screenshot 可以看見:

  • clipping;
  • overlap;
  • color;
  • visible state。

但看不到:

  • DOM;
  • network;
  • hidden state;
  • previous interaction;
  • timing;
  • API failure;
  • authorization。

所以:

Screenshot≠UIWorld.\boxed{ \text{Screenshot} \neq \text{UIWorld}. }

它只是另一個 operator。


83. Cross-Modal Evidence 的角色

例如:

screenshot says button disabled
DOM says disabled=false
network says request pending
runtime log says permission denied

此時:

CrossModalContradiction\boxed{ \text{CrossModalContradiction} }

本身是高價值 evidence。

應觸發:

PerspectiveReassessment.\text{PerspectiveReassessment}.

84. Evidence Provenance

每個 observation 應記:

evidence:
  modality:
  tool:
  perspective:
  scope:
  time:
  version:
  resolution:
  source:

否則:

Evidence\text{Evidence}

很容易在 context 中失去:

  • 何時;
  • 從哪;
  • 用什麼;
  • 看哪個版本。

85. Observation Freshness

可定義:

Fresh(E)=e−λΔtFresh(E) = e^{-\lambda\Delta t}

只是概念模型。

對高動態 state:

λ↑.\lambda\uparrow.

例如:

  • UI animation;
  • distributed system;
  • live market;
  • deployment;

舊 evidence 很快失效。


86. Perspective Activation 也需要 Statefulness

不能每輪:

forget previous perspective
→ restart everything

應保留:

PhistoryP_{history}

與:

Evidencehistory.Evidence_{history}.

因此:

PerspectiveRouting\boxed{ \text{PerspectiveRouting} }

本質上是 stateful control。


87. Activation Trace

可保存:

perspective_trace:
  - t: 01
    perspective: implementation
    reason: initial coding task
  - t: 02
    perspective: visual
    reason: UI-affecting boundary
  - t: 03
    perspective: runtime
    reason: visual mismatch after patch

這可用來研究:

Agent 為什麼當時沒看到?


88. Capability Attribution Receipt

當 failure 發生,

可以輸出:

failure_attribution:
  latent_capability_unknown: true
  active_perspective: implementation
  relevant_perspective_missing:
    - visual
    - interaction
  evidence_missing:
    - rendered_mobile_view
  reasoning_error: not established
  action_error: not established

這比:

model failed

更有研究價值。


89. Capability Activation Coverage

令 domain set:

D∗(T).\mathcal D^\ast(T).

重要度:

wd.w_d.

是否有效啟動:

zd.z_d.

定義:

CAC(T)=∑dwdzd∑dwd.\boxed{ CAC(T) = \frac{ \sum_dw_dz_d }{ \sum_dw_d }. }

稱:

Capability Activation Coverage


90. Activation 不等於成功

即使:

CAC=1,CAC=1,

仍可能:

Performance<1.Performance<1.

因為:

  • capability 不足;
  • observation 錯;
  • integration 錯;
  • action 錯。

所以 CAC 只是 diagnostics,

不是 completion score。


91. Capability–Perspective Gap

可定義:

GCP(d)=Cd−Pd.\boxed{ G_{CP}(d) = C_d - P_d. }

高:

GCPG_{CP}

表示:

模型理論上有能力,但 workflow 很少啟動。

同樣:

GPO(d)=Pd−Od.G_{PO}(d) = P_d-O_d.

表示:

perspective 想到了,但 evidence 沒取得。


92. Operational Capability Gap

整體可寫:

Gop=Clatent−Ceffective.\boxed{ G_{op} = C_{latent} - C_{effective}. }

A07 真正研究的是:

這個 gap 有多少來自 runtime / routing,而不是模型本體?


93. Experiment:Capability Activation Benchmark

可以設計 software tasks:

Class A — Text-local

pure algorithm bug。

Class B — Visual

layout / rendering。

Class C — Runtime

state / concurrency / timing。

Class D — Architecture

cross-module ownership。

Class E — Multimodal

code + screenshot + interaction。

比較:

fixed text workflow
fixed role workflow
explicit multimodal
dynamic perspective router
APR-governed router

94. Metrics

測:

TaskSuccess,\text{TaskSuccess}, DiagnosticAccuracy,\text{DiagnosticAccuracy}, PerspectiveRecall,\text{PerspectiveRecall}, EvidenceEfficiency,\text{EvidenceEfficiency}, TokenCost,\text{TokenCost}, ToolCost,\text{ToolCost}, Latency,\text{Latency}, FalsePerspectiveActivation.\text{FalsePerspectiveActivation}.

95. Perspective Recall

required perspective set:

P∗.\mathcal P^\ast.

activated:

P^.\widehat{\mathcal P}.

則:

RecallP=∣P^∩P∗∣∣P∗∣.\boxed{ Recall_P = \frac{ |\widehat{\mathcal P}\cap\mathcal P^\ast| }{ |\mathcal P^\ast| }. }

96. Perspective Precision

如果 Agent 過度啟動:

PrecisionP=∣P^∩P∗∣∣P^∣.\boxed{ Precision_P = \frac{ |\widehat{\mathcal P}\cap\mathcal P^\ast| }{ |\widehat{\mathcal P}| }. }

所以:

全部 perspective 全開

可能 recall 高,

但 precision 很低。

APR 的價值就是提高:

F1perspective\boxed{ F1_{perspective} }

類型的效率。


97. Evidence Efficiency

ηE=material uncertainty reducedToken+Tool+Latency+Compute.\boxed{ \eta_E = \frac{ \text{material uncertainty reduced} }{ Token+Tool+Latency+Compute }. }

這是 A07 → Series B 的重要 benchmark。


98. Surprise Recovery Rate

對 expert-level surprise event:

si,s_i,

若 Agent 能在第一次 failure 後切 perspective 並成功修復:

Recovered(si)=1.Recovered(s_i)=1.

定義:

SRR=Nrecovered by reassessmentNsurprise events.\boxed{ SRR = \frac{ N_{\mathrm{recovered\ by\ reassessment}} }{ N_{\mathrm{surprise\ events}} }. }

可測 dynamic routing maturity。


99. Repeat-Surprise Penalty

若同一 failure class:

FF

反覆:

nF↑,n_F\uparrow,

卻沒有 perspective escalation,

則應給:

Penaltylock.Penalty_{lock}.

因為這表示:

PerspectiveLock\text{PerspectiveLock}

未被打破。


100. 低級錯誤不是羞辱詞,而是 Diagnostic Signal

本文使用:

專家眼中的低階錯誤

不是要貶低模型。

它指:

相對於已知整體能力,某個 failure 的 detection cost 對相關專家非常低。

因此它可作為:

Capability Attribution Anomaly.\boxed{ \text{Capability Attribution Anomaly}. }

而不是情緒評價。


101. 人類也會發生同樣問題

A07 不主張這是 AI 專屬。

人類工程師也會:

  • tunnel vision;
  • role silo;
  • confirmation bias;
  • tool bias;
  • local optimization;
  • stale mental model。

AI 的特殊點是:

  1. latent capability breadth 可能很大;
  2. role 可快速切換;
  3. multimodal tools 可按需呼叫;
  4. routing 可以被 runtime 程式化。

所以:

AI may be unusually fixable at the routing layer.\boxed{ \text{AI may be unusually fixable at the routing layer}. }

102. 因此「能力不對稱」也許有兩種

Intrinsic Capability Asymmetry

模型本體:

Cd1≫Cd2.C_{d_1}\gg C_{d_2}.

Operational Activation Asymmetry

模型本體能力接近,但:

Pd1Od1≫Pd2Od2.P_{d_1}O_{d_1} \gg P_{d_2}O_{d_2}.

兩者不能混為一談。


103. Workflow Skill 可以惡化,也可以改善 A07

一個 Skill 若:

fixed role
fixed tools
fixed verifier
fixed phase

可能造成:

PerspectiveLock.\text{PerspectiveLock}.

但 Skill 也可以提供:

perspective registry
routing triggers
observation policy
stop conditions

此時:

Skill→GlobalPerspectiveController.\boxed{ \text{Skill} \rightarrow \text{GlobalPerspectiveController}. }

所以問題不是:

Skill 存不存在。

而是:

Skill 固定視角,還是治理視角?


104. Global-First Completion 的作用

Global-First Completion 要求先維持:

  • macro architecture;
  • meso contracts;
  • micro defects;

的因果層級。

這有助於:

PerspectiveMetaAwareness.\text{PerspectiveMetaAwareness}.

因為 Agent 不能永遠以:

MicroImplementation\text{MicroImplementation}

看問題。

Repeated defect:

Instance→Pattern→Architecture→Substrate.\text{Instance} \rightarrow \text{Pattern} \rightarrow \text{Architecture} \rightarrow \text{Substrate}.

本身也是:

PerspectiveEscalation.\boxed{ \text{PerspectiveEscalation}. }

105. Minimal Repair 與 A07

最小責任層問:

問題在哪?

A07 增加:

用什麼 perspective / evidence 才能可靠看見它?

因此:

(R∗,P∗,O∗)\boxed{ (R^\ast,P^\ast,O^\ast) }

共同決定 repair。

可寫:

(R∗,P∗,O∗)=arg⁡min⁡[RepairCost+GlobalDisturbance+ObservationCost](R^\ast,P^\ast,O^\ast) = \arg\min [ \text{RepairCost} + \text{GlobalDisturbance} + \text{ObservationCost} ]

subject to:

Evidence(P∗,O∗,R∗)Evidence(P^\ast,O^\ast,R^\ast)

足以區分 defect。


106. Responsibility Layer 與 Observation Layer 的錯位

有時 responsibility 在:

Architecture,\text{Architecture},

但 observation 只在:

CodeDiff.\text{CodeDiff}.

有時 responsibility 在:

Runtime,\text{Runtime},

但 observation 只在:

StaticTest.\text{StaticTest}.

所以:

CorrectResponsibilityLayer\boxed{ \text{CorrectResponsibilityLayer} }

也需要:

CompatibleObservationLayer.\boxed{ \text{CompatibleObservationLayer}. }

107. Project-World Cognition 的再接合

Project-World Cognition 問:

AI 是否把 project 當一個世界理解?

A07 問:

它是否能在這個世界中,知道下一步該用哪種 perspective 取得證據?

因此:

ProjectWorldModel+PerspectiveRouting=OperationalGlobalObserver.\boxed{ \text{ProjectWorldModel} + \text{PerspectiveRouting} = \text{OperationalGlobalObserver}. }

108. 全域觀察者不是一個永遠最高視角的人

這點非常重要。

全域觀察者不是:

永遠站在 10,000 米高空。

真正全域是:

能在 macro / meso / micro 間改變解析度.\boxed{ \text{能在 macro / meso / micro 間改變解析度}. }

它可以:

project
→ subsystem
→ boundary
→ file
→ pixel
→ back to project

這是 Dynamic Global Observation。


109. 視角切換與解析度切換是兩件事

Perspective:

P.P.

Resolution:

ρ.\rho.

例如:

PvisualP_{visual}

可以:

  • whole-page glance;
  • component crop;
  • pixel-level inspect。

所以:

PerspectiveSelection≠ResolutionSelection.\boxed{ \text{PerspectiveSelection} \neq \text{ResolutionSelection}. }

第二系列會把兩者串起來。


110. 多模態是在補 World Distinguishability

如果 code-only projection 不能區分:

Xa,Xb,X_a, X_b,

但 visual evidence 可以,

則:

Ovisual\boxed{ O_{visual} }

不是「額外漂亮資料」。

它提高:

world-state distinguishability.\boxed{ \text{world-state distinguishability}. }

這就是多模態真正的方法論價值。


111. 全局注意力不是 Full Context

所以:

GlobalAttention≠EverythingInContext.\boxed{ \text{GlobalAttention} \neq \text{EverythingInContext}. }

更精確:

GlobalAttention=MacroObjectAwareness+RelevantPerspectiveAvailability+AdaptiveResolution.\boxed{ \text{GlobalAttention} = \text{MacroObjectAwareness} + \text{RelevantPerspectiveAvailability} + \text{AdaptiveResolution}. }

112. 全 context 甚至可能降低有效能力

若:

ContextSize↑ContextSize\uparrow

同時:

Noise↑,\text{Noise}\uparrow, RetrievalCompetition↑,RetrievalCompetition\uparrow, Latency↑,Latency\uparrow,

則:

CeffC^{eff}

不一定上升。

所以:

MoreContext⇏MoreEffectiveCapability.\boxed{ \text{MoreContext} \nRightarrow \text{MoreEffectiveCapability}. }

113. Perspective Routing 是 Token Governance

如果 perspective 先選對,

APR 才能只取得 relevant evidence。

否則:

all modalities+all files+all logs\text{all modalities} + \text{all files} + \text{all logs}

直接造成:

TokenExplosion.\text{TokenExplosion}.

因此:

PerspectiveRouting\boxed{ \text{PerspectiveRouting} }

同時是:

TokenBudgetControl.\boxed{ \text{TokenBudgetControl}. }

114. A07 的工程 Runtime 草案

Task
↓
Macro Object / Project World
↓
Current Projection
↓
Unknown / Risk / Anomaly
↓
Perspective Router
↓
Perspective-specific Question Set
↓
APR Modality Router
↓
Targeted Observation
↓
Evidence + Provenance
↓
Belief Revision
↓
Reason / Act
↓
Outcome Observation
↓
Perspective Reassessment if needed

115. Perspective Router State

可表示:

StP=(Gt,Wt,Pt,Ut,Rt,P,Bt,HtP).\mathcal S_t^P = ( G_t, W_t, P_t, U_t, R_t, \mathcal P, \mathbf B_t, H_t^P ).

其中:

  • PtP_t:current perspective;
  • P\mathcal P:available registry;
  • HtPH_t^P:perspective history。

116. Perspective Action

atP∈{KEEP,SWITCH,PUSH,POP,EXPAND,CONTRACT}.a_t^P \in \{ KEEP, SWITCH, PUSH, POP, EXPAND, CONTRACT \}.

例如:

KEEP implementation
PUSH visual
POP visual
SWITCH runtime
EXPAND architecture
CONTRACT micro repair

117. Perspective Exit Condition

每個 perspective 不應永久駐留。

例如 visual perspective exit:

required viewport observed
material visual defect resolved
post-fix visual evidence fresh
no unresolved visual blocker

然後:

POP(Pvisual).POP(P_{visual}).

118. Perspective Escalation Condition

例如:

same visual defect repeats
→ visual-local insufficient
→ interaction
→ architecture/state ownership

所以:

PerspectiveDepth↑PerspectiveDepth\uparrow

可由 repeated failure 觸發。


119. Perspective Contraction

反過來,

如果 architecture 已定位:

bug 在 layout container。

就應:

Parchitecture→PimplementationP_{architecture} \rightarrow P_{implementation}

進入局部 repair。

所以:

Global→Local→Global\boxed{ \text{Global} \rightarrow \text{Local} \rightarrow \text{Global} }

是正常循環。


120. 不是一直「架構師模式」

如果 Agent 永遠以:

ParchitectureP_{architecture}

工作,

可能:

  • 過度抽象;
  • implementation 變慢;
  • local detail 漏掉。

所以:

ArchitectPerspective≠UniversalPerspective.\boxed{ \text{ArchitectPerspective} \neq \text{UniversalPerspective}. }

全域 Agent 需要路由,

不是永久人格。


121. Perspective Misrouting

A07 定義另一類 failure:

Perspective Misrouting

當 task 真正需要:

Pj,P_j,

但 router 選:

Pi,P_i,

且:

ExpectedLoss(Pi)>ExpectedLoss(Pj),ExpectedLoss(P_i)>ExpectedLoss(P_j),

則:

Misroute=1.Misroute=1.

122. Misrouting Matrix

例如:

Failure Wrong Default Needed Perspective
button overlap code visual / UX
duplicate charge local service transaction / boundary
slow perceived UI backend end-to-end
save corruption UI state / persistence
unreadable game telegraph animation asset player / interaction
recurring memory bug local patch architecture / substrate

這可成為 runtime training data。


123. Perspective Router 也會犯錯

所以 Router 本身需要 evaluation。

若:

RouterAccuracy<1,RouterAccuracy<1,

不能把它當 oracle。

需要:

  • fallback;
  • surprise trigger;
  • contradiction trigger;
  • user correction;
  • historical learning。

124. Router Learning

可記錄:

task class
selected perspective
evidence acquired
diagnosis
success
cost
reopen

建立:

πPt+1=Update(πPt,Outcome).\pi_P^{t+1} = Update(\pi_P^t,Outcome).

125. 但 Router 不應過度學成固定規則

例如:

UI task 永遠要開 vision。

有些 UI task:

rename internal constant

完全不需要。

所以 routing 應:

GoalConditioned+StateConditioned.\boxed{ \text{GoalConditioned} + \text{StateConditioned}. }

126. Active Perception Benchmark 與本文

ActiView 的價值是:

active perception 本身可以被 benchmark。

A07 進一步提出:

perspective activation 也可以被 benchmark。

即:

Can the agent know which way it should look?\boxed{ \text{Can the agent know which way it should look?} }

不只:

看到了以後答得對不對?


127. Software Perspective Activation Benchmark

可以故意製造:

code-local bug
visual-only bug
runtime-only bug
cross-boundary bug
architecture bug
player-readability bug

不告訴 Agent defect class。

看它是否:

  1. 偵測 unknown;
  2. 選 perspective;
  3. 選 modality;
  4. 取得 evidence;
  5. 停止。

128. False Activation Cost

Agent 可能對每個 task:

security
UX
architecture
runtime
vision

全開。

這雖然:

RecallP↑,Recall_P\uparrow,

但:

Cost↑↑.\text{Cost}\uparrow\uparrow.

因此 benchmark 要懲罰:

FalseActivation.\text{FalseActivation}.

129. Perspective Efficiency

可定義:

ηP=material uncertainty reducedperspective activation cost.\boxed{ \eta_P = \frac{ \text{material uncertainty reduced} }{ \text{perspective activation cost} }. }

130. Active Perspective Selection 與 Active Sensing 的親緣

傳統 active perception / active sensing 已研究:

Agent 如何採取 action 取得更有價值 observation。

A07 不主張這個母概念是新的。

本文的新組合位置是:

Professional / role perspective routing+Multimodal evidence routing+AI-native software engineering.\boxed{ \text{Professional / role perspective routing} + \text{Multimodal evidence routing} + \text{AI-native software engineering}. }

131. 與 GUI Agent 研究的關係

2025–2026 GUI agent 研究已逐步從:

NextActionPrediction\text{NextActionPrediction}

轉向:

  • observation;
  • grounding;
  • planning;
  • memory;
  • execution;
  • outcome verification;
  • adaptive sensing。

這表示:

Agent correctness\boxed{ \text{Agent correctness} }

越來越不能只看:

它想到了下一步什麼。

還要看:

它看到了什麼、怎麼看、結果有沒有重新觀察。


132. Perspective Activation 與 Tool Use 的關係

Tool use 不只是 execution。

例如:

browser screenshot
profiler
trace query
DB inspect
dependency analyzer

其實是:

EpistemicTools.\boxed{ \text{EpistemicTools}. }

它們的目的首先是:

改善 world model。


133. Epistemic Tool vs Task Tool

可分:

TE=evidence acquisition tools,T_E = \text{evidence acquisition tools}, TA=world-changing action tools.T_A = \text{world-changing action tools}.

例如:

  • screenshot: TET_E ;
  • profiler: TET_E ;
  • edit file: TAT_A ;
  • deploy: TAT_A ;
  • query DB:視情境可 TET_E。

A07 需要 Router 知道何時:

Observe\text{Observe}

而不是:

Act.\text{Act}.

134. Reasoning Loop 的錯誤方向

如果 evidence gap:

GE>0,G_E>0,

卻一直:

Reason→Reason→Reason,\text{Reason} \rightarrow \text{Reason} \rightarrow \text{Reason},

這是:

Reasoning Substitution Failure

即:

Reasoning\boxed{ \text{Reasoning} }

錯誤地替代:

Observation.\boxed{ \text{Observation}. }

135. Observation Substitution Failure

反過來也可能:

一直:

collect more logs
collect more screenshots
collect more traces

但其實 evidence 已足,

真正缺:

Reasoning.\text{Reasoning}.

因此:

Observation⇏Understanding.\boxed{ \text{Observation} \nRightarrow \text{Understanding}. }

APR 必須決定何時停止看、開始想。


136. A07 的雙停止條件

Stop Observing

當:

EvidenceSufficient=1.EvidenceSufficient=1.

Stop Reasoning

當:

DecisionReady=1.DecisionReady=1.

兩者不能混。


137. Capability Activation 不等於無限制自治

Agent 可能知道:

需要 production log。

但沒有 authority。

此時:

PerspectiveActivated=1,PerspectiveActivated=1, ObservationNeed=1,ObservationNeed=1,

但:

Authority=0.Authority=0.

應:

Request/Escalate.Request / Escalate.

所以:

KnowWhatToObserve≠MayObserveEverything.\boxed{ \text{KnowWhatToObserve} \neq \text{MayObserveEverything}. }

138. Privacy / Authority Boundary

多模態全域 observation 尤其需要:

  • sensor scope;
  • user consent;
  • retention;
  • egress;
  • redaction。

既有 ARCAI Multimodal Runtime 已經明確區分 sensor state、observation authority、granularity、retention 與 egress。

因此:

PerspectiveRouting\boxed{ \text{PerspectiveRouting} }

必須受:

AuthorityEnvelope\boxed{ \text{AuthorityEnvelope} }

約束。


139. Global Observation 不是 Surveillance

本文的「全域」是:

ability to route to relevant evidence.\boxed{ \text{ability to route to relevant evidence}. }

不是:

continuous collection of all available data.\boxed{ \text{continuous collection of all available data}. }

這一點需要明確固定。


140. 低成本全域 Awareness

Agent 可以只維持:

available perspectives
known boundaries
unknowns
risk hotspots
evidence freshness

而不 materialize 所有原始資料。

所以:

GlobalDependency≠FullMaterialization.\boxed{ \text{GlobalDependency} \neq \text{FullMaterialization}. }

這也與作者既有全域計算方法論一致。


141. Capability Registry

成熟 Agent runtime 可維持:

capabilities:
  code:
  vision:
  browser:
  runtime:
  architecture:
  security:
  data:
  game_design:

但 Registry 只是:

Available(Cd).Available(C_d).

還需要 Router:

Activate(Cd,Pd).Activate(C_d,P_d).

142. Capability Availability 與 Capability Invocation

所以:

Available(Cd)≠Invoked(Cd).\boxed{ Available(C_d) \neq Invoked(C_d). }

這是 plugin / tool / multimodal 系統中很普遍的現象。


143. Capability Invocation 與 Evidence Success

甚至:

Invoked(Cd)=1Invoked(C_d)=1

仍不代表:

EvidenceSufficient=1.EvidenceSufficient=1.

例如 vision tool 被 call,

但 crop 錯。

所以:

ToolCalled≠EvidenceAcquired.\boxed{ \text{ToolCalled} \neq \text{EvidenceAcquired}. }

144. Evidence Acquired 與 Evidence Used

Agent 可能取得 screenshot,

但 reasoning 根本沒引用。

所以:

EvidenceAvailable≠EvidenceIntegrated.\boxed{ \text{EvidenceAvailable} \neq \text{EvidenceIntegrated}. }

這又是一層。


145. 完整有效能力鏈

最完整可以寫:

Clatent→Cavailable→Pactivated→Mactivated→Eacquired→Eintegrated→Rreasoned→Aexecuted→Overified.\boxed{ C_{latent} \rightarrow C_{available} \rightarrow P_{activated} \rightarrow M_{activated} \rightarrow E_{acquired} \rightarrow E_{integrated} \rightarrow R_{reasoned} \rightarrow A_{executed} \rightarrow O_{verified}. }

任何一層斷裂,

都可能呈現成:

AI 做錯了。


146. 這就是 Capability Attribution Problem

因此本文真正提出的是:

Capability Attribution Problem

當 AI 失敗時:

failure 應歸因到哪一層?

如果沒有分層,

model evaluation、workflow design、tool design 都可能修錯地方。


147. 錯誤修法:只換更強模型

如果 bottleneck 在:

Od=0,O_d=0,

把:

Cd:0.9→0.97C_d:0.9\rightarrow0.97

可能幾乎沒用。

因此:

MoreModelCapability⇏SolveObservationFailure.\boxed{ \text{MoreModelCapability} \nRightarrow \text{SolveObservationFailure}. }

148. 錯誤修法:只加更多 Context

如果缺的是:

Perspective,\text{Perspective},

把 context 從:

100k→1M100k\rightarrow1M

也可能只是塞入更多同類資料。

所以:

ContextLength⇏PerspectiveDiversity.\boxed{ \text{ContextLength} \nRightarrow \text{PerspectiveDiversity}. }

149. 錯誤修法:只加更多 Reviewer

如果 reviewer 都:

Pk,P_k,

則:

N↑N\uparrow

仍然:

PerspectiveCoverage≈constant.PerspectiveCoverage\approx \text{constant}.

A08 會處理這件事。


150. 錯誤修法:所有 Modalities 全開

這會造成:

Cost↑,Noise↑,Token↑.\text{Cost}\uparrow, \text{Noise}\uparrow, Token\uparrow.

未必提高:

Closure.\text{Closure}.

正確方法是:

AdaptiveActivation.\boxed{ \text{AdaptiveActivation}. }

151. 正確修法:提高 Routing Intelligence

真正 AI-native 的提升可以位於:

Router Intelligence.\boxed{ \text{Router Intelligence}. }

即:

  • 知道目前 projection;
  • 知道未知;
  • 知道 available perspective;
  • 知道 evidence value;
  • 知道成本;
  • 知道何時切換;
  • 知道何時停止。

152. Global AI 的新定義

本文因此提出:

GlobalAI≠OneAgentThatKnowsEverything.\boxed{ \text{GlobalAI} \neq \text{OneAgentThatKnowsEverything}. }

而更接近:

GlobalAI=MacroObjectAwareness+PerspectiveMetaAwareness+DynamicPerspectiveRouting+AdaptiveEvidenceAcquisition+CrossPerspectiveClosure.\boxed{ \text{GlobalAI} = \text{MacroObjectAwareness} + \text{PerspectiveMetaAwareness} + \text{DynamicPerspectiveRouting} + \text{AdaptiveEvidenceAcquisition} + \text{CrossPerspectiveClosure}. }

153. 與第二系列的正式橋接

A07 是第一系列最後一個主要 failure diagnosis。

它得到:

Capability≠Activation≠Observation.\boxed{ \text{Capability} \neq \text{Activation} \neq \text{Observation}. }

第二系列則問:

如何系統性設計 dynamic global observation?

其路徑:

MacroObject→ObservationOperators→ResolutionTheory→ReasoningObservationAsymmetry→PerspectiveRouting→APRGlobalPerception→CrossPerspectiveClosure.\text{MacroObject} \rightarrow \text{ObservationOperators} \rightarrow \text{ResolutionTheory} \rightarrow \text{ReasoningObservationAsymmetry} \rightarrow \text{PerspectiveRouting} \rightarrow \text{APRGlobalPerception} \rightarrow \text{CrossPerspectiveClosure}.

154. 與 A08 的正式橋接

A07 說:

一個 Agent 可以有能力但沒啟動 perspective。

A08 再推:

多個 Agent 也可以全部啟動同一 perspective。

所以:

Nagents↑⇏PerspectiveDiversity↑.\boxed{ N_{agents}\uparrow \nRightarrow \text{PerspectiveDiversity}\uparrow. }

這會形成:

Homogeneous Green


155. 可否證條件

A07 不應成為:

每次 AI 犯錯都怪 workflow。

所以明確提出反證。

如果控制:

  • perspective;
  • modality;
  • evidence;
  • resolution;
  • freshness;
  • tool;

都充分,

而同一模型仍在 domain dd 持續失敗,

則:

LatentCapabilityLimitation\boxed{ \text{LatentCapabilityLimitation} }

的解釋權重提高。


156. 另一個反證

若 dynamic routing:

Cost↑↑\text{Cost}\uparrow\uparrow

但:

Success\text{Success}

沒有改善,

則:

PerspectiveRouting\text{PerspectiveRouting}

可能沒有實際價值,

或 router quality 太差。

A07 不是預設 dynamic routing 一定勝出。


157. 第三個反證

若 fixed single perspective 已足以可靠閉合 task class,

則加入多 perspective 只是:

ProcessInflation.\text{ProcessInflation}.

所以:

DynamicGlobalObservation\boxed{ \text{DynamicGlobalObservation} }

應在:

material uncertainty / boundary / multimodal need\text{material uncertainty / boundary / multimodal need}

存在時啟動。


158. 核心命題

本文 v0.2 收束為二十條核心命題。

P1 — Latent / Effective Capability Separation

Clatent≠Ceffective.\boxed{ C_{latent} \neq C_{effective}. }

P2 — Capability / Perspective Separation

CapabilityAvailable≠PerspectiveActivated.\boxed{ \text{CapabilityAvailable} \neq \text{PerspectiveActivated}. }

P3 — Perspective / Modality Separation

Perspective≠Modality.\boxed{ \text{Perspective} \neq \text{Modality}. }

P4 — Modality Availability / Acquisition Separation

MultimodalCapabilityAvailable≠MultimodalEvidenceAcquired.\boxed{ \text{MultimodalCapabilityAvailable} \neq \text{MultimodalEvidenceAcquired}. }

P5 — Evidence Availability / Integration Separation

EvidenceAvailable≠EvidenceIntegrated.\boxed{ \text{EvidenceAvailable} \neq \text{EvidenceIntegrated}. }

P6 — Perspective Lock

RepeatedSameProjection+NoReassessment=PerspectiveLock.\boxed{ \text{RepeatedSameProjection} + \text{NoReassessment} = \text{PerspectiveLock}. }

P7 — Pseudo-Globality

ProcessBreadth≫PerspectiveBreadth\boxed{ \text{ProcessBreadth} \gg \text{PerspectiveBreadth} }

可造成偽全域。

P8 — Agent Count Non-Coverage

AgentCount≠PerspectiveCoverage.\boxed{ \text{AgentCount} \neq \text{PerspectiveCoverage}. }

P9 — Role Label Non-Activation

RoleName≠EffectivePerspective.\boxed{ \text{RoleName} \neq \text{EffectivePerspective}. }

P10 — Active Perception Separation

CanPerceive≠CanGovernPerception.\boxed{ \text{CanPerceive} \neq \text{CanGovernPerception}. }

P11 — Observation-Regime Dependence

Performance(M,T)=Performance(M,T∣RO).\boxed{ Performance(M,T) = Performance(M,T\mid\mathcal R_O). }

P12 — Expert Surprise Trigger

ExpertLevelSurprise⇒CapabilityAttributionAudit.\boxed{ \text{ExpertLevelSurprise} \Rightarrow \text{CapabilityAttributionAudit}. }

P13 — Counterfactual Capability Test

若補 perspective / evidence 後同模型成功:

ActivationOrObservationBottleneck\boxed{ \text{ActivationOrObservationBottleneck} }

解釋權重提高。

P14 — More Context Non-Perspective

MoreContext⇏MorePerspectiveCoverage.\boxed{ \text{MoreContext} \nRightarrow \text{MorePerspectiveCoverage}. }

P15 — More Input Non-Understanding

MoreModalities⇏MoreUnderstanding.\boxed{ \text{MoreModalities} \nRightarrow \text{MoreUnderstanding}. }

P16 — Global Awareness

GlobalAwareness=KnowCurrentProjection+KnowAvailablePerspectives+KnowUnknowns.\boxed{ \text{GlobalAwareness} = \text{KnowCurrentProjection} + \text{KnowAvailablePerspectives} + \text{KnowUnknowns}. }

P17 — Dynamic Activation

GlobalIntelligence\boxed{ \text{GlobalIntelligence} }

需要:

DynamicAccessToPerspectives,\boxed{ \text{DynamicAccessToPerspectives}, }

而不是:

AllPerspectivesAlwaysOn.\text{AllPerspectivesAlwaysOn}.

P18 — Multimodal Resolution

MultimodalEvidence\boxed{ \text{MultimodalEvidence} }

的核心價值之一是:

IncreaseWorldStateDistinguishability.\boxed{ \text{IncreaseWorldStateDistinguishability}. }

P19 — Perspective Routing Precedes Evidence Routing

Perspective→Modality→Evidence→Resolution.\boxed{ \text{Perspective} \rightarrow \text{Modality} \rightarrow \text{Evidence} \rightarrow \text{Resolution}. }

P20 — Global AI

GlobalAI=MacroAwareness+PerspectiveRouting+AdaptiveEvidence+CrossPerspectiveClosure.\boxed{ \text{GlobalAI} = \text{MacroAwareness} + \text{PerspectiveRouting} + \text{AdaptiveEvidence} + \text{CrossPerspectiveClosure}. }

159. 結論

當一個高能力 AI 犯出:

「這種錯誤不是一眼就看得出來嗎?」

我們不應只剩兩個答案:

  1. 模型很笨;
  2. 這只是隨機失誤。

A07 提供第三個可工程驗證的答案:

模型可能具有該能力,但當前 runtime 沒有讓它站到能看見問題的位置。

所以:

Ability≠Viewpoint≠Evidence.\boxed{ \text{Ability} \neq \text{Viewpoint} \neq \text{Evidence}. }

一個 Agent 可以:

  • 會 UX;
  • 會 architecture;
  • 會 security;
  • 會 vision;
  • 會 runtime reasoning;

卻在某個 workflow 中只被允許:

code+unit tests.\boxed{ \text{code} + \text{unit tests}. }

此時真正限制有效智能的,不一定是模型參數中的 capability hole,

而可能是:

PerspectiveActivationGap+ObservationGap+ResolutionGap.\boxed{ \text{PerspectiveActivationGap} + \text{ObservationGap} + \text{ResolutionGap}. }

這對前沿 AI 特別重要,因為模型能力越廣:

Cd↑,C_d\uparrow,

「能力沒有被 runtime 調用」造成的浪費就越大。

因此,下一代 Agent engineering 的重要問題可能不只是:

模型能做什麼?

而是:

它知不知道現在應該啟動哪一種能力、站在哪個視角、取得哪種證據、提高哪一部分解析度,以及什麼時候目前視角已經不足?

這使 AI engineering 從:

Capability Scaling\boxed{ \text{Capability Scaling} }

再往前走到:

Capability Routing.\boxed{ \text{Capability Routing}. }

而真正的全域智能也不再等於:

一個模型一次把所有東西都看完。

而是:

 A global agent knows that every current view is a projection, knows what other views are available, and can raise observational resolution where the macro-object is still underdetermined. \boxed{ \textbf{ A global agent knows that every current view is a projection, knows what other views are available, and can raise observational resolution where the macro-object is still underdetermined. } }

中文即:

真正的全域 Agent 知道自己目前看到的只是投影;知道還有哪些視角可用;並能在宏觀個體仍不可判定的位置,主動切換視角、取得證據與提高解析度。

這正是第二系列要正式方法化的起點。


參考文獻

A. 外部研究

  1. Wang, Z., Chen, C., Luo, F., Dong, Y., Zhang, Y., Xu, Y., Wang, X., Li, P., & Liu, Y. (2025). ActiView: Evaluating Active Perception Ability for Multimodal Large Language Models. ACL 2025, pp. 7605–7633. DOI: 10.18653/v1/2025.acl-long.376.
    https://aclanthology.org/2025.acl-long.376/
    本文使用其作為「passive multimodal capability ≠ active perception ability」的外部近鄰;ActiView 在限制模型 perceptual field 的情況下要求主動 zoom / shift,並對 30 個模型報告顯著 active-perception gap。

  2. Son, Y.-C., Lee, J.-W., Choi, Y.-J., Ko, D.-K., & Lim, S.-C. (2026). Selective Perception for Robot: Task-Aware Attention in Multimodal VLA. arXiv:2602.15543.
    https://arxiv.org/abs/2602.15543
    以 task-aware adaptive routing 選擇多 camera views,反對 static uniform fusion;本文使用其作為「多模態全開不一定最佳、task-irrelevant input 可形成 noise」的外部例子。

  3. Huang, K., Zhang, J., Xie, X., & Chen, C. (2025). Seeing is Fixing: Cross-Modal Reasoning with Multimodal LLMs for Visual Software Issue Fixing. arXiv:2506.16136.
    https://arxiv.org/abs/2506.16136
    提出 GUIRepair,以 Image2Code / Code2Image 將 visual issue comprehension 與 post-patch visual validation 接入 automated program repair;本文使用其作為「code/text projection 不足以處理 visual software issue」的 software-engineering 近鄰。

  4. Zhang, C., He, S., Qian, J., Li, B., Li, L., Qin, S., Kang, Y., Ma, M., Liu, G., Lin, Q., Rajmohan, S., Zhang, D., & Zhang, Q. (2025). Large Language Model-Brained GUI Agents: A Survey. Transactions on Machine Learning Research.
    https://www.microsoft.com/en-us/research/publication/large-language-model-brained-gui-agents-a-survey/
    系統整理 GUI agents 的 perception、planning、action、memory 等問題;本文將 GUI agent 視為「觀察—行動閉環」的重要外部工程域。

  5. A Platform-Aware Survey of Execution, Verification, and Risk of Graphical User Interface Agents (2026). ENGINEERING Information Technology & Electronic Engineering, 27(7). DOI: 10.1631/ENG.ITEE.2026.0103.
    將 web / mobile / desktop GUI agents 視為具有不同 observability、hidden-state dependence、execution cost 與 side-effect risk 的 operational regimes,並強調 outcome verification、adaptive sensing 與 hybrid GUI-tool execution。

  6. Jiang, Y., Zheng, Y., Wan, Y., Han, J., Wang, Q., Lyu, M. R., & Yue, X. (2025). ScreenCoder: Advancing Visual-to-Code Generation for Front-End Automation via Modular Multimodal Agents. arXiv:2507.22827.
    https://arxiv.org/abs/2507.22827
    以 grounding / planning / generation 的 multimodal modular pipeline 處理 UI-to-code,提供 visual grounding 與 front-end code 生成之間的外部近鄰。

  7. Divide-and-Conquer: Generating UI Code from Screenshots (2025). Proceedings of the ACM on Software Engineering. DOI: 10.1145/3729364.
    研究指出 MLLM screenshot-to-code 中存在 element omission、distortion、misarrangement,並發現聚焦較小 visual segments 可改善 generation;與本文「解析度/範圍選擇」具有近鄰關係。

  8. Ahmed, F., Tan, X., Adewole, F., Datta, S., & Nayebi, M. (2026). Do multimodal LLMs understand programming screenshots? Inferring questions and extracting relevant content. Empirical Software Engineering, 31(4), 88. DOI: 10.1007/s10664-026-10804-8.
    研究 multimodal LLM 對 programming screenshots 的理解,屬 visual software engineering 的直接外部研究。

  9. Xing, Z., Xu, R., Wang, Y., He, J., Ma, Z., Yang, Q., Chu, Y., Xu, J., Lin, J., Fu, C.-W., & Heng, P.-A. (2026). Native Active Perception as Reasoning for Omni-Modal Understanding. arXiv:2606.19341.
    長影音 omni-modal understanding 以 iterative observation–thought–action / active perception 取代「watch-it-all」,與 APR / A07 的 selective evidence acquisition 具有近鄰關係。

  10. Toward an automated cross-multimodal verification of mobile app bug fixes integrating user feedback, developer responses, changelogs, and UI visual analysis (2025/2026). Information and Software Technology. DOI: 10.1016/j.infsof.2025.107996.
    跨 user report、developer response、changelog 與 UI visual evidence 進行 bug-fix verification,支持「post-fix 多模態 outcome verification」的重要性。

B. Neo.K / EveMissLab 既有研究

  1. Neo.K. Agentic Perception:具備自主感知策略的多模態智能架構, APR-07, v0.1, 2026-08-07.
    建立:

    WorldState→Prediction→Monitoring→Difference→PerceptualPolicy→Observation/Action→BeliefRevision.\text{WorldState} \rightarrow \text{Prediction} \rightarrow \text{Monitoring} \rightarrow \text{Difference} \rightarrow \text{PerceptualPolicy} \rightarrow \text{Observation/Action} \rightarrow \text{BeliefRevision}.

    並將 Agentic Perception 定義為自主治理資訊取得活動。

  2. Neo.K. 感知預算分配:從固定視覺 Token 到動態資訊獲益最大化, APR-05, 2026.
    建立 multi-resource perceptual budget、minimum sufficient perception、information-gain allocation、re-observation 與 stop rule。

  3. Neo.K. 跨模態感知閱讀:文字、影像、影片與聲音的統一注意策略, APR-06, 2026.
    建立 modality-general perceptual control、modality routing、resolution / temporal / reasoning allocation,以及「不用某模態也是感知決策」。

  4. Neo.K. Adaptive Perceptual Reading / Agentic Perception 統一技術白皮書 v1.0, 2026.
    將 APR 統合成 Perceptual Governance Runtime。

  5. Neo.K. 一句話不是魔法:Sparse Intent 與 Project-World Cognition, Global Observer and AI-Native Domain Computation Series C07, 2026-09-06.
    建立 Global Project Attention Coverage、Project Epistemic Self-Awareness 與「AI 是否把 project 理解成 world」的 benchmark framing。

  6. Neo.K. 〈綠燈錯置——AI 時代「通過驗證」不等於「完成意圖」的新型不對齊〉,A01, 2026.

  7. Neo.K. 〈局部正確與全域失敗〉,A03 v0.2, 2026.
    建立 observation operators、projection closure 與 macro closure 分離。

  8. Neo.K. 〈生成—治理缺口與 AI 原生結構負擔〉,A06 v0.2, 2026.
    建立 generation / verification / integration / architecture / governance throughput,以及 capacity pressure 對 observation / governance 的影響。

  9. Neo.K. Global-First Completion v2.1, 2026.
    建立 Instance → Pattern → Architecture → Substrate 的 diagnostic escalation,可視為 perspective escalation 的工程前身。

  10. Neo.K. 宏觀個體導向的動態全域觀察方法論 Series B, 2026.
    後續正式展開宏觀個體、角色即觀察算子、解析度理論、Reasoning–Observation Resolution Asymmetry、Dynamic Perspective Routing 與 APR-governed global perception。


End of A07 v0.2