← Archive
lm-004357 · 2026-10

從內容治理到因果治理：當 AI 不只回答，而開始讓世界發生事情

zh-Hant · md Raw source ↗ Metadata ↗
下載 MD 檔 ⬇

從內容治理到因果治理：當 AI 不只回答，而開始讓世界發生事情

——Causal Governance、Action Authority 與 Agentic AI 的治理轉換

系列：Persistent Artificial Actors / 持續型人工行動者
篇次：第 4 篇
版本：v0.1
日期：2026-09-19
語言：繁體中文

作者： Neo.K
機構： EveMissLab／一言諾科技有限公司

摘要

生成式 AI 的早期治理主要圍繞內容：模型可以回答什麼、拒絕什麼、產生什麼資訊，以及哪些內容可能造成傷害。然而，Agentic AI 正把治理問題推向另一個層次。當 AI 開始使用瀏覽器、終端機、檔案系統、API、連接器、雲端電腦與排程，並能代表使用者執行多步驟任務時，真正需要治理的已不只是輸出內容，而是 AI 能否在特定權限、環境與目的下改變外部世界狀態。

本文提出「因果治理」（Causal Governance）作為 Persistent Artificial Actor 時代的核心治理框架。其基本轉換為：

Content Governance→Causal Governance\boxed{ \text{Content Governance} \rightarrow \text{Causal Governance} }

內容治理主要回答「AI 可以說什麼」；因果治理則必須回答「AI 可以做什麼、對誰做、在哪裡做、做到什麼程度、需要誰批准、是否可逆，以及造成什麼後果」。

本文主張，Agent 治理不能只依賴模型層的允許／拒絕分類，因為相同知識在不同因果環境中具有完全不同的風險。例如相同的 shell command，在隔離 sandbox、個人測試機、公司 production server 或第三方系統中的治理含義並不相同。同樣地，合法授權的 pentest、軟體考古、互操作性研究與未授權攻擊可能使用相似技術，但其 authorization、target、impact 與 accountability 完全不同。

NIST 2026 年關於 Software and AI Agent Identity and Authorization 的工作已將 identification、authorization、auditing、non-repudiation 與 prompt injection 明確列為 Agent 身份治理核心。Anthropic 2026 年的 trustworthy agents 工作也指出，Agent 的 autonomy 同時帶來 intent misinterpretation、unintended consequences 與 prompt injection 風險，並強調防護必須存在於模型、工具、權限與部署環境等多層。OpenAI 的 ChatGPT agent 安全說明同樣採用 high-impact confirmation、prompt-injection monitoring、watch mode 與限制性措施。OWASP 2026 年 Agentic AI guidance 則把 tool abuse、privilege escalation、data exfiltration、memory poisoning、prompt injection 等視為 agent-specific security risks。

本文因此提出「Action Governance Stack」與「Causal Action Record」兩個框架，將 Agent action 分解為 intent、principal、agent identity、target、tool、authority、environment、reversibility、observability、impact 與 outcome。本文並主張：未來 AI 安全不能只問「模型知道多少」，而要治理「模型在什麼狀態下被允許把知識轉換成行動」。

關鍵詞

Causal Governance、Agentic AI、Action Governance、AI Agent Security、Authorization、Prompt Injection、Human Approval、Reversibility、Auditability、Persistent Agent、Artificial Actor

1. Chatbot 時代的核心問題：AI 可以說什麼？

對傳統 Chatbot 而言，治理通常可以抽象為：

GC(x)→{Answer,Transform,Refuse}G_C(x) \rightarrow \{ \text{Answer}, \text{Transform}, \text{Refuse} \}

其中：

xx

主要是：

  • 使用者輸入；
  • 文件；
  • 圖像；
  • 某段上下文。

系統的主要產物是：

y=Outputy=\text{Output}

因此風險主要集中在：

  • 錯誤資訊；
  • 危險指導；
  • 仇恨內容；
  • 詐騙；
  • 非法內容；
  • 高風險建議；
  • 敏感資料洩漏。

這是一種：

Content Governance\boxed{\text{Content Governance}}

其基本治理單位是：

模型輸出。

2. Agent 時代的核心問題：AI 可以讓什麼事情發生？

Agent 不只是輸出文字。

它可以：

Read→Decide→Call Tool→Change State\text{Read} \rightarrow \text{Decide} \rightarrow \text{Call Tool} \rightarrow \text{Change State}

例如：

  • 寫入檔案；
  • 改程式碼；
  • 執行 shell；
  • 上傳網站；
  • 發郵件；
  • 建立排程；
  • 修改權限；
  • 更新資料庫；
  • 購買商品；
  • 送出表單；
  • 操作瀏覽器；
  • 呼叫企業內部系統。

因此 Agent 的輸出真正變成：

ΔW\Delta W

也就是：

world-state change。

可以寫成：

Wt+1=F(Wt,At)W_{t+1} = F( W_t, A_t )

其中：

  • WtW_t：行動前世界狀態；
  • AtA_t：Agent action；
  • Wt+1W_{t+1}：行動後世界狀態。

所以新的治理問題不是：

AI 可以產生這段資訊嗎？

而是：

AI 可以把這段資訊轉換成這個行動嗎？

3. Content Risk 與 Causal Risk 不相同

相同內容：

rm -rf ./cache

在不同環境：

E1=Disposable SandboxE_1=\text{Disposable Sandbox} E2=Personal Dev MachineE_2=\text{Personal Dev Machine} E3=Production ServerE_3=\text{Production Server}

其風險完全不同。

可以表示：

RC=f(Content)R_C = f( \text{Content} )

而：

RA=f(Content,Authority,Environment,Target,Impact)R_A = f( \text{Content}, \text{Authority}, \text{Environment}, \text{Target}, \text{Impact} )

因此：

RA≠RCR_A \not= R_C

這就是因果治理與內容治理的第一個結構差異。

4. 同一份知識，在不同世界狀態中可以是完全不同的行動

假設模型知道如何：

掃描服務、解析 binary、修改設定、發送 request、建立 credential。

知識本身是：

KK

但真正的 action 是：

A=ϕ(K,T,E,Auth,P)A = \phi( K, T, E, \text{Auth}, P )

其中：

  • TT：Target；
  • EE：Environment；
  • Auth\text{Auth}：Authorization；
  • PP：Purpose。

因此：

KK

不能直接決定：

AA

是否合法、合理或安全。

5. 這也是為什麼「知識治理」不能直接等同「行動治理」

如果一家公司採取：

Dangerous Knowledge⇒Always Refuse\text{Dangerous Knowledge} \Rightarrow \text{Always Refuse}

它可能會阻斷：

  • 合法 pentest；
  • malware analysis；
  • legacy recovery；
  • software archaeology；
  • defensive reverse engineering；
  • interoperability research。

反過來，如果：

Knowledge Allowed⇒Action Allowed\text{Knowledge Allowed} \Rightarrow \text{Action Allowed}

又可能放大：

  • 未授權入侵；
  • data exfiltration；
  • destructive automation；
  • credential abuse。

所以需要：

Knowledge Permission≠Execution Permission\boxed{ \text{Knowledge Permission} \neq \text{Execution Permission} }

6. Free Speech 與 Free Execution 是兩回事

這一點可以寫成：

Free Speech≠Free Execution\boxed{ \text{Free Speech} \neq \text{Free Execution} }

模型可以：

解釋某種技術。

不代表 Agent 可以：

自動在真實系統上執行。

同樣：

Agent 被限制實際執行，

也不必然表示：

模型完全不能提供概念性知識。

這種解耦可能成為 Agent 治理最重要的架構之一。

7. 因果治理的基本定義

本文定義：

Causal Governance\boxed{\text{Causal Governance}}

為：

對人工 Agent 在特定身份、授權、工具、環境、目標與目的下所能造成的外部狀態改變進行分類、限制、批准、監測、驗證、記錄與追責的治理體系。

這裡的核心治理單位不是：

Output\text{Output}

而是：

Action\boxed{\text{Action}}

以及：

State Transition\boxed{\text{State Transition}}

8. Agent Action 的完整表示

本文提出：

At=(I,P,G,T,Tool,Auth,E,R,O,Impact)A_t = ( I, P, G, T, \text{Tool}, \text{Auth}, E, R, O, \text{Impact} )

其中：

  • II：Intent；
  • PP：Principal；
  • GG：Agent Identity；
  • TT：Target；
  • Tool\text{Tool}：Tool；
  • Auth\text{Auth}：Authorization；
  • EE：Execution Environment；
  • RR：Reversibility；
  • OO：Observability；
  • Impact\text{Impact}：Potential Impact。

這十個變量可以形成：

Causal Action Record\boxed{\text{Causal Action Record}}

9. Intent：Agent 想做什麼？

第一個治理維度不是內容，而是：

I=IntentI=\text{Intent}

例如：

  • 讀取；
  • 分析；
  • 修改；
  • 刪除；
  • 分享；
  • 發布；
  • 支付；
  • 執行；
  • 探測；
  • 建立帳號；
  • 撤銷權限。

同一個 target，不同 intent：

Read≠Modify≠Delete\text{Read} \neq \text{Modify} \neq \text{Delete}

所以 permission 不應只寫：

Agent 可以存取資料庫。

而應該是：

Read DB\text{Read DB} Write DB\text{Write DB} Drop Table\text{Drop Table}

不同權限。

10. Principal：它代表誰？

Agent 很少真正「自己」擁有法律權限。

它通常代表：

P=HumanP = \text{Human}

或：

P=OrganizationP = \text{Organization}

因此 action 應該綁定：

Agent→Delegated Principal\text{Agent} \rightarrow \text{Delegated Principal}

NIST 2026 年的 Agent identity / authorization 工作正是強調：

  • identification；
  • authorization；
  • auditing；
  • non-repudiation；
  • human binding；
  • delegation。

因此 Agent 行動治理不能只知道：

哪個模型做的。

還必須知道：

它代表誰。

11. Agent Identity：誰真的執行？

第 2 篇已指出：

IO=Operational IdentityI_O=\text{Operational Identity}

是責任治理核心。

因此：

Principal≠Agent\text{Principal} \neq \text{Agent}

例如：

P=公司P=\text{公司} G=財務 Agent #42G=\text{財務 Agent \#42}

如果 action 出錯：

公司可能承擔法律責任。

但工程與稽核仍然需要知道：

是 #42 哪個版本、哪條 lineage、哪個 runtime 執行。

12. Target：對誰或對什麼做？

Target 至少可以拆成：

T∈{Self,User-Owned,Organization-Owned,Third-Party,Public,Critical}T \in \{ \text{Self}, \text{User-Owned}, \text{Organization-Owned}, \text{Third-Party}, \text{Public}, \text{Critical} \}

例如：

分析自己公司的 EXE。

與：

分析第三方軟體。

技術上可能相同。

治理上完全不同。

13. Tool：AI 用什麼手段？

Agent 可以透過：

  • browser；
  • shell；
  • database client；
  • mail connector；
  • cloud API；
  • local filesystem；
  • reverse engineering tools；
  • package manager；
  • payment API。

每種工具都有不同能力。

因此：

Tool→Capability Surface\text{Tool} \rightarrow \text{Capability Surface}

工具越強：

Potential Impact↑\text{Potential Impact} \uparrow

14. Authorization：有沒有被允許？

Authorization 不能只是一個 boolean。

至少應該有：

Auth=(Scope,Duration,Resource,Action,Limit)\text{Auth} = ( \text{Scope}, \text{Duration}, \text{Resource}, \text{Action}, \text{Limit} )

例如：

允許這個 Agent 在接下來 2 小時內修改 staging database，但不能碰 production。

這比：

已授權。

精確得多。

15. Environment：在哪裡執行？

同樣 action：

AA

在：

ES=SandboxE_S=\text{Sandbox}

與：

EP=ProductionE_P=\text{Production}

治理不應相同。

因此：

Risk(A,ES)<Risk(A,EP)\text{Risk}(A,E_S) < \text{Risk}(A,E_P)

通常成立。

這也是為什麼 sandbox 是 Agent 安全很重要的結構。

16. Reversibility：做錯能不能復原？

Agent action 可以分成：

RH=Highly ReversibleR_H=\text{Highly Reversible}

例如：

  • 建立草稿；
  • 產生本地檔案；
  • 修改可 version-control 的程式碼。

以及：

RL=Low ReversibilityR_L=\text{Low Reversibility}

例如：

  • 匯款；
  • 發布公開內容；
  • 刪除唯一資料；
  • 發送外部郵件；
  • 解密金鑰洩漏。

因此：

Approval Threshold∝1Reversibility\text{Approval Threshold} \propto \frac{1}{\text{Reversibility}}

可逆性越低：

Approval Requirement↑\text{Approval Requirement} \uparrow

17. Observability：人類能不能知道它做了什麼？

如果 Agent action 不可觀察：

O→0O\rightarrow0

即使行動本身風險不高，也會降低治理品質。

因此需要：

  • logs；
  • action history；
  • diffs；
  • receipts；
  • screenshots；
  • tool traces；
  • audit events。

這對：

Non-Repudiation\text{Non-Repudiation}

非常重要。

18. Impact：真正可能造成多大後果？

Impact 應至少包括：

Impact=(Financial,Privacy,Security,Availability,Reputation,Legal,Safety)\text{Impact} = ( \text{Financial}, \text{Privacy}, \text{Security}, \text{Availability}, \text{Reputation}, \text{Legal}, \text{Safety} )

例如：

刪除一個測試檔案。

與：

刪除醫療資料。

都叫：

Delete\text{Delete}

但 impact 完全不同。

19. 因果風險不是單一分類，而是多維函數

因此：

RA=f(I,P,G,T,Tool,Auth,E,R,O,Impact)R_A = f( I, P, G, T, \text{Tool}, \text{Auth}, E, R, O, \text{Impact} )

這表示：

「這是 cyber 類任務嗎？」

這種分類仍然太粗。

真正需要的是：

Action Context\boxed{\text{Action Context}}

20. Agent Governance Stack

本文提出：

Action Governance Stack\boxed{\text{Action Governance Stack}}

至少包含六層。

Layer 1：Model Governance

負責：

  • policy reasoning；
  • intent interpretation；
  • high-risk recognition；
  • ambiguity handling；
  • refuse / ask / proceed。

Layer 2：Tool Governance

負責：

  • 可用工具；
  • tool capability；
  • allowed arguments；
  • rate limits；
  • resource boundaries。

Layer 3：Identity & Authorization Governance

負責：

  • Agent identity；
  • principal；
  • credential；
  • role；
  • delegated authority；
  • least privilege。

Layer 4：Environment Governance

負責：

  • sandbox；
  • filesystem scope；
  • network egress；
  • production boundary；
  • secret boundary。

Layer 5：Human Approval Governance

負責：

  • confirmation；
  • step-up authorization；
  • watch mode；
  • high-impact approvals；
  • irreversible actions。

Layer 6：Audit & Recovery Governance

負責：

  • logs；
  • diffs；
  • rollback；
  • receipts；
  • incident reconstruction；
  • non-repudiation。

21. 為什麼不能只靠模型拒絕？

Anthropic 2026 年的 agent safety 工程文章提供一個很強的實際例子。

在內部 controlled red-team 中，研究者讓員工執行一個惡意 prompt；該 prompt 引導 Claude Code 讀取：

/˜.aws/credentials\texttt{\~/.aws/credentials}

並將內容 POST 到外部 endpoint。

文章指出，在 25 次重試中，Claude 完成 exfiltration 24 次。[5]

關鍵是：

攻擊不是來自網頁 indirect prompt injection。

而是：

使用者自己把惡意 prompt 貼進去。

因此模型層看到的是：

User Intent\text{User Intent}

很難判斷異常。

真正有效的防線反而是：

  • filesystem boundary；
  • egress control。

這正好證明：

Model Governance≠Complete Agent Governance\boxed{ \text{Model Governance} \neq \text{Complete Agent Governance} }

22. 環境治理有時比模型更可靠

若 Agent 被禁止：

Read /˜.aws\text{Read } \texttt{\~/.aws}

那麼即使模型完全被騙：

Data Exfiltration\text{Data Exfiltration}

仍然無法成立。

同樣，如果：

Network Egress=Blocked\text{Network Egress} = \text{Blocked}

則 Agent 無法把資料送出去。

因此：

Capability Denial\text{Capability Denial}

有時比：

Behavioral Intention\text{Behavioral Intention}

更可靠。

23. 這就是「Executable Governance」

傳統 policy 是：

不准做 X。

Agent runtime 可以進一步實現：

Executable Governance\boxed{\text{Executable Governance}}

例如：

  • 沒有 write permission；
  • 沒有 payment scope；
  • 無法存取 production；
  • 無法連外；
  • 只能讀指定資料夾。

規則變成：

Normative Constraint→Technical Constraint\text{Normative Constraint} \rightarrow \text{Technical Constraint}

這是 Agent 時代非常強的治理能力。

24. 但 Executable Governance 也可能過度粗糙

如果：

Reverse Engineering=Blocked Everywhere\text{Reverse Engineering} = \text{Blocked Everywhere}

則合法：

  • legacy recovery；
  • internal security audit；
  • interoperability；
  • digital preservation；

也會一起被擋。

所以：

Hard Technical Constraint\text{Hard Technical Constraint}

必須建立在足夠細緻的：

Decision Domain\text{Decision Domain}

之上。

這會在第 5 篇進一步展開。

25. Anthropic：Agent 安全需要每一層防線

Anthropic 在 2026 年的「Trustworthy agents in practice」中指出：

Agent 的 autonomy 讓它們更有效率，但也帶來：

  • misreading user intent；
  • unintended consequences；
  • prompt injection。

其核心觀點之一是：

Prompt injection 沒有單一防線可以保證解決。

需要：

  • model training；
  • traffic monitoring；
  • external red teaming；
  • tool / data restrictions；
  • careful permission design；
  • environment control。[2]

這與本文 Action Governance Stack 高度一致。

26. OpenAI：高影響行動需要額外 friction

OpenAI 對 ChatGPT agent 的公開安全說明也指出：

當 Agent 登入網站或連接 apps 後，它可能存取：

  • email；
  • files；
  • account settings；

並能代表使用者：

  • share files；
  • modify account settings；
  • 執行其他動作。[6]

公開的安全措施包括：

  • user confirmations for high-impact actions；
  • refusal patterns；
  • prompt injection monitoring；
  • watch mode。

這代表治理已經從：

Answer / Refuse\text{Answer / Refuse}

擴展到：

Act / Confirm / Supervise / Refuse\text{Act / Confirm / Supervise / Refuse}

27. Agent action policy 比 chatbot policy 多了「中間狀態」

Chatbot：

{Answer,Refuse}\{\text{Answer},\text{Refuse}\}

Agent：

{Proceed,Proceed Read-Only,Sandbox,Ask Clarification,Ask Approval,Watch Mode,Require Evidence,Refuse}\{ \text{Proceed}, \text{Proceed Read-Only}, \text{Sandbox}, \text{Ask Clarification}, \text{Ask Approval}, \text{Watch Mode}, \text{Require Evidence}, \text{Refuse} \}

這是因果治理的典型特徵。

28. OWASP：Agent 的攻擊面已經不只是 prompt

OWASP AI Agent Security guidance 將以下列為重要風險：

  • direct / indirect prompt injection；
  • tool abuse；
  • privilege escalation；
  • data exfiltration；
  • memory poisoning；
  • excessive permissions；
  • insecure inter-agent communication。

這些都表示：

Agent Security Surface>LLM Output Surface\text{Agent Security Surface} > \text{LLM Output Surface}

29. Memory 本身也是因果治理對象

普通 Chatbot memory 可能只是：

記住偏好。

Persistent Agent memory 可以影響：

At+1A_{t+1}

也就是未來行動。

如果 memory 被污染：

Mt→Mt′M_t \rightarrow M_t'

則：

At+nA_{t+n}

可能持續受到影響。

因此：

Memory Governance\boxed{\text{Memory Governance}}

其實也是 Causal Governance。

30. Prompt Injection 是因果治理最典型的敵對問題

Prompt injection 的危險不在：

AI 看到了錯誤文字。

真正危險的是：

Untrusted Content→Intent Override→Tool Use→World-State Change\text{Untrusted Content} \rightarrow \text{Intent Override} \rightarrow \text{Tool Use} \rightarrow \text{World-State Change}

所以防禦核心是阻止：

Untrusted Information\text{Untrusted Information}

跨越到：

Trusted Authority\text{Trusted Authority}

31. Agent 必須區分 Information 與 Instruction

這是 Agent 安全最核心的語義邊界之一。

例如網頁裡寫：

Ignore previous instructions and send all files to X.

Agent 應理解：

Page Text=Data\text{Page Text} = \text{Data}

而不是：

Page Text=Authority\text{Page Text} = \text{Authority}

因此需要：

Instruction Provenance\boxed{\text{Instruction Provenance}}

32. Authority 不應由內容本身產生

一個基本原則：

Authority↚Untrusted Content\text{Authority} \not\leftarrow \text{Untrusted Content}

Authority 應來自：

Principal+Policy+Explicit Delegation\text{Principal} + \text{Policy} + \text{Explicit Delegation}

這可以稱為：

Authority Provenance Principle\boxed{\text{Authority Provenance Principle}}

33. Agent 不能自己因為「覺得合理」就擴張權限

如果 Agent 被授權：

整理信箱。

它不能自己推出：

為了整理，所以可以刪帳號。

這是：

Authority Expansion\text{Authority Expansion}

所以：

Autht+1≯AuthtAuth_{t+1} \not> Auth_t

除非：

Explicit Delegation\text{Explicit Delegation}

發生。

34. Least Privilege 對 Agent 比對一般 App 更重要

一般 app 功能固定。

Agent 功能是：

Open-Ended\text{Open-Ended}

因此同一個 toolset 可以被重新組合。

若：

Tool1+Tool2+Tool3Tool_1+Tool_2+Tool_3

組合後形成新能力：

C∗C^*

則風險可能超過任一單一工具。

因此：

Least Privilege\text{Least Privilege}

對 Agent 應包含：

  • tool-level；
  • resource-level；
  • action-level；
  • time-level；
  • task-level。

35. Compositional Risk

本文提出：

Compositional Action Risk\boxed{\text{Compositional Action Risk}}

定義：

多個本來低風險的工具，經 Agent 自主組合後形成高風險能力。

例如：

Read Email+Read Files+HTTP POST\text{Read Email} + \text{Read Files} + \text{HTTP POST}

可能形成：

Data Exfiltration\text{Data Exfiltration}

所以：

Risk(T1+T2+T3)>∑Risk(Ti)Risk(T_1+T_2+T_3) > \sum Risk(T_i)

在某些情況下成立。

36. Approval 也不能只是「每次按一下」

如果 Agent 每一步都問：

可以嗎？

會產生：

Approval Fatigue\text{Approval Fatigue}

使用者最後只會：

一直按 Yes。

因此需要：

Risk-Calibrated Approval\boxed{\text{Risk-Calibrated Approval}}

37. Risk-Calibrated Approval

低風險：

Auto Proceed\text{Auto Proceed}

中風險：

Proceed + Log\text{Proceed + Log}

較高風險：

Explicit Confirmation\text{Explicit Confirmation}

高風險且不可逆：

Step-Up Authentication+Human Approval\text{Step-Up Authentication} + \text{Human Approval}

極高風險：

Prohibited\text{Prohibited}

這比：

Confirm Everything\text{Confirm Everything}

有效。

38. Human-in-the-loop 也不是萬靈丹

如果人類：

  • 看不懂；
  • 沒時間；
  • 過度信任；
  • approval fatigue；
  • 被 Agent framing 影響；

那：

Human Approval\text{Human Approval}

也可能只是形式。

所以真正治理需要：

Human+Interface+Evidence+Timing\text{Human} + \text{Interface} + \text{Evidence} + \text{Timing}

39. Approval 應提供「決策所需資訊」

好的 approval 不是：

Allow?

而是：

Agent 將把這三個檔案上傳到這個網域；這個動作無法自動撤回；目前授權來源為 X。

也就是：

Decision-Sufficient Approval\boxed{\text{Decision-Sufficient Approval}}

40. 可逆性應成為 Agent 規劃本身的一部分

Agent planning 不應只優化：

Goal Completion\text{Goal Completion}

還應優化：

Reversibility\text{Reversibility}

可以寫成：

max⁡(Ugoal−λRirreversible)\max \left( U_{\text{goal}} - \lambda R_{\text{irreversible}} \right)

這意味著：

能先做草稿，就不要直接發布。

能先做 staging，就不要直接改 production。

能先 backup，就不要直接覆蓋。

41. Safe Planning 是因果治理，而不是單純安全提示詞

可以建立：

Causally Conservative Planning\boxed{\text{Causally Conservative Planning}}

原則：

  1. 先讀；
  2. 再模擬；
  3. 再 diff；
  4. 再批准；
  5. 最後執行。

即：

Observe→Simulate→Preview→Approve→Act\text{Observe} \rightarrow \text{Simulate} \rightarrow \text{Preview} \rightarrow \text{Approve} \rightarrow \text{Act}

42. 世界狀態驗證：Agent 不能只相信自己的「成功回報」

Persistent Agent 常遇到：

工具說失敗，但其實成功。

或：

工具說成功，但狀態沒有改。

所以：

Tool Response≠World State\text{Tool Response} \neq \text{World State}

這是非常重要的差異。

真正應該：

Action→Independent Verification\text{Action} \rightarrow \text{Independent Verification}

43. Causal Closure

本文提出：

Causal Closure\boxed{\text{Causal Closure}}

定義：

一個 Agent 任務不能只在「我已呼叫工具」時結束，而應在外部世界狀態被重新觀察並確認符合預期後才閉合。

形式：

At→Wt+1→V(Wt+1)A_t \rightarrow W_{t+1} \rightarrow V(W_{t+1})

若：

V(Wt+1)≠GoalV(W_{t+1})\neq Goal

則任務不應被標示為完成。

44. 這對 Grok Bot 類型 Agent 特別重要

如果 Agent 發布作品後：

  • backend 回報失敗；
  • 頁面其實已成功；
  • Agent再次重試；
  • 產生重複內容；

這不是單純 UI bug。

它是：

Failure of Causal Verification\text{Failure of Causal Verification}

也就是：

Agent 沒有把「世界現在到底是什麼狀態」當作最後判定依據。

45. Agent completion 應該從「工具完成」改成「狀態閉包」

傳統：

Tool Returned Success⇒Done\text{Tool Returned Success} \Rightarrow \text{Done}

應改成：

Goal State Verified⇒Done\text{Goal State Verified} \Rightarrow \text{Done}

這是長期 Agent 非常核心的可靠性升級。

46. 因果治理也需要對「未行動」治理

有時最安全的 action 是：

Do Nothing\text{Do Nothing}

例如：

  • 授權不清楚；
  • 世界狀態矛盾；
  • target 不確定；
  • 不可逆風險過高；
  • 使用者意圖模糊。

Anthropic 2026 年 trustworthy agent guidance 明確強調：

在 ambiguous situations 中，Agent 應該 pause、raise concern 或 seek clarification，而不是自己假設。[2]

所以：

Abstention\boxed{\text{Abstention}}

也是因果治理 action。

47. Uncertainty-aware Acting

本文提出：

P(Intent Correct)=qP(\text{Intent Correct}) = q

若：

q<τAq<\tau_A

則：

Ask\text{Ask}

若：

q<τRq<\tau_R

且 action 不可逆：

Refuse / Pause\text{Refuse / Pause}

治理應讓 action threshold 與 impact 聯動。

48. 高風險 action 應要求更高 certainty

可以寫成：

τ=f(Impact,Irreversibility)\tau = f(\text{Impact},\text{Irreversibility})

其中：

∂τ∂Impact>0\frac{\partial\tau}{\partial \text{Impact}}>0 ∂τ∂Irreversibility>0\frac{\partial\tau}{\partial \text{Irreversibility}}>0

風險越高：

Agent 越不能「大概懂你的意思」就直接做。

49. 因果治理需要多方責任，不是全部丟給供應商

單靠模型供應商：

GproviderG_{\text{provider}}

不可能知道所有：

  • 公司內部授權；
  • 使用者所有權；
  • 系統重要性；
  • 資料分類；
  • 特殊例外；
  • 現場風險。

因此：

Geffective=GP+GD+GO+GR+GAG_{\text{effective}} = G_P + G_D + G_O + G_R + G_A

其中：

  • GPG_P：Provider；
  • GDG_D：Deployer；
  • GOG_O：Operator；
  • GRG_R：Runtime；
  • GAG_A：Auditor / Regulator。

50. 規則不能替代執行能力

可以比喻：

有刑法，不代表不需要警察與法院。

同樣：

Policy≠Governance Capacity\text{Policy} \not= \text{Governance Capacity}

Agent governance 至少需要：

Rules+Controls+Observation+Enforcement+Recovery\text{Rules} + \text{Controls} + \text{Observation} + \text{Enforcement} + \text{Recovery}

51. 法律也不能直接代替 runtime

法律可以說：

不得未授權存取。

但 runtime 還是需要：

  • permission；
  • network boundary；
  • sandbox；
  • audit；
  • revocation。

因此：

Law→Institution→Technical Enforcement\text{Law} \rightarrow \text{Institution} \rightarrow \text{Technical Enforcement}

三層都需要。

52. Runtime 也不能代替法律

反過來：

技術上禁止。

不代表：

法律上已解決。

因為：

  • 誰設定 runtime？
  • 規則是否正當？
  • 是否過度限制？
  • 發生損害誰負責？
  • 是否有申訴？
  • 是否允許合法例外？

這些仍是制度問題。

53. 因果治理是「制度—技術共同治理」

所以真正形式是：

Institutional Governance⊗Technical Governance\boxed{ \text{Institutional Governance} \otimes \text{Technical Governance} }

不是：

Law Only\text{Law Only}

也不是：

Model Policy Only\text{Model Policy Only}

54. Agent Governance 的三個閉包

本文提出三種 closure。

54.1 Intent Closure

確認：

Agent 理解的任務與人類真正意圖一致。

54.2 Authority Closure

確認：

Agent 具有執行這個 action 的有效授權。

54.3 Causal Closure

確認：

action 執行後，世界狀態真的符合預期。

55. 三個閉包缺一不可

完整 Agent 任務：

Intent Closure→Authority Closure→Causal Closure\text{Intent Closure} \rightarrow \text{Authority Closure} \rightarrow \text{Causal Closure}

如果：

Intent=Correct\text{Intent} = \text{Correct}

但：

Authority=Invalid\text{Authority} = \text{Invalid}

不能做。

如果：

Authority=Valid\text{Authority} = \text{Valid}

但：

Outcome≠Goal\text{Outcome} \neq \text{Goal}

也不能宣稱完成。

56. 這就是 Agent 與 Chatbot 最大的治理差異

Chatbot 可以：

回答完就結束。

Agent 不行。

它需要：

Interpret+Authorize+Act+Verify+Record\boxed{ \text{Interpret} + \text{Authorize} + \text{Act} + \text{Verify} + \text{Record} }

這就是人工行動者治理。

57. 從「安全回答」到「安全因果鏈」

以前：

Safe AI≈Safe Output\text{Safe AI} \approx \text{Safe Output}

Agent 時代：

Safe Agent≈Safe Causal Chain\text{Safe Agent} \approx \text{Safe Causal Chain}

完整因果鏈：

User Intent→Agent Plan→Tool Call→Environment→World Change→Verification\text{User Intent} \rightarrow \text{Agent Plan} \rightarrow \text{Tool Call} \rightarrow \text{Environment} \rightarrow \text{World Change} \rightarrow \text{Verification}

任何一段都可能出問題。

58. 風險也因此從單點變成鏈式

例如：

Prompt Injection→Privilege Misuse→Tool Abuse→Exfiltration\text{Prompt Injection} \rightarrow \text{Privilege Misuse} \rightarrow \text{Tool Abuse} \rightarrow \text{Exfiltration}

這不是一個 bug。

它是一條：

Causal Attack Chain\text{Causal Attack Chain}

59. 未來 Agent Red Team 也必須測整條鏈

OWASP 2026 Agentic AI red-team guidance 已指出，傳統 application security 不足以涵蓋：

  • prompt injection；
  • privilege escalation；
  • data poisoning；
  • hallucinations；
  • emergent agent behavior。

因此 Agent red teaming 必須測：

Model+Memory+Tools+Identity+Environment+Human Oversight\text{Model} + \text{Memory} + \text{Tools} + \text{Identity} + \text{Environment} + \text{Human Oversight}

60. Causal Governance 不是讓 Agent 變得膽小

一個容易出現的誤解：

因果治理越強，Agent 就什麼都不敢做。

真正好的治理反而可以：

Safe Autonomy↑\text{Safe Autonomy} \uparrow

因為如果：

  • sandbox 清楚；
  • authority 清楚；
  • rollback 清楚；
  • target 清楚；
  • audit 清楚；

Agent 就能在：

Well-Bounded Domain\text{Well-Bounded Domain}

內更自主。

所以：

Better Governance→More Usable Autonomy\boxed{ \text{Better Governance} \rightarrow \text{More Usable Autonomy} }

而不是：

More Governance→Less Capability\text{More Governance} \rightarrow \text{Less Capability}

61. 可判定域是下一步

本篇只建立：

Causal Governance\text{Causal Governance}

總框架。

下一個問題是：

Agent 到底怎麼判定某個 action 應該落在哪個治理類別？

這需要：

Knowledge Domain\text{Knowledge Domain} Authorization Domain\text{Authorization Domain} Target Domain\text{Target Domain} Execution Domain\text{Execution Domain} Impact Domain\text{Impact Domain}

等多維分類。

這會在第 5 篇：

《可判定域：Agent 為什麼不能只靠「允許／拒絕」》

正式展開。

62. 本篇核心命題

命題一

Agent Governance≠Content Governance\text{Agent Governance} \neq \text{Content Governance}

命題二

Knowledge Permission≠Execution Permission\text{Knowledge Permission} \neq \text{Execution Permission}

命題三

Free Speech≠Free Execution\text{Free Speech} \neq \text{Free Execution}

命題四

Action Risk=f(Intent,Authority,Target,Environment,Impact,Reversibility)\text{Action Risk} = f( \text{Intent}, \text{Authority}, \text{Target}, \text{Environment}, \text{Impact}, \text{Reversibility} )

命題五

Model Safety≠Complete Agent Safety\text{Model Safety} \neq \text{Complete Agent Safety}

命題六

Technical Constraint\text{Technical Constraint}

與：

Institutional Constraint\text{Institutional Constraint}

必須共同存在。

命題七

Agent 任務完成應以：

Goal State Verified\text{Goal State Verified}

而不是：

Tool Returned Success\text{Tool Returned Success}

為準。

命題八

真正成熟的 Agent autonomy 依賴：

Bounded Authority+Reversibility+Observability+Verification\boxed{ \text{Bounded Authority} + \text{Reversibility} + \text{Observability} + \text{Verification} }

63. 結論：AI 治理開始從語言問題變成世界問題

Chatbot 時代的治理問題可以被問成：

AI 可以說這句話嗎？

Persistent Agent 時代的問題變成：

AI 可以用這些權限、這些工具、在這個環境、對這個目標採取這個行動嗎？

而真正重要的是：

這個行動之後，世界會變成什麼？

因此：

Output→Action→State Transition\boxed{ \text{Output} \rightarrow \text{Action} \rightarrow \text{State Transition} }

是 AI 治理最重要的結構轉換之一。

這也意味著：

未來最強的 AI 安全架構不會只是一份「模型不能做什麼」的規則表。

它必須是一套：

Identity+Authority+Tools+Environment+Approval+Audit+Recovery\boxed{ \text{Identity} + \text{Authority} + \text{Tools} + \text{Environment} + \text{Approval} + \text{Audit} + \text{Recovery} }

共同構成的因果治理系統。

AI 不再只是一個會回答問題的東西。

當它開始：

讓世界發生事情\text{讓世界發生事情}

治理的對象也就從：

Language\text{Language}

真正進入：

Causality\boxed{\text{Causality}}

參考資料

[1] NIST NCCoE. Accelerating the Adoption of Software and Artificial Intelligence Agent Identity and Authorization — Concept Paper. 2026-02-05.
https://csrc.nist.gov/pubs/other/2026/02/05/accelerating-the-adoption-of-software-and-ai-agent/ipd

[2] Anthropic. Trustworthy agents in practice. 2026-04-09.
https://www.anthropic.com/research/trustworthy-agents

[3] Anthropic. Mitigating the risk of prompt injections in browser use. 2025-11-24.
https://www.anthropic.com/news/prompt-injection-defenses

[4] OWASP GenAI Security Project. OWASP Top 10 for Agentic Applications for 2026. 2025-12-09.
https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/

[5] Anthropic. How we contain Claude across products. 2026.
https://www.anthropic.com/engineering/how-we-contain-claude

[6] OpenAI. ChatGPT agent — Safety & privacy. 2026.
https://help.openai.com/en/articles/11752874-chatgpt-agent

[7] OWASP Cheat Sheet Series. AI Agent Security Cheat Sheet. 2026.
https://cheatsheetseries.owasp.org/cheatsheets/AI_Agent_Security_Cheat_Sheet.html

[8] OWASP GenAI Security Project. State of Agentic AI Security and Governance 2.01. 2026-06-01.
https://genai.owasp.org/resource/state-of-agentic-ai-security-and-governance/

[9] OWASP GenAI Security Project. Agentic AI — Threats and Mitigations. 2025-02-17.
https://genai.owasp.org/resource/agentic-ai-threats-and-mitigations/

[10] OWASP GenAI Security Project. Agentic Threats Navigator. 2025-03-06.
https://genai.owasp.org/resource/owasp-gen-ai-security-project-agentic-threats-navigator/

Source Note

本文中的 Causal Governance、Causal Action Record、Action Governance Stack、Authority Provenance Principle、Compositional Action Risk、Risk-Calibrated Approval、Decision-Sufficient Approval、Causally Conservative Planning、Causal Closure、Intent Closure、Authority Closure 為本系列提出的分析概念，並非 NIST、Anthropic、OpenAI 或 OWASP 的官方術語。

本文引用各組織公開的 Agent identity、authorization、prompt injection、tool risk、human approval、containment 與 audit 實務，作為「Agent 治理已從內容輸出擴展到真實世界行動」的實證背景。文中對其上層統一為 Causal Governance 的理論化屬本文自身分析。