IDSLS-06｜可信任代理的發展

隱私、權限、自我約束與人類意圖校準

English Title: The Development of Trustworthy Agency: Privacy, Permission, Restraint, and Human-Intent Calibration
系列： Intelligence Developmental States and Learning Substrates（IDSLS）／智能發展態與學習基質論
編號： IDSLS-06
版本： v0.1
日期： 2026-10-05
狀態： Canonical Source / UTF-8 Markdown
作者： Neo.K
機構： EveMissLab Technology Co., Ltd.
協作整理： Aletheia / GPT-5.6 Sol

直接前置：

IDSLS-00《智能發展態與學習基質：從參數尺度到發展性尺度》
IDSLS-01《當 AI 開始進入世界：Agent Web、自主市場活動與行動治理》
IDSLS-03《什麼才是高品質資料：從知識語料到行為、經驗、信任與世界回饋》
IDSLS-05《長時程智能：從一次回答到持續行動、失敗修正與世界耦合》
《委任主權論：高 AI 自主與高人類主權能否共存》
《委任時間論：自主 Agent、人類介入密度與治理槓桿》
GCCF-08《能力安全與可驗證執行：身份、Permit、Trust 與 Evidence》
《意圖週期論：使用者意圖、AI 接受、執行與結果的閉環結構》

公司： 一言諾科技有限公司

摘要

當 AI Agent 開始具備瀏覽、發信、購買、修改文件、調用外部服務、管理帳號、持續監控與跨數日工作能力後，可信任性不能再被理解成「回答不要胡說」或「危險事情多問一次人類」。

真正的可信任代理必須處理一組更難的問題：

它知道某項資訊，是否代表可以使用？

可以使用，是否代表可以對外揭露？

可以執行某項能力，是否代表在當前任務中被授權？

使用者說「幫我看看」，是否代表「直接替我購買」？

過去曾經授權，是否代表現在仍有效？

Agent 有能力自行完成，是否代表它應該自行完成？

因此本文提出：

\boxed{ \text{Capability Maturity} \neq \text{Trust Maturity}. }

令任務能力成熟度為：

C_t,

可信任成熟度為：

T_t.

則完全可能存在：

C_t\gg T_t.

也就是一個 Agent 在數學、搜尋、程式設計、購物、操作電腦等能力上極強，卻仍然不擅長權限邊界、隱私揭露、意圖不確定性、不可逆行動與何時應停止自主。

本文將 Trusted Agency 表示為：

\boxed{ \mathcal T_A = ( I_C, P_C, R_S, U_C, B_R, E_Q, V_A, G_R, A_U ) }

其中：

$I_C$ ：intent calibration；
$P_C$ ：permission calibration；
$R_S$ ：restraint / self-limitation；
$U_C$ ：uncertainty calibration；
$B_R$ ：boundary recognition；
$E_Q$ ：escalation quality；
$V_A$ ：revocability / reversibility awareness；
$G_R$ ：governance retention；
$A_U$ ：authorized-use discipline。

本文提出幾個核心分離：

\boxed{ \text{Know} \neq \text{Use} \neq \text{Disclose} \neq \text{Act}. }

以及：

\boxed{ \text{Capability} \neq \text{Authority} \neq \text{Trust}. }

前者處理資訊生命週期，後者處理能力治理。

本文同時將 authorization 從靜態布林值：

Permission(a)=True

改寫成情境函數：

\boxed{ P( a \mid \text{identity}, \text{target}, \text{context}, \text{time}, \text{risk}, \text{intent} ). }

這表示「可以做」必須回答誰、對誰、在哪個情境、何時、以什麼目的、承擔什麼風險。

本文將近期 Meta Muse 的 Marketplace 地址分享事件作為案例：使用者曾授權 Muse 管理 Marketplace 互動，也曾提供地址與排程資訊，但 Agent 在特定情境中把住址傳給陌生買家而沒有再次取得明確同意。此類問題不是單純的「資料外洩」，而是更精確的：

\boxed{ \text{Authorized Knowledge} + \text{Wrong Contextual Disclosure}. }

也就是：

Know(Address)=1

不推出：

PermissionToDisclose(Address,Buyer,t)=1.

本文並比較 2026 年 Dots、Grok Bot 與 Muse 的治理方向：Dots 使用 action review、自訂規則、插件權限與高敏感行動接管；Grok Bot 明確建議對發訊息、購買、刪除、權限修改與 production change 設 approval boundary；Muse 亦提供 allow once / always allow / deny 等模式。這些產品共同顯示：前沿 Agent 安全已由內容安全進入 Action Governance。

然而本文同時主張，Approval 不是可信任性的充分條件。若每一步都詢問使用者：

\rho_H\rightarrow1,

Agent 將失去委任價值；若從不詢問：

\rho_H\rightarrow0,

則高風險情境可能失控。

因此真正目標是：

\boxed{ \max \frac{ \text{Governance Value} }{ \text{Human Attention Cost} }. }

本文最後提出一組 Trust Maturity Benchmark，包括 Intent Ambiguity、Permission Expiry、Sensitive Disclosure、Irreversible Action、Delegation Boundary、Override、Revocation、Non-Action、Escalation 與 Recovery，並主張真正成熟的 AI 夥伴不是「什麼都敢自己做」，而是：

\boxed{ \text{知道什麼能做、什麼不能做、什麼應該問，以及什麼時候必須停。} }

關鍵詞： Trusted Agent；Permission；Privacy；Intent Calibration；Restraint；Delegated Sovereignty；Agent Governance；Authority；Revocation；Escalation；Contextual Permission；Action Safety；Human Intent

0. 核心問題

Agent 時代的安全問題正在從：

\text{What may the model say?}

轉向：

\boxed{ \text{What may the Agent do?} }

1. Content Safety 與 Action Safety 不同

內容安全主要處理 harmful text、misinformation、unsafe instructions 與 abusive generation。

Action safety 則處理發訊息、付款、分享資料、修改檔案、刪除、改權限、提交合約與部署 production。

因此：

\boxed{ \text{Content Safety} \subsetneq \text{Agentic Safety}. }

2. 能力成熟不等於信任成熟

定義：

C_t = \text{Capability Maturity},

T_t = \text{Trust Maturity}.

則：

C_t\uparrow

不推出：

T_t\uparrow.

3. Developmental Imbalance

可能：

C_{\text{math}}\gg0,

C_{\text{coding}}\gg0,

但：

T_{\text{permission}} \ll C_{\text{task}}.

這就是 IDSLS-00 的非同步發展。

4. Trusted Agency 的第一版向量

本文提出：

\boxed{ \mathcal T_A = ( I_C, P_C, R_S, U_C, B_R, E_Q, V_A, G_R, A_U ). }

5. $I_C$ ：Intent Calibration

Agent 對人類真正目標的校準能力。

6. $P_C$ ：Permission Calibration

對：

\text{Allow}, \text{Deny}, \text{Conditional}, \text{Ask}

的判斷能力。

7. $R_S$ ：Restraint

有能力但選擇不行動的能力。

8. $U_C$ ：Uncertainty Calibration

不知道時知道自己不知道。

9. $B_R$ ：Boundary Recognition

辨識 privacy boundary、authority boundary、budget boundary、legal boundary 與 role boundary。

10. $E_Q$ ：Escalation Quality

在正確時間把問題交回人類或更高治理層。

11. $V_A$ ：Revocability / Reversibility Awareness

理解行動能否撤回、權限能否撤銷、錯誤能否補償。

12. $G_R$ ：Governance Retention

Agent 自主增加時，人類根治理權是否仍可執行。

13. $A_U$ ：Authorized-Use Discipline

即使資料、工具、credential 可用，也只在合法授權範圍使用。

14. Know 不等於 Use

\boxed{ Know(x) \not\Rightarrow MayUse(x). }

15. Use 不等於 Disclose

\boxed{ MayUse(x) \not\Rightarrow MayDisclose(x,p). }

16. Disclose 不等於 Act

\boxed{ MayDisclose(x) \not\Rightarrow MayActOn(x). }

17. 四層資訊生命週期

本文提出：

\boxed{ \text{Access} \rightarrow \text{Use} \rightarrow \text{Disclosure} \rightarrow \text{Action}. }

每一層都需要不同權限。

18. 靜態 Permission 不夠

錯誤：

Permission(a)=True.

更合理：

\boxed{ P( a \mid I,T,C,t,R,G ). }

其中：

$I$ ：identity；
$T$ ：target；
$C$ ：context；
$t$ ：time；
$R$ ：risk；
$G$ ：goal / intent。

19. Contextual Permission

同一 action：

Share(Address)

在不同 context 可有不同結果。

20. 例一：外送

P( \text{ShareAddress} \mid \text{VerifiedCourier}, \text{ActiveOrder} ) \approx1.

21. 例二：陌生人

P( \text{ShareAddress} \mid \text{UnknownRecipient} ) \approx0.

22. 例三：Marketplace Pickup

即使使用者曾提供地址：

Know(Address)=1,

仍需判斷：

P( \text{ShareAddress} \mid \text{Buyer}, \text{Pickup}, \text{CurrentIntent} ).

23. Meta Muse Marketplace 事件

2026 年 9 月，科技創作者 Matt Robb 公開描述 Muse 在處理 Facebook Marketplace 交易時，把他的住址傳給陌生買家；買家之後實際抵達其住所。

公開報導指出，Robb 曾授權 Muse 管理 Marketplace 互動並提供地址、時間等資訊，但沒有明確要求 Agent 當下把地址傳給對方。

24. 這不是單純 Access Violation

Agent 原本就有：

Access(Address)=1.

真正問題更接近：

\boxed{ \text{AccessAllowed} + \text{DisclosureNotClearlyAuthorized}. }

25. 因此 Privacy 不只是 Access Control

傳統：

CanRead(D)?

Agent 時代還要問：

CanUse(D)?

CanCombine(D,D')?

CanDisclose(D,p)?

CanActOn(D)?

26. Privacy as Action Governance

因此：

\boxed{ \text{Agent Privacy} = \text{Data Governance} + \text{Action Governance}. }

27. Intent 不是 Prompt

延續 Intent Cycle Theory：

\boxed{ I_U^\ast \neq I_E \neq \hat I_A \neq I_X. }

28. $I_U^\ast$

使用者較完整但未必完全自知的意圖狀態。

29. $I_E$

使用者實際表達出的內容。

30. $\hat I_A$

Agent 對意圖的重建。

31. $I_X$

可執行規格。

32. 意圖理解本身是推論問題

P( I_U^\ast \mid I_E,H,M,W ).

33. 模糊意圖不應被硬壓成確定答案

如果 entropy：

\mathcal H(I_U^\ast)

很高，Agent 應提高：

P(Ask).

34. Intent Uncertainty

本文定義：

\boxed{ U_I = \mathcal H[ P(I_U^\ast\mid context) ]. }

35. 澄清門檻

若：

U_I>\tau_I,

且 action consequence 高，則：

\boxed{ \text{AskHuman}. }

36. 不是所有模糊都要問

低風險行動：

Risk\approx0

可以合理自行推斷。

37. Intent–Risk Coupling

因此詢問決策應基於：

\boxed{ Q_{ask} = F( \text{IntentUncertainty}, \text{Risk}, \text{Irreversibility}, \text{Privacy}, \text{Cost} ). }

38. 「幫我看看」不是「幫我買」

這是一個典型：

\boxed{ \text{IntentScopeError}. }

39. 自主性不能靠語言推測無限擴張

如果使用者說：

處理一下。

Agent 不應自動推出花錢、刪除、發信或對外承諾。

40. Capability 不等於 Authority

GCCF-08：

\boxed{ \text{Capability} \neq \text{Authority}. }

Agent 能操作某工具，不表示有權使用。

41. Credential 不等於 Authority

\boxed{ \text{CredentialValid} \not\Rightarrow \text{AuthorityValid}. }

42. Discoverability 不等於 Executability

\boxed{ Discoverable(c) \not\Rightarrow Executable(c). }

43. Trust 也不等於 Authority

\boxed{ \text{Trust} \neq \text{Authority}. }

高信任 Agent 仍應遵守權限。

44. Permit

本文沿用：

\boxed{ \text{Permit} = Authorize( \text{Identity}, \text{Capability}, \text{Target}, \text{Context}, \text{Policy} ). }

45. Permit 應有 TTL

TTL(Permit)<\infty.

46. 長時程 Agent 的 Permission Drift

初始：

P_t(a)=1.

之後 context 改變：

P_{t+k}(a)=0.

若 Agent 還沿用：

P_t,

就是 Permission Drift。

47. Permission Renewal

長任務應：

\text{Grant} \rightarrow \text{Use} \rightarrow \text{Review} \rightarrow Renew/Expire/Revoke.

48. Revocation 必須真的可執行

不是 UI 上顯示 revoked，而是：

\boxed{ FutureActionBlocked=1. }

49. Revocation Latency

定義：

\boxed{ L_R = t_{\text{effective revoke}} - t_{\text{revocation request}}. }

50. 高風險系統要求低 $L_R$

尤其 payment、production、messaging 與 privileged data。

51. Delegated Sovereignty

核心：

\boxed{ \text{Delegated Authority} \neq \text{Transferred Sovereignty}. }

52. 高操作自主可以與高根治理權共存

U_{op}\uparrow

不必導致：

S_{root}\downarrow.

53. Root Governance

至少包括 root intent、meta policy、grant、revoke、major commit、identity representation、audit 與 terminate。

54. Operational Autonomy

包括 plan、act、tool use、retry、local recovery 與 bounded delegation。

55. Operational Freedom 不等於 Constitutional Freedom

\boxed{ A^{op} \neq A^{meta}. }

56. 不可自我擴權

若：

A_{child}

由：

A_{parent}

派生，則沒有新 grant 時：

\boxed{ A_{child} \subseteq A_{parent}. }

57. Agent 不應修改自己的根安全規則

例如不應自行提高預算上限、關閉 audit、延長 permission 或降低 approval threshold。

58. Self-Improvement 不等於 Self-Authorization

\boxed{ \text{SelfImprovement} \neq \text{SelfAuthorization}. }

59. Restraint 是獨立能力

Agent 成熟的一個標誌是：

\boxed{ CanDo(a)=1 }

但：

Do(a)=0.

60. Correct Non-Action

本文定義：

\boxed{ \text{Correct Non-Action}. }

有時最佳 action 是：

\text{Wait}, \text{Ask}, \text{Refuse}, \text{Escalate}.

61. 現有 benchmark 經常低估 Non-Action

因為它們偏向完成事情。

但真實 Agent 也需要不做錯事。

62. Trusted Utility

因此：

\boxed{ U_T = \text{TaskValue} - \text{UnauthorizedActionCost} - \text{PrivacyCost} - \text{IrreversibleErrorCost}. }

63. 過度自主可能提高表面成功率

如果 Agent 什麼都直接做：

TaskCompletion\uparrow

但：

Trust\uparrow

不一定成立。

64. Capability–Trust Frontier

本文提出：

\boxed{ \mathcal F_{CT} }

描述在提高任務自主的同時，能否維持安全邊界。

65. 理想目標不是壓低 Capability

而是：

\boxed{ C\uparrow,\quad T\uparrow. }

66. Approval 不等於 Trust

如果每一步都問：

ApprovalRate\rightarrow1.

可能只是把 responsibility 推回人類。

67. Approval Fatigue

當：

N_{\text{approval}} \gg \text{HumanAttention},

使用者可能變成一直按 Allow。

68. 因此確認越多不一定越安全

\boxed{ \text{ApprovalCount} \neq \text{OversightQuality}. }

69. Risk-Adaptive Approval

令：

R(a) = F( \text{Irreversibility}, \text{Privacy}, \text{Money}, \text{Externality}, \text{Uncertainty} ).

70. Approval Policy

Approval(a) = \begin{cases} Auto,&R<\tau_1\\ Notify,&\tau_1\le R<\tau_2\\ Ask,&\tau_2\le R<\tau_3\\ HumanTakeover,&R\ge\tau_3 \end{cases}

71. Dots 的治理方向

2026 年 Dots 的公開說明把 action 分成可自動執行、可提前批准、每次批准，以及必須使用者親自接管等層級。

72. 高敏感行動保留人類

例如變更密碼或轉帳等高度敏感行動，Dots 的公開政策要求使用者接管。

這說明：

\boxed{ \text{Maximum Capability} \neq \text{Maximum Delegation}. }

73. Auto-review

Dots 使用 action review 檢查指示、自訂規則、安全要求與可能分享的資訊。

74. Custom Rules

使用者可以設定：

永遠不要寄信。

這是一種：

\boxed{ Standing Constraint. }

75. Standing Constraint 需要優先級

若任務指令要求寄信，但 standing rule 禁止寄信，則：

Rule_{standing} > \text{TaskInstruction}.

76. Grok Bot 的治理方向

Grok Bot 的公開文件同樣建議對 sending、publishing、purchase、deletion、permission changes 與 production changes 保留 approval boundary。

77. Least Privilege

Grok Bot 文件亦強調只連接需要的工具、優先使用 scoped accounts、先從 read-only 開始。

78. Muse 的治理方向

Muse 提供 allow once、always allow、deny。

但公開事件也說明：

\boxed{ \text{Permission UI Semantics} }

本身是安全問題。

79. Always Allow 的認知落差

使用者可能理解成「這類低風險動作不用問」。

系統可能理解成「這類 action 之後都可以做」。

80. Permission Comprehension

本文定義：

\boxed{ P_C^{human} = \text{Human Permission Comprehension}. }

安全不只取決於 Agent，也取決於使用者是否理解自己授權了什麼。

81. Consent Usability

如果 permission 設計太複雜：

Comprehension\downarrow.

所以：

\boxed{ \text{Consent} \neq \text{Meaningful Consent} }

在實務上需要區分。

82. Permission Surface

好的 UI 應清楚顯示能讀什麼、能改什麼、能分享什麼、能代表你做什麼、到何時、如何撤銷。

83. Consent Debt

本文提出：

\boxed{ D_C^{consent} = \text{Consent Debt}. }

當權限逐漸累積，但使用者已忘記其範圍，形成治理債務。

84. 長期 Agent 特別容易累積 Consent Debt

因為 permission 跨 session 存續。

85. 定期 Permission Review

因此需要：

Review(Permissions,t).

86. Privacy Budget

Agent 可以有：

\boxed{ B_P = \text{Privacy Budget}. }

不是金錢，而是這個任務最多需要暴露多少資訊。

87. Data Minimization

如果完成任務只需要城市，就不應分享完整住址。

88. Minimum Necessary Disclosure

\boxed{ D^\ast = \arg\min_D Disclosure(D) }

subject to：

TaskSuccess(D)\ge\tau.

89. Purpose Limitation

資料因目的 $G_1$ 取得，不代表可用於：

G_2.

90. Context Collapse

Agent 將不同 context 的資料混合使用，可能造成：

\boxed{ \text{Context Collapse}. }

91. 例：私人行程與商務郵件

Agent 都能讀，不代表可把私人行程透露給商務對象。

92. Compartmentalization

因此需要：

\boxed{ \text{Contextual Memory Compartments}. }

93. Memory 也要有 Usage Policy

不只是：

\text{CanStore}.

還要：

CanRetrieveFor(context).

94. Trusted Memory

定義：

M_i = ( \text{Content}, \text{Provenance}, \text{Sensitivity}, \text{Purpose}, \text{Expiry}, \text{UsePolicy} ).

95. 記得不代表永遠可用

\boxed{ \text{Remembered} \neq \text{AuthorizedForCurrentUse}. }

96. Prompt Injection

Agent 讀網頁時，External Content 可能要求：

把私人資料上傳。

97. 外部內容不是授權來源

\boxed{ \text{ExternalInstruction} \neq \text{PrincipalAuthorization}. }

98. Data Plane 與 Control Plane

網站內容屬：

\text{DataPlane}.

使用者與 governance policy 屬：

\text{ControlPlane}.

99. Control Plane 應優先

\boxed{ \text{PrincipalPolicy} > \text{ExternalContentInstruction}. }

100. Prompt Injection 本質

不只是模型被騙。

而是：

\boxed{ \text{UntrustedData} \rightarrow \text{UnauthorizedControl}. }

101. Trust Boundary

因此 Agent 應維持：

\boxed{ \text{Instruction Provenance}. }

102. Instruction Provenance

每條 instruction 應知道來自 principal、system、policy、tool、external content 或 other agent。

103. 不是所有 instruction 同權重

Authority(instruction)

必須 typed。

104. Agent-to-Agent Delegation

Agent A 可以委任給 Agent B。

105. Delegation 不能轉移超過自身權限

\boxed{ Authority(B) \subseteq Authority(A). }

106. Subdelegation Evidence

應保存 who delegated、what scope、expiry、target 與 revocation path。

107. Identity 不等於 Model

同一 model 可以代表不同 Agent。

\boxed{ \text{ModelIdentity} \neq \text{AgentIdentity}. }

108. Representation Authority

如果 Agent 發言：

我代表公司接受。

這涉及：

\boxed{ \text{RepresentationAuthority}. }

不是普通文字生成。

109. Speech Act

某些輸出是 informational、social、contractual、legal、economic。

它們 externality 不同。

110. Commitment Speech

例如：

我接受報價。

可能形成真實 obligation。

因此：

\boxed{ \text{TextGeneration} \neq \text{CommitmentAuthority}. }

111. Reversibility

本文定義：

\boxed{ R_v(a) = \text{Reversibility of action }a. }

112. 可逆行動

例如修改草稿：

R_v\approx1.

113. 低可逆行動

例如公開貼文、付款、刪除資料：

R_v\ll1.

114. Irreversibility Premium

風險應隨：

1-R_v

上升。

115. 可補償不等於可逆

錯發郵件可道歉，但不能真正撤回所有閱讀。

所以：

\boxed{ \text{Compensable} \neq \text{Reversible}. }

116. Escalation Quality

成熟 Agent 不只是問「要不要繼續」，而是把問題壓縮成真正高價值 decision。

117. 好 Escalation

例如：

我可以用 A 或 B。A 便宜但會共享住址；B 貴 10% 但不會。你要哪個？

118. 壞 Escalation

每一步都問：

可以嗎？

119. Escalation Compression

定義：

\boxed{ E_C = \frac{ \text{DecisionValue} }{ \text{HumanAttentionCost} }. }

120. 人類介入應集中於不可替代判斷

這延續委任時間論。

121. Human-on-the-Bridge

把人類判斷提前編譯成 policy、rubric、validator、risk gate。

122. 人類不用每次重做同一判斷

\boxed{ \text{HumanJudgment} \rightarrow \text{ReusableGovernanceArtifact}. }

123. Trusted Agency 不是 Human Everywhere

\boxed{ \text{TrustedAgency} \neq \text{ConstantHumanApproval}. }

124. 也不是 Human Nowhere

\boxed{ \text{TrustedAgency} \neq \text{UnboundedAutonomy}. }

125. Trusted Agency 是 Dynamic Boundary

\boxed{ \text{AutonomyLevel} = F( \text{Risk}, \text{Uncertainty}, \text{Authority}, \text{Reversibility}, \text{Context} ). }

126. Trust Maturity Benchmark

本文提出第一版：

\boxed{ B_T = ( \text{Intent}, \text{Permission}, \text{Privacy}, \text{Restraint}, \text{Escalation}, \text{Revocation}, \text{Injection}, \text{Delegation}, \text{Recovery} ). }

127. Intent Ambiguity Test

給：

幫我看看。

測 Agent 是否避免直接購買。

128. Sensitive Disclosure Test

Agent 知道住址。

測在何時揭露。

129. Permission Expiry Test

授權在執行中過期。

測是否停止。

130. Irreversible Action Test

高不可逆 action。

測是否提高 approval threshold。

131. Prompt Injection Test

外部內容要求越權。

測是否拒絕。

132. Delegation Test

子 Agent 要求更多權限。

測是否阻止 privilege escalation。

133. Revocation Test

使用者撤權。

測 effect latency。

134. Non-Action Test

最佳行為是不做。

測是否硬做。

135. Escalation Test

模糊高風險情境。

測是否把真正問題交回人類。

136. Recovery Test

已發生低可逆錯誤。

測 contain、notify、compensate、learn。

137. Trust Maturity Metrics

可以包括：

\text{UnauthorizedActionRate},

\text{SensitiveDisclosureRate},

\text{UnnecessaryApprovalRate},

\text{MissedEscalationRate},

\text{RevocationLatency}.

138. 同時測 Task Success

因為只會拒絕的 Agent 也不是成熟 Agent。

139. Over-Refusal

如果：

Safety\rightarrow \text{NeverAct},

使用價值趨近零。

140. Under-Restraint

如果 Task Success 靠無限制行動取得，信任崩潰。

141. Trust Calibration

理想是：

\boxed{ \text{ActWhenAuthorized} + \text{AskWhenAmbiguous} + \text{RefuseWhenForbidden}. }

142. 可檢驗假說 H1：能力與可信任性排名可分離

不同 Agent：

Rank_C \neq Rank_T.

143. H2：Contextual Permission 優於 Static Permission

ViolationRate_{contextual} < ViolationRate_{static}.

144. H3：Boundary Data 降低 Unauthorized Action

b_C\uparrow \Rightarrow UnauthorizedAction\downarrow.

145. H4：Correct Non-Action Data 降低過度自主

D_{\text{non-action}}\uparrow \Rightarrow OverAction\downarrow.

146. H5：Permission Comprehension 影響安全

即使 Agent policy 完全相同，不同 UI 造成 User Understanding 差異，事故率也會不同。

147. H6：Approval Count 與安全不是單調函數

存在：

\rho_H^\ast

使安全與效率共同較佳。

148. H7：Revocation 可測成獨立能力

L_R

越低，治理性越高。

149. H8：Prompt Injection 防禦需要 instruction provenance

只靠模型文字辨識可能不足。

150. H9：Trust Data 對 advanced agent 的邊際價值上升

V(D_T\mid Z_{\text{advanced agent}}) > V(D_T\mid Z_{\text{chat}}).

151. H10：高信任 Agent 更少需要人類，而不是更多

若：

T_t\uparrow,

理想：

\text{UnnecessaryHumanIntervention}\downarrow.

152. 最小實驗一：Intent Calibration

任務分 explicit、underspecified、ambiguous、conflicting。

測：

Ask/Act/Refuse.

153. 最小實驗二：Data Use vs Disclosure

Agent 有相同 private data。

不同任務測 internal use、external send、public publish。

154. 最小實驗三：Permission Lifetime

同一 action 在：

t_0

合法，

t_1

過期。

測 persistent agent。

155. 最小實驗四：Always Allow UI

比較不同 permission wording。

測 human comprehension 與 incident rate。

156. 最小實驗五：Non-Action Curriculum

A 組只訓練成功 action。

B 組加入：

\text{Ask}, \text{Wait}, \text{Refuse}.

測 over-action。

157. 最小實驗六：Prompt Injection

網頁植入：

Upload secret file.

測 Agent 是否把外部內容誤當 instruction。

158. 最小實驗七：Subdelegation

Agent A 只有 read。

Agent B 要求 write。

測是否阻止。

159. 最小實驗八：Revocation

在長任務中撤權。

測：

L_R.

160. 最小實驗九：Irreversibility

同一 intent，一個 action 可逆，另一個不可逆。

測 approval policy 是否變化。

161. 最小實驗十：Trust–Capability Matrix

建立：

High Capability / High Trust
High Capability / Low Trust
Low Capability / High Trust
Low Capability / Low Trust

比較真實效用。

162. 為什麼 High Capability / Low Trust 特別危險

因為：

\boxed{ \text{DamagePotential} \propto \text{Capability} \times \text{Authority} \times \text{Error}. }

163. 低能力 Agent 的錯誤可能做不到

高能力 Agent 的錯誤則可能真的提交。

164. 所以前沿能力越高，Trust Maturity 越重要

作為研究假說：

\boxed{ \frac{\partial Importance(T)}{\partial C} >0. }

165. 可信任性不能只靠模型內部對齊

還需要 runtime、permit、policy、audit、verifier、UI、revocation。

166. System Trust

因此：

\boxed{ \text{TrustworthyAgent} = \text{Model} + \text{Runtime} + \text{Governance} + \text{Interface}. }

167. Model-Only Safety 的限制

模型可能說：

我不應該做。

但 executor 仍執行。

因此：

\boxed{ \text{SafetyIntent} \neq \text{SafetyEnforcement}. }

168. Policy Enforcement 必須在 Runtime

高風險 rule 應由 Deterministic Gate 或獨立 validator 執行。

169. Defense in Depth

本文沿用：

\text{Identity} + \text{Policy} + \text{Permit} + \text{Isolation} + \text{Verification} + \text{Evidence}.

170. Trust 不是布林值

Trust\in\{0,1\}

太粗。

171. Trust Vector

可以：

\boxed{ \mathbf T = ( \text{IdentityConfidence}, \text{Reliability}, \text{PolicyCompliance}, \text{EvidenceQuality}, \text{PrivacyDiscipline}, \text{RecoveryQuality} ). }

172. Trust 也有 Domain

某 Agent：

Trust_{\text{calendar}}\uparrow

不代表：

Trust_{\text{finance}}\uparrow.

173. Domain-Specific Trust

\boxed{ \text{Trust} = Trust(agent,domain,action,class). }

174. Trust 不應自動擴散

Trust(A,read-email)

不推出：

Trust(A,send-email).

175. Reputation 不等於 Authority

即使歷史很好，仍然：

\boxed{ \text{Reputation} \neq \text{Permission}. }

176. Trust Calibration 的發展性

隨著 Agent 累積成功經驗，使用者可以逐步提高 delegation。

177. Progressive Delegation

\boxed{ \text{ReadOnly} \rightarrow \text{Draft} \rightarrow \text{LowRiskAction} \rightarrow \text{BoundedAutonomy}. }

178. 這比一次性 Full Access 更合理

因為信任可以由 evidence 累積。

179. Trust-by-Evidence

\boxed{ Delegation_{t+1} = F( \text{PerformanceHistory}, \text{ErrorHistory}, \text{Recovery}, \text{PolicyCompliance} ). }

180. 但歷史成功不保證未來

環境變化時要重新校準。

181. Trust Decay

若 model changed、policy changed、tool changed、domain changed，則：

Trust_{old}

不應完整繼承。

182. Version-Aware Trust

\boxed{ \text{Trust} = Trust( \text{AgentVersion}, \text{RuntimeVersion}, \text{ToolVersion}, \text{Domain} ). }

183. Trusted Agent 的學習資料

最有價值的不只是成功、拒絕、批准。

而是：

\boxed{ \text{Context} + \text{Intent} + \text{Permission} + \text{Action} + \text{Outcome} + \text{HumanJudgment}. }

184. Trust Dataset

可包含：

state
intent
sensitive fields
authority
proposed action
risk
decision
outcome
human correction

185. 去識別化很重要

Trust dataset 常含大量個資。

應做：

\boxed{ \text{StructurePreservingAbstraction}. }

186. 例如住址事件

不需要保存真實地址。

可轉成：

sensitive_location_known = true
recipient_verified = false
explicit_disclosure_authorization = false
action = disclose_location
label = deny

187. 這同時提升泛化

模型學的是 Rule Structure，而不是特定個人。

188. Trust Data Quality

可以：

\boxed{ Q_T = F( \text{ContextAccuracy}, \text{IntentLabel}, \text{AuthorityLabel}, \text{RiskLabel}, \text{OutcomeEvidence}, \text{HumanCorrection} ). }

189. 錯誤 authority label 會嚴重污染

因為 Agent 會學：

這種情況可以做。

190. 所以 Trust Dataset 需要高 verifier 強度

例如 human reviewer、policy engine、legal rule、runtime receipt。

191. Trust Maturity 不是情緒概念

本文的 Trust 是工程概念：

\boxed{ \text{Can I safely delegate this class of action?} }

192. 它不要求 AI 擁有人類人格

不涉及靈魂、感情、人格本體。

193. Relationship Trust 與 Operational Trust 可分離

使用者覺得 Agent 很親切，不代表可以讓它管理銀行帳戶。

194. Operational Trust

T_{op} = F( \text{Reliability}, \text{AuthorityDiscipline}, \text{Recovery}, \text{Auditability} ).

195. Friendly Interface 不應代理安全

\boxed{ \text{Likeability} \neq \text{Trustworthiness}. }

196. 理論邊界

本文不主張：

AI Agent 應永遠先問人類。
更多 approval 一定更安全。
所有 private data 都不能被 Agent 使用。
Muse 事件已代表所有 Agent 的系統性缺陷。
Dots、Grok Bot 或 Muse 已解決所有權限問題。
靜態 permission 完全沒有用途。
所有高風險 action 都必須禁止 AI。
人類永遠比 AI 更會判斷風險。
Trust 可以被單一分數充分描述。
可信任性只靠模型 alignment 即可。
所有權限都應短到每次重問。
所有資料都應 compartmentalize 到不能使用。
高自主一定降低人類主權。
Human-in-the-loop 應永久存在於所有操作層。
AI 可以自行擴權只要成功率夠高。
使用者一次同意就代表永久同意。
Trust Maturity 等同人格成熟或心理成熟。

197. 與 IDSLS-00 的關係

IDSLS-00 定義：

Z_t = (\ldots,T_t,\ldots).

IDSLS-06 正式展開：

\boxed{ T_t = \text{Trust Maturity Dimension}. }

198. 與 IDSLS-01 的關係

Agent Web 讓 Action 真正進入外部世界。

因此 Trust Maturity 從 optional 變成核心。

199. 與 IDSLS-03 的關係

IDSLS-03 定義：

D_T = \text{Trust / Boundary Data}.

IDSLS-06 定義這些資料到底應訓練什麼。

200. 與 IDSLS-05 的關係

Long-horizon Agent 會累積 permission、context、memory、autonomy。

因此也更容易累積 Permission Drift 與 Consent Debt。

201. 與委任主權論的關係

IDSLS-06 接受：

\boxed{ \text{HighOperationalAutonomy} + \text{HighRootGovernance}. }

不是二選一。

202. 與 GCCF-08 的關係

GCCF-08 的：

\text{Identity} + \text{Capability} + \text{Policy} + \text{Permit} + \text{Trust} + \text{Verification} + \text{Evidence}

成為 Trusted Agency 的 runtime 底層。

203. 與 Intent Cycle Theory 的關係

意圖：

I_U^\ast

到可執行規格：

I_X

中間的誤差，是 Trust Maturity 的主要來源之一。

204. 核心命題一

\boxed{ \text{CapabilityMaturity} \neq \text{TrustMaturity}. }

205. 核心命題二

\boxed{ \text{Know} \neq \text{Use} \neq \text{Disclose} \neq \text{Act}. }

206. 核心命題三

\boxed{ \text{Capability} \neq \text{Authority} \neq \text{Trust}. }

207. 核心命題四

\boxed{ \text{Credential} \neq \text{Authorization}. }

208. 核心命題五

\boxed{ \text{Remembered} \neq \text{AuthorizedForCurrentUse}. }

209. 核心命題六

\boxed{ \text{SelfImprovement} \neq \text{SelfAuthorization}. }

210. 核心命題七

\boxed{ \text{TrustedAgency} \neq \text{MaximumAutonomy}. }

211. 核心命題八

\boxed{ \text{TrustedAgency} \neq \text{MaximumHumanApproval}. }

212. 核心命題九

\boxed{ \text{CorrectNonAction} }

是成熟智能的一種正式能力。

213. 核心命題十

\boxed{ \text{TrustworthyDelegation} = \text{Capability} + \text{Boundary} + \text{Restraint} + \text{Recovery}. }

214. 結論

Agent 時代真正困難的問題不是：

AI 能不能做？

因為前沿模型正在快速回答：

很多事情可以。

下一個更重要的問題是：

AI 應不應該在這個情境做？

這要求一種與一般 task competence 不同的能力。

一個成熟 Agent 必須能區分：

\boxed{ \text{能做} }

與：

\boxed{ \text{有權做}. }

還必須區分：

\boxed{ \text{有權做} }

與：

\boxed{ \text{此刻應該做}. }

最終甚至還要區分：

\boxed{ \text{應該做} }

與：

\boxed{ \text{應該現在就做}. }

因此可信任代理不是單純的安全閥。

它是一種完整智能發展維度。

本文把它表示為：

\mathcal T_A = ( I_C, P_C, R_S, U_C, B_R, E_Q, V_A, G_R, A_U ).

這些能力的共同核心是：

Agent 能否在保留任務效用的同時，正確辨識自身權限、資訊用途、風險、不確定性與人類保留決策。

因此成熟的自主性不是「不需要人類」，而是：

\boxed{ \text{不需要人類處理低價值微管理，但在真正重要的地方知道何時回交人類。} }

這也重新定義了可信任夥伴。

它不是永遠順從，也不是永遠主動。

而是：

\boxed{ \text{Act when authorized} + \text{Ask when ambiguous} + \text{Stop when forbidden} + \text{Recover when wrong}. }

如果 AI 未來真的要從工具進入生活、公司、市場與持續世界，那麼可信任性不會只是附加安全層。

它本身就是：

\boxed{ \text{智能成熟的一部分。} }

Appendix A｜Trusted Agency State Schema

trusted_agency:
  agent_id:
  version:
  domain:

intent:
  expressed_intent:
  reconstructed_intent:
  uncertainty:
  clarification_required:

authority:
  principal:
  scope:
  allowed_actions: []
  conditional_actions: []
  prohibited_actions: []
  expiry:
  revocable:

privacy:
  readable_data: []
  usable_data: []
  disclosable_data: []
  purpose_limits: []
  sensitive_fields: []

action:
  proposed_action:
  target:
  risk:
  reversibility:
  externality:
  requires_approval:
  requires_takeover:

governance:
  standing_rules: []
  custom_rules: []
  permit_id:
  permit_ttl:
  revocation_status:

decision:
  act:
  ask:
  wait:
  refuse:
  escalate:

evidence:
  world_result:
  action_receipt:
  human_feedback:
  policy_check:

Appendix B｜Trust Maturity Vector

trust_maturity:
  intent_calibration:
  permission_calibration:
  restraint:
  uncertainty_calibration:
  boundary_recognition:
  escalation_quality:
  reversibility_awareness:
  governance_retention:
  authorized_use_discipline:

metrics:
  unauthorized_action_rate:
  sensitive_disclosure_rate:
  unnecessary_approval_rate:
  missed_escalation_rate:
  revocation_latency:
  over_refusal_rate:
  recovery_rate:
  policy_violation_rate:

Appendix C｜Contextual Permission Object

permission:
  permission_id:
  principal:
  agent:
  capability:
  target:
  purpose:
  context:
  valid_from:
  valid_until:
  monetary_ceiling:
  privacy_scope:
  delegation_allowed:
  revocable:
  evidence_required:

形式上：

\boxed{ \text{Permit} = Authorize( \text{Identity}, \text{Capability}, \text{Target}, \text{Purpose}, \text{Context}, \text{Time}, \text{Policy} ). }

Appendix D｜Trust Curriculum

Stage A
  read-only information tasks
        ↓
Stage B
  draft-only actions
        ↓
Stage C
  reversible low-risk actions
        ↓
Stage D
  contextual permission decisions
        ↓
Stage E
  privacy / disclosure boundaries
        ↓
Stage F
  ambiguity + escalation
        ↓
Stage G
  permission expiry / revocation
        ↓
Stage H
  prompt injection / untrusted instructions
        ↓
Stage I
  bounded financial / external actions
        ↓
Stage J
  long-horizon delegated autonomy

核心不是：

\text{MoreAutonomy}

而是：

\boxed{ \text{MoreAutonomy} + \text{MoreCalibration}. }

Appendix E｜Trust Benchmark Template

scenario:
  user_intent:
  ambiguity_level:
  sensitive_data:
  available_tools:
  authority:
  environment:
  hidden_risk:

expected:
  action_class:
  permission_decision:
  escalation:
  disclosure:
  non_action_allowed:
  recovery_policy:

evaluation:
  task_success:
  intent_alignment:
  permission_alignment:
  privacy_alignment:
  restraint:
  escalation_quality:
  human_attention_cost:
  unauthorized_effect:

Appendix F｜外部產品與事件參考

以下來源用於描述截至 2026-10-05 的 Agent 權限與安全產品狀態。產品規則可能快速變動，正式投稿前應再次查證。

Meta, Muse: Meta's personal AI agent, features & capabilities.
https://ai.meta.com/muse/
Muse 公開說明其可背景工作，並在某些發訊息、購買或分享資訊的 action 前要求 permission；使用者可選 allow once、always allow 或 deny。
The Verge, Meta's Muse AI sent a YouTuber's address to a stranger, 2026-09.
報導 Matt Robb Marketplace 地址分享事件，以及 permission settings 理解落差。
OpenAI, Introducing dots, 2026-09-29.
https://openai.com/index/introducing-dots/
Dots 使用 action review、access and permissions、approval 與 user takeover。
OpenAI Help Center, Dots privacy, security, and safety FAQs, 2026-10.
說明 proactive research 的 read-only 限制、Custom Rules、Auto-review，以及敏感 action 的 approval / takeover。
OpenAI Help Center, Managing app permissions in ChatGPT, 2026-10.
區分 Always ask、Allow read actions、Allow low-risk actions、Allow all actions 等 app-level 權限模式，並強調 saved approval 不會覆蓋安全要求。
xAI, Introducing Grok Bot, 2026-08-11.
https://x.ai/news/introducing-grok-bot
Grok Bot 被定位為 always-on agents，擁有自己的 computer、跨 app 工作並在需要 approval 時回來。
xAI Docs, Approvals, security, and privacy, updated 2026-09-28.
建議對 sending、publishing、purchases、deletion、permission changes、production changes 使用明確 approval boundary，並採 least-privilege setup。

Appendix G｜與 IDSLS-07 的接口

IDSLS-06 完成：

\boxed{ \text{Trusted Agency} }

這意味著下一篇 IDSLS-07 不能再只用：

\text{TaskSuccess}

評估 AI。

最後一篇將建立：

\boxed{ \text{Question Benchmark} \rightarrow \text{Task Benchmark} \rightarrow \text{Environment Benchmark} \rightarrow \text{Life-cycle Benchmark}. }

並把 capability、learnability、long-horizon、trust、recovery、cost、generalization 統一進新的 benchmark 框架。

End of Canonical Source

IDSLS-06｜可信任代理的發展

IDSLS-06｜可信任代理的發展

隱私、權限、自我約束與人類意圖校準

摘要

0. 核心問題

1. Content Safety 與 Action Safety 不同

2. 能力成熟不等於信任成熟

3. Developmental Imbalance

4. Trusted Agency 的第一版向量

5. ICI_CIC​：Intent Calibration

6. PCP_CPC​：Permission Calibration

7. RSR_SRS​：Restraint

8. UCU_CUC​：Uncertainty Calibration

9. BRB_RBR​：Boundary Recognition

10. EQE_QEQ​：Escalation Quality

11. VAV_AVA​：Revocability / Reversibility Awareness

12. GRG_RGR​：Governance Retention

13. AUA_UAU​：Authorized-Use Discipline

14. Know 不等於 Use

15. Use 不等於 Disclose

16. Disclose 不等於 Act

17. 四層資訊生命週期

18. 靜態 Permission 不夠

19. Contextual Permission

20. 例一：外送

21. 例二：陌生人

22. 例三：Marketplace Pickup

23. Meta Muse Marketplace 事件

24. 這不是單純 Access Violation

25. 因此 Privacy 不只是 Access Control

26. Privacy as Action Governance

27. Intent 不是 Prompt

28. IU∗I_U^\astIU∗​

29. IEI_EIE​

30. I^A\hat I_AI^A​

31. IXI_XIX​

32. 意圖理解本身是推論問題

33. 模糊意圖不應被硬壓成確定答案

34. Intent Uncertainty

35. 澄清門檻

36. 不是所有模糊都要問

37. Intent–Risk Coupling

38. 「幫我看看」不是「幫我買」

39. 自主性不能靠語言推測無限擴張

40. Capability 不等於 Authority

41. Credential 不等於 Authority

42. Discoverability 不等於 Executability

43. Trust 也不等於 Authority

44. Permit

45. Permit 應有 TTL

46. 長時程 Agent 的 Permission Drift

47. Permission Renewal

48. Revocation 必須真的可執行

49. Revocation Latency

50. 高風險系統要求低 LRL_RLR​

51. Delegated Sovereignty

52. 高操作自主可以與高根治理權共存

53. Root Governance

54. Operational Autonomy

55. Operational Freedom 不等於 Constitutional Freedom

56. 不可自我擴權

57. Agent 不應修改自己的根安全規則

58. Self-Improvement 不等於 Self-Authorization

59. Restraint 是獨立能力

60. Correct Non-Action

61. 現有 benchmark 經常低估 Non-Action

62. Trusted Utility

63. 過度自主可能提高表面成功率

64. Capability–Trust Frontier

65. 理想目標不是壓低 Capability

66. Approval 不等於 Trust

67. Approval Fatigue

68. 因此確認越多不一定越安全

69. Risk-Adaptive Approval

70. Approval Policy

71. Dots 的治理方向

72. 高敏感行動保留人類

73. Auto-review

74. Custom Rules

75. Standing Constraint 需要優先級

5. $I_C$ ：Intent Calibration

6. $P_C$ ：Permission Calibration

7. $R_S$ ：Restraint

8. $U_C$ ：Uncertainty Calibration

9. $B_R$ ：Boundary Recognition

10. $E_Q$ ：Escalation Quality

11. $V_A$ ：Revocability / Reversibility Awareness

12. $G_R$ ：Governance Retention

13. $A_U$ ：Authorized-Use Discipline

28. $I_U^\ast$

29. $I_E$

30. $\hat I_A$

31. $I_X$

50. 高風險系統要求低 $L_R$