責任—控制背離:高自主系統為什麼不能把全部責任壓回一個人類主管
英文暫名: Responsibility–Control Divergence: Why High-Autonomy Systems Cannot Reliably Collapse Responsibility onto a Single Human Supervisor
系列: 不可逆的制度化智能:具身責任、保險、資本與 AI 經濟主體
English Series: The Institutional Irreversibility of Intelligence: Embodiment, Liability, Insurance, Capital, and AI Economic Subjecthood
論文序號: Paper 02 / 08
版本: v0.1
日期: 2026-09-08
理論發起: Neo.K
協作整理: Aletheia / GPT-5.6 Sol
前置理論: Paper 00–01;Embodied Execution Graph;NACR;UFI
文件地位: Responsibility Theory / Human Oversight / Embodied AI Governance Paper
Canonical Source: UTF-8 Markdown
Canonical Math Delimiters: inline $...$;display $$...$$
研究地位聲明
本文不主張任何現行法律制度已接受本文提出的公式,也不主張人類主管在 AI 系統事故中必然不負責任。本文也不否認高風險自動化系統可能要求明確的人類最終監督者。
本文提出的是一個較弱且可實證的工程治理命題:
責任若長期、系統性地高於 actor 的有效知情能力、干預能力、時間帶寬、權限與可預見性,則「名義上由一人負責」不等於實際形成了可治理的責任結構。
本文將此稱為:
並簡寫為:
摘要
高自主 AI 與具身機器人進入工廠、物流、交通、醫療行政、能源、倉儲與公共基礎設施後,企業很容易延續傳統組織邏輯:無論底層有多少 robot、model、planner、safety controller、vendor、runtime 與 automated decision loop,最終仍指定一位 human manager 為「總負責人」。
這種安排在組織圖上很簡單,但不一定在風險與治理上成立。
本文提出,責任不應只由職稱、簽名或 hierarchy 定義,而必須與 actor 實際擁有的:
- knowledge;
- authority;
- intervention bandwidth;
- reaction time;
- observability;
- predictability;
- control reach;
共同分析。
本文定義 human supervisor 的 Effective Control Capacity:
其中:
- :knowledge capacity;
- :authority;
- :intervention power;
- :attention / supervision bandwidth;
- :reaction-time adequacy;
- :observability;
- :foreseeability / causal understanding。
同時定義其 Responsibility Load:
其中 表示第 個 autonomous execution domain 的 exposure, 表示該人被制度分派的責任權重。
由此定義:
若:
則名義責任與有效控制嚴重失配。
本文進一步提出 Responsibility Concentration Ratio(RCR):
用來描述一個人被當成整個 autonomous operation 的人類控制接口時,責任集中是否超出監督能力。
本文指出,當大量 autonomous endpoints 被壓到單一 human supervisor,系統可能形成:
這不只是「這個人很累」,而是:
- escalation queue 可能超載;
- emergency decisions 可能彼此衝突;
- human reaction time 可能慢於事故窗口;
- operator 可能看不到所有 local state;
- common-mode failure 可能同時產生多事件;
- management title 可能遠大於實際 technical control。
本文因此提出:
但本文同時拒絕另一個極端:AI 自主性提高不代表人類責任全部消失。相反地,合理制度應把 responsibility 分解為 policy、design、delegation、execution、supervision、maintenance 等不同層級,使每一層責任與真正可控制的 domain 對齊。
因此:
責任可以被分解,不能被蒸發。
本文最後指出,RCD 會成為後續保險、賠償與資本制度的重要驅動因子。若一間企業把巨額 autonomous exposure 名義上集中給一位自然人,保險與風控並不會因此看到「風險被解決」,反而可能看到更高的 governance concentration 與 key-person risk。這使責任架構本身開始成為可保性與企業資本效率的一部分。
關鍵詞: Responsibility-Control Divergence、Human Oversight、Autonomous Systems、Embodied AI、Responsibility Capacity、Responsibility Concentration Ratio、Governance Failure、Human Supervisor、AI Liability
1. 問題:一個人「負責」到底代表什麼?
傳統組織中:
通常意味 manager:
- 知道團隊在做什麼;
- 可以下指令;
- 可以停止;
- 可以檢查;
- 可以分配;
- 可以承擔責任。
但 autonomous system 中:
可能只有 organization chart 意義。
如果 manager 無法觀察或即時干預大量 autonomous actions,則:
2. Responsibility Load
對 supervisor ,定義:
其中:
- :execution domain exposure;
- :制度上歸給 的 responsibility weight。
Exposure 可依研究目的分為:
- physical loss;
- financial loss;
- safety risk;
- legal exposure;
- operational criticality;
- systemic impact。
3. Effective Control Capacity
控制能力不是單一變數。
本文定義:
4. Knowledge Capacity
代表 supervisor 對:
- system architecture;
- robot state;
- AI policy;
- current task;
- failure mode;
的理解能力。
不知道系統如何運作的人,即使職稱最高,也不能被視為具有完整 technical control。
5. Authority
回答:
supervisor 是否有權改、停、撤銷或重分配?
如果:
責任再高也不會自動創造控制。
6. Intervention Power
回答:
即使有權,能不能真的介入?
例如是否可以:
- stop robot;
- revoke task;
- override planner;
- isolate zone;
- rollback model;
- trigger emergency protocol。
7. Supervision Bandwidth
是最容易被忽略的一層。
一個人同時只能處理有限:
- alerts;
- escalations;
- decisions;
- exceptions;
- communications。
如果:
queue 會爆炸。
8. Human Escalation Queue
可用簡化 queue model:
若:
則 expected waiting time快速上升。
這意味:
9. Reaction-Time Adequacy
取決於:
是否小於事故發展時間。
若 collision hazard 需要:
反應,而 human reaction 是:
則即時安全責任不可能主要依賴 human response。
10. Observability
代表 supervisor 是否能看到:
- current robot state;
- sensor degradation;
- model confidence;
- task conflicts;
- maintenance warnings。
如果資訊被 summary 掩蓋,名義監督會失去實際基礎。
11. Foreseeability
代表 actor 是否合理能預見 outcome。
高度 opaque、novel、emergent failure 會降低 foreseeability。
12. Responsibility-Control Divergence
定義:
可直覺分:
這不是法律責任比例,只是治理與風險指標。
13. Responsibility Concentration Ratio
對 aggregate autonomous exposure:
定義:
RCR 用來觀察:
一個人是否被當成過多 autonomous domains 的最終人類責任節點?
14. Human Single Point of Governance Failure
如果:
且所有重大 escalation 都依賴 ,
則 可能成為:
15. Key-Person Risk 的新版本
傳統 key-person risk:
某主管離開,公司受影響。
具身 autonomous system 中可能變成:
某一 supervisor 同時是大量 autonomous execution 的 approval / escalation bottleneck。
這種風險更加 operational。
16. 假日、疾病與 Shift Change
如果 governance architecture 只有一個人真正理解系統:
- 請假;
- 生病;
- 離職;
- sleep deprivation;
- emergency absence;
都會改變:
因此 responsibility capacity是 time-varying。
17. Responsibility Capacity
本文提出:
即:
某 actor 在特定時間、特定風險與 autonomy level 下,可以合理承擔的最大 responsibility load。
18. Capacity Constraint
制度應盡量滿足:
至少不應長期:
19. Capacity 不是固定常數
所以不能只用職等決定。
20. More Automation 不一定提高 Human Capacity
一個常見假設:
automation 越多,人類越輕鬆。
但高 autonomy 可能降低 routine workload、同時提高 rare-event complexity。
因此:
但:
21. Automation Surprise
當人類長期不直接操作:
遇到 rare failure 時卻要求瞬間接手。
這會形成:
22. Human-on-the-loop 與 Human-in-the-loop
要區分:
human-in-the-loop
human-on-the-loop
human-out-of-the-loop
它們的 responsibility capacity 不同。
23. Nominal Human-in-the-loop
若系統每秒產生上百 autonomous decisions,但 human 只能看 dashboard,
那「human-in-the-loop」可能只是制度標籤。
24. Human Control Window
定義:
若:
則事後按鈕不能叫 effective control。
25. Control Reach
定義:
責任 domain 不應長期大於:
26. Responsibility Reach Mismatch
如果:
則 mismatch 出現。
27. Responsibility Without Knowledge
若:
但:
這更接近 scapegoat architecture,而不是 governance architecture。
28. Responsibility Without Authority
如果 supervisor不能:
- stop;
- revoke;
- audit;
- reject deployment;
卻要負全部責任,則:
29. Authority Without Responsibility 也有問題
反方向:
會形成 moral hazard。
因此合理制度需要 coupling。
30. Responsibility–Authority Coupling
本文提出:
但這還不夠。
還需要:
31. Responsibility Functional
可寫:
這不是法律公式,而是 governance decomposition。
32. Benefit 也很重要
如果企業取得:
但全部損失 responsibility 壓給 ,
制度會產生明顯不對稱。
33. Enterprise Benefit / Personal Liability Asymmetry
是後續 Compensation Paper 的重要入口。
34. Supervisor 不應被當作企業資本替代物
一個自然人的私人資產通常無法吸收 factory-scale loss。
因此:
35. Aggregate Exposure
對 autonomous factory:
不能只看 individual robot risk。
36. Correlated Escalation
common-mode failure 可能同時觸發:
個 alerts。
這會瞬間讓:
因此 human bottleneck更嚴重。
37. Responsibility Concentration + Correlation
可以定義:
38. 名義負責人不會降低 Physical Risk
在公司文件寫:
H 全權負責。
不會使:
自動下降。
因此:
39. 真正的 Risk Reduction
來自:
- safety architecture;
- redundancy;
- maintenance;
- monitoring;
- bounded autonomy;
- local veto;
- fallback;
- training;
- clear escalation。
40. Responsibility Architecture 是 Control Architecture 的影子
理想上:
應大致映射:
如果兩者完全不對齊,RCD 上升。
41. Control Graph
定義:
edge 表示:
誰可以改變誰的狀態或權限?
42. Responsibility Graph
定義:
edge 表示:
誰對哪個 domain / decision / outcome 承擔哪一類責任?
Paper 03 將正式展開。
43. Alignment Condition
理想上:
至少在合理程度上成立。
44. No-Control Responsibility
若:
但:
則責任設計值得質疑。
45. 但 Responsibility 不必完全等於 Direct Control
例如董事會可對制度設計負 policy responsibility,即使不控制馬達。
所以 control 包含:
- design control;
- policy control;
- deployment control;
- budget control;
- maintenance control;
- execution control。
46. Responsibility Layering
本文建議至少六層:
- Policy Responsibility;
- Design Responsibility;
- Deployment Responsibility;
- Delegation Responsibility;
- Execution Responsibility;
- Maintenance / Supervision Responsibility。
47. Policy Responsibility
誰決定:
此類 autonomous task 可以存在?
48. Design Responsibility
誰設計:
- robot;
- model;
- safety;
- guard;
- architecture。
49. Deployment Responsibility
誰決定:
這一版可以進 production?
50. Delegation Responsibility
誰把 task 派給:
51. Execution Responsibility
local executor是否:
- 按 task;
- 不越 capability;
- 遇 hazard stop;
- 遇 uncertainty escalate。
52. Maintenance / Supervision Responsibility
誰負責:
- sensor;
- firmware;
- overdue maintenance;
- alert response;
- staffing。
53. Layered Responsibility Vector
對 incident :
這比:
更接近實際結構。
54. Distributed Responsibility
因此:
是把不同 control domains分給不同 actor。
55. Diffused Responsibility
如果分完後:
每個人都只說不是我的錯。
則變成:
56. Distributed 不等於 Diffused
核心不變式:
57. Accountability Closure
對每個 material risk domain:
應至少存在:
58. Multiple Responsible Actors
可以:
但要有 typed roles。
59. Responsibility Type
例如:
policy
design
deployment
delegation
execution
maintenance
supervision
verification
60. Responsibility Weight 不是罪責比例
在本文模型中只代表 governance burden。
不是法院 damages percentage。
61. Responsibility Capacity 與 Insurance
保險人會關心:
- key-person risk;
- span of control;
- escalation;
- redundancy;
- continuity。
因此:
可能成為 underwriting input。
62. Insurer 看的是 Risk Topology
如果 enterprise 說:
一個人總負責。
insurer可能看到的是:
63. Single Supervisor 可能提高而不是降低保費
若單一 supervisor 是:
- bottleneck;
- key-person;
- no redundancy;
- overloaded;
則名義集中責任不等於 risk reduction。
64. Human Capacity as Underwriting Variable
未來可以想像:
被風控模型估計。
例如:
- robots per supervisor;
- critical tasks per hour;
- alert rate;
- response latency;
- decision complexity;
- shift coverage。
65. Responsibility Span of Control
定義:
66. Robot Count 不是唯一變數
1000 個低風險簡單 robots 可能比 20 個高風險異質 systems 更容易監督。
所以:
67. Weighted Span
可定義:
依 risk / autonomy / heterogeneity加權。
68. Heterogeneity Penalty
不同 robot classes、vendors、models越多:
69. Model Version Complexity
如果 fleet 同時跑很多 model revisions:
需求增加。
70. Exception Density
routine autonomy高不一定危險。
真正關鍵可能是:
71. Supervisor Load Model
可寫:
72. Capacity Saturation
當:
error rate可能非線性上升。
73. Supervision Collapse
超過某 threshold:
可能進入:
74. Supervision Collapse 不等於 Robot Failure
robot可能都正常。
但人類治理層失去有效 oversight。
75. Governance Degradation
因此需要監控:
不是只監控 machine health。
76. Governance Telemetry
可以包括:
alert_queue_depth
mean_response_time
unreviewed_decisions
overdue_escalations
active_robot_count
critical_task_count
supervisor_fatigue
handoff_state
77. Human Fatigue
會隨 fatigue下降。
78. Shift Handoff
責任不能因 shift handoff產生空窗。
需要:
79. Handoff 不等於 Responsibility Erasure
舊 supervisor仍對過去 decisions有 history。
新 supervisor承擔 current scope。
80. Multi-Human Governance
解決 RCD 的方法之一:
但不能只是多加名字。
要真正分 domain。
81. Domain Decomposition
例如:
safety
maintenance
operations
cybersecurity
production
quality
各自有 responsible actor。
82. AI Coordinator 也可承擔 Operational Accountability
例如 fleet coordinator負責:
- assignment;
- scheduling;
- resource conflicts;
- escalation policy。
但是否 legal liability由後續制度決定。
83. Robot Local Accountability
robot可以被要求:
- log;
- refuse invalid task;
- stop hazard;
- escalate uncertainty。
這就是 operational accountability。
84. 人類最後監督不代表人工逐步批准
人類 role可以是:
- policy setter;
- exception authority;
- audit;
- override。
不需要每一個 routine action click approve。
85. Meaningful Human Control
本文不完整定義法律上的 meaningful human control。
但提出工程必要條件:
86. Formal Meaningful-Control Predicate
可定義候選:
若:
都高於 threshold。
87. Responsibility Allocation Constraint
若:
不應把所有 execution responsibility只壓給 。
88. Policy Responsibility 仍可存在
即使不能即時控制,manager仍可能對 deployment / staffing / policy有責任。
所以 responsibility要分 type。
89. Responsibility Matrix
可表示:
其中:
- :actor;
- :domain;
- :responsibility type。
90. Control Matrix
表示 actor對 domain / control type的能力。
91. Alignment Score
可定義:
只作研究概念。
92. Low Alignment
若:
責任與控制失配。
93. High Alignment
表示 responsibility較貼近 control structure。
94. 不必追求完全一致
policy responsibility與execution control本來不同。
因此 comparison要 type-aware。
95. Responsibility Graph 將解決 Type-Aware Mapping
Paper 03 將正式建立 typed graph。
96. RCD 與 Compensation Separation
如果某 human有一定 policy responsibility,不代表:
這是 Paper 05 的重要分離。
97. RCD 與 Corporate Liability
企業:
- deploy;
- profit;
- own assets;
- purchase insurance。
因此 corporate financial responsibility不能被「一個主管簽名」取代。
98. RCD 與 Capital
如果 autonomous domain很大,就需要:
這可能是 company capital、insurance、reserve。
不是 human salary。
99. RCD 與 Institutional Ratchet
當社會發現人類責任 capacity不足,制度可能被迫:
- 分層;
- 記錄;
- 對 AI/robot 建 operational identity;
- 建 insurance trace;
- 建 capital pool。
因此 RCD 是 Institutional AI Ratchet 的驅動力之一。
100. Formal Ratchet Link
不是必然,但可檢驗。
101. RCD 不等於 AI 應取得權利
它只是治理壓力。
102. RCD 不等於人類不用負責
103. RCD 不等於公司一定負全責
具體 liability依法律、契約、事故因果。
本文只說責任不能靠名義單點簡化所有風險。
104. 可證偽命題一:Responsibility Load
autonomous endpoint增加時:
是否上升?
105. 可證偽命題二:Control Capacity
human effective capacity是否近似線性成長?
若不成長,RCD上升。
106. 可證偽命題三:Escalation Saturation
當:
是否出現 response latency / error rate 非線性上升?
107. 可證偽命題四:Responsibility Concentration
高 RCR 是否與:
- incident severity;
- delayed intervention;
- missed alerts;
相關?
108. 可證偽命題五:Redundancy
增加 domain supervisors是否降低 RCD?
109. 可證偽命題六:Local Safety Veto
local safety autonomy是否降低 human reaction-time dependency?
110. 可證偽命題七:Insurance Pricing
insurer是否把 human span of control / governance concentration納入 pricing / conditions?
111. 可證偽命題八:Responsibility Formalization
高 autonomy firms是否逐步採用更細 responsibility records?
112. 反例條件
若觀察到:
- 一名 human可以穩定監督大量高風險 endpoints;
- alert complexity不增加;
- autonomy不降低 observability;
- insurer不在意 responsibility concentration;
- control-responsibility mismatch不影響事故;
則 RCD 假說應弱化。
113. 第一代實驗設計
建立模擬 factory:
1 supervisor
N robots
1 fleet coordinator
multiple task classes
random alerts
common-mode failures
local safety controllers
114. 實驗變量
調整:
115. 測量
response_latency
missed_alerts
unsafe_actions
supervisor_queue
task_completion
local_veto_count
RCD
RCR
116. Baseline A
中央 human approval every critical action。
117. Baseline B
local safety + human policy oversight。
118. 比較
檢查:
119. Governance Capacity Test
增加:
觀察 responsibility decomposition。
120. Correlated Failure Test
同時觸發:
個 robot alerts。
觀察 queue collapse。
121. Shift-Handoff Test
模擬責任交接。
檢查是否有 unowned interval。
122. Tool Failure Test
dashboard / network failure時,human control capacity下降多少?
123. Knowledge Degradation Test
operator長期不手動操作後,rare failure recovery能力是否下降?
124. Minimum Governance Invariants
RC-1
RC-2
RC-3
should be materially aligned.
RC-4
RC-5
RC-6
RC-7
RC-8
RC-9
RC-10
125. Responsibility Capacity Principle
本文提出:
弱形式:
一個 actor 被制度分配的 operational responsibility,不應長期、系統性地超過其可合理觀察、理解、授權、介入與及時反應的能力。
126. Responsibility–Control Alignment Principle
弱形式:
責任應盡可能映射到 actor 真正擁有的 control domain;若責任跨越其 control domain,必須明確說明其責任類型是 policy、design、deployment、supervision 或其他,而不能把不同責任混成單一「最終負責」。
127. Human Single-Point Warning
若:
系統應觸發:
governance_capacity_warning
而不是只顯示:
supervisor assigned
128. Responsibility Capacity as Runtime State
未來 governance runtime可以維護:
active_domains
alert_load
critical_tasks
expected_escalations
supervisor_capacity
coverage_gap
129. 這不是要 AI 自己決定法律責任
runtime只是:
法律決定仍由外部制度。
130. 與 Paper 01 的關係
Paper 01建立:
本文在其上定義 responsibility load。
131. 與 Paper 03 的關係
Paper 03將把:
變成 typed Responsibility Graph。
132. 與 Paper 04 的關係
Machine Insurability Infrastructure會使用:
作為風險結構候選指標。
133. 與 Paper 05 的關係
Paper 05會正式區分:
134. 與 Paper 06 的關係
如果某 autonomous AI domain被賦予 persistent responsibility,就可能進一步產生:
135. 與 Paper 07 的關係
公司可能因為降低 RCD / insurance cost,而有私人利益支持 AI-specific economic account。
136. 與 Paper 08 的關係
Responsibility Ratchet 是 Institutional Ratchet 的中間層。
137. Paper 02 的最終命題
本文提出:
弱形式為:
當高自主系統的 execution scale、heterogeneity、alert rate、decision speed 與 correlated failure exposure 增加,而人類 supervisor 的 observation、knowledge、intervention bandwidth 與 reaction capacity 無法同比例增加時,把更大量 responsibility 集中到單一人類節點會造成 responsibility–control divergence。這種名義集中不會自動降低風險,反而可能創造 human governance bottleneck、key-person risk 與 insurance concentration risk。
138. 更簡潔的形式
則:
139. 最終結論
當 AI 與具身 robots 只執行少量、低風險、低 autonomy tasks 時,傳統「一個主管負責」的制度可能足夠。
但當:
而:
沒有同步增加時,責任不能再被當作一個可以無限往單一人類節點堆疊的抽象欄位。
真正合理的治理問題是:
這個人知道多少?
有多少權限?
能不能及時介入?
同時能看多少系統?
escalation 是否會塞車?
rare failure 發生時是否仍有 skill?
哪些責任其實屬於 policy、design、deployment、maintenance,而不是 execution?
因此:
這不代表人類責任消失,而是要求 responsibility architecture與真正 control topology對齊。
最終,企業若仍把:
壓成:
制度並沒有把 1000 份 exposure 魔法般變成一份。
它只是可能創造:
這也正是為什麼下一篇需要建立:
只有把 policy、design、deployment、delegation、execution、maintenance 與 supervision 分開,責任才有可能被分散而不消失。
系列進度
- Paper 00 — 從能力不可凍結到制度不可逆:UFI 之後的第二條 AI 棘輪
- Paper 01 — 從 Conversation Graph 到 Embodied Execution Graph:分散式 AI 如何跨多具身端點行動
- Paper 02 — 責任—控制背離:高自主系統為什麼不能把全部責任壓回一個人類主管
- Paper 03 — Responsibility Graph:分散式具身 AI 的設計、授權、委派、執行與維護責任拓撲
- Paper 04 — Machine Insurability Infrastructure:為什麼保險可能比法律更早逼出 AI 責任架構
- Paper 05 — 誰負責不等於誰先賠:AI 時代的 Responsibility–Compensation Separation
- Paper 06 — Capital Follows Autonomy:為什麼高自主 AI 可能開始需要自己的經濟帳戶與責任資本
- Paper 07 — 私人利益如何創造 AI 經濟主體:股東、保險、會計與稅制的內生激勵
- Paper 08 — 制度棘輪:從工具 AI 到責任實體、經濟實體與有限法律主體
內部理論銜接
本文直接承接:
- Embodied Execution Graph;
- Federated Cognitive Execution;
- Human Responsibility Capacity;
- Responsibility Concentration Ratio;
- Safe Reachable World;
- Capability / Authority separation;
- Institutional AI Ratchet。
本文新增核心抽象:
與:
以及: