← Archive
lm-004147 · 2026-09

責任—控制背離:高自主系統為什麼不能把全部責任壓回一個人類主管

下載 MD 檔 ⬇

責任—控制背離:高自主系統為什麼不能把全部責任壓回一個人類主管

英文暫名: Responsibility–Control Divergence: Why High-Autonomy Systems Cannot Reliably Collapse Responsibility onto a Single Human Supervisor
系列: 不可逆的制度化智能:具身責任、保險、資本與 AI 經濟主體
English Series: The Institutional Irreversibility of Intelligence: Embodiment, Liability, Insurance, Capital, and AI Economic Subjecthood
論文序號: Paper 02 / 08
版本: v0.1
日期: 2026-09-08
理論發起: Neo.K
協作整理: Aletheia / GPT-5.6 Sol
前置理論: Paper 00–01;Embodied Execution Graph;NACR;UFI
文件地位: Responsibility Theory / Human Oversight / Embodied AI Governance Paper
Canonical Source: UTF-8 Markdown
Canonical Math Delimiters: inline $...$;display $$...$$


研究地位聲明

本文不主張任何現行法律制度已接受本文提出的公式,也不主張人類主管在 AI 系統事故中必然不負責任。本文也不否認高風險自動化系統可能要求明確的人類最終監督者。

本文提出的是一個較弱且可實證的工程治理命題:

責任若長期、系統性地高於 actor 的有效知情能力、干預能力、時間帶寬、權限與可預見性,則「名義上由一人負責」不等於實際形成了可治理的責任結構。

本文將此稱為:

Responsibility-Control Divergence\boxed{ \text{Responsibility-Control Divergence} }

並簡寫為:

RCD.\boxed{ RCD. }

摘要

高自主 AI 與具身機器人進入工廠、物流、交通、醫療行政、能源、倉儲與公共基礎設施後,企業很容易延續傳統組織邏輯:無論底層有多少 robot、model、planner、safety controller、vendor、runtime 與 automated decision loop,最終仍指定一位 human manager 為「總負責人」。

這種安排在組織圖上很簡單,但不一定在風險與治理上成立。

本文提出,責任不應只由職稱、簽名或 hierarchy 定義,而必須與 actor 實際擁有的:

  • knowledge;
  • authority;
  • intervention bandwidth;
  • reaction time;
  • observability;
  • predictability;
  • control reach;

共同分析。

本文定義 human supervisor HHEffective Control Capacity

CHeff=f(KH,AH,IH,BH,TH,OH,FH)\boxed{ C_H^{eff} = f( K_H, A_H, I_H, B_H, T_H, O_H, F_H ) }

其中:

  • KHK_H:knowledge capacity;
  • AHA_H:authority;
  • IHI_H:intervention power;
  • BHB_H:attention / supervision bandwidth;
  • THT_H:reaction-time adequacy;
  • OHO_H:observability;
  • FHF_H:foreseeability / causal understanding。

同時定義其 Responsibility Load

LHresp=i=1nwiEi\boxed{ L_H^{resp} = \sum_{i=1}^{n} w_i E_i }

其中 EiE_i 表示第 ii 個 autonomous execution domain 的 exposure, wiw_i 表示該人被制度分派的責任權重。

由此定義:

DRC(H)=LHrespCHeff\boxed{ D_{RC}(H) = \frac{ L_H^{resp} }{ C_H^{eff} } }

若:

DRC(H)1,D_{RC}(H)\gg1,

則名義責任與有效控制嚴重失配。

本文進一步提出 Responsibility Concentration Ratio(RCR)

RCR(H)=iwiEiCHsupervision\boxed{ RCR(H) = \frac{ \sum_i w_i E_i }{ C_H^{supervision} } }

用來描述一個人被當成整個 autonomous operation 的人類控制接口時,責任集中是否超出監督能力。

本文指出,當大量 autonomous endpoints 被壓到單一 human supervisor,系統可能形成:

Human Single Point of Governance Failure.\boxed{ \text{Human Single Point of Governance Failure}. }

這不只是「這個人很累」,而是:

  • escalation queue 可能超載;
  • emergency decisions 可能彼此衝突;
  • human reaction time 可能慢於事故窗口;
  • operator 可能看不到所有 local state;
  • common-mode failure 可能同時產生多事件;
  • management title 可能遠大於實際 technical control。

本文因此提出:

Responsibility should not systematically exceed effective control.\boxed{ \text{Responsibility should not systematically exceed effective control}. }

但本文同時拒絕另一個極端:AI 自主性提高不代表人類責任全部消失。相反地,合理制度應把 responsibility 分解為 policy、design、delegation、execution、supervision、maintenance 等不同層級,使每一層責任與真正可控制的 domain 對齊。

因此:

Distributed ResponsibilityDiffused Responsibility.\boxed{ \text{Distributed Responsibility} \neq \text{Diffused Responsibility}. }

責任可以被分解,不能被蒸發。

本文最後指出,RCD 會成為後續保險、賠償與資本制度的重要驅動因子。若一間企業把巨額 autonomous exposure 名義上集中給一位自然人,保險與風控並不會因此看到「風險被解決」,反而可能看到更高的 governance concentration 與 key-person risk。這使責任架構本身開始成為可保性與企業資本效率的一部分。

關鍵詞: Responsibility-Control Divergence、Human Oversight、Autonomous Systems、Embodied AI、Responsibility Capacity、Responsibility Concentration Ratio、Governance Failure、Human Supervisor、AI Liability


1. 問題:一個人「負責」到底代表什麼?

傳統組織中:

ManagerTeamManager \rightarrow Team

通常意味 manager:

  • 知道團隊在做什麼;
  • 可以下指令;
  • 可以停止;
  • 可以檢查;
  • 可以分配;
  • 可以承擔責任。

但 autonomous system 中:

ManagerN Robots+M AI Systems+K VendorsManager \rightarrow N\ Robots + M\ AI\ Systems + K\ Vendors

可能只有 organization chart 意義。

如果 manager 無法觀察或即時干預大量 autonomous actions,則:

Nominal ResponsibilityEffective Control.\boxed{ \text{Nominal Responsibility} \neq \text{Effective Control}. }

2. Responsibility Load

對 supervisor HH,定義:

LHresp=i=1nwiEi.L_H^{resp} = \sum_{i=1}^{n} w_i E_i.

其中:

  • EiE_i:execution domain exposure;
  • wiw_i:制度上歸給 HH 的 responsibility weight。

Exposure 可依研究目的分為:

  • physical loss;
  • financial loss;
  • safety risk;
  • legal exposure;
  • operational criticality;
  • systemic impact。

3. Effective Control Capacity

控制能力不是單一變數。

本文定義:

CHeff=f(KH,AH,IH,BH,TH,OH,FH).C_H^{eff} = f( K_H, A_H, I_H, B_H, T_H, O_H, F_H ).

4. Knowledge Capacity

KHK_H

代表 supervisor 對:

  • system architecture;
  • robot state;
  • AI policy;
  • current task;
  • failure mode;

的理解能力。

不知道系統如何運作的人,即使職稱最高,也不能被視為具有完整 technical control。


5. Authority

AHA_H

回答:

supervisor 是否有權改、停、撤銷或重分配?

如果:

AH=0,A_H=0,

責任再高也不會自動創造控制。


6. Intervention Power

IHI_H

回答:

即使有權,能不能真的介入?

例如是否可以:

  • stop robot;
  • revoke task;
  • override planner;
  • isolate zone;
  • rollback model;
  • trigger emergency protocol。

7. Supervision Bandwidth

BHB_H

是最容易被忽略的一層。

一個人同時只能處理有限:

  • alerts;
  • escalations;
  • decisions;
  • exceptions;
  • communications。

如果:

ArrivalRateescalation>ServiceRateH,ArrivalRate_{\mathrm{escalation}} > ServiceRate_H,

queue 會爆炸。


8. Human Escalation Queue

可用簡化 queue model:

λH=escalation arrival rate,\lambda_H = \text{escalation arrival rate}, μH=human decision service rate.\mu_H = \text{human decision service rate}.

若:

λHμH,\lambda_H\ge\mu_H,

則 expected waiting time快速上升。

這意味:

Human-in-the-loop⇏Human-in-control.\boxed{ \text{Human-in-the-loop} \not\Rightarrow \text{Human-in-control}. }

9. Reaction-Time Adequacy

THT_H

取決於:

ReactionWindowhumanReactionWindow_{\mathrm{human}}

是否小於事故發展時間。

若 collision hazard 需要:

20ms20\text{ms}

反應,而 human reaction 是:

500ms+,500\text{ms}+,

則即時安全責任不可能主要依賴 human response。


10. Observability

OHO_H

代表 supervisor 是否能看到:

  • current robot state;
  • sensor degradation;
  • model confidence;
  • task conflicts;
  • maintenance warnings。

如果資訊被 summary 掩蓋,名義監督會失去實際基礎。


11. Foreseeability

FHF_H

代表 actor 是否合理能預見 outcome。

高度 opaque、novel、emergent failure 會降低 foreseeability。


12. Responsibility-Control Divergence

定義:

DRC(H)=LHrespCHeff\boxed{ D_{RC}(H) = \frac{ L_H^{resp} }{ C_H^{eff} } }

可直覺分:

DRC<1: responsibility load below effective capacityD_{RC}<1: \text{ responsibility load below effective capacity} DRC1: near control boundaryD_{RC}\approx1: \text{ near control boundary} DRC1: severe divergence.D_{RC}\gg1: \text{ severe divergence}.

這不是法律責任比例,只是治理與風險指標。


13. Responsibility Concentration Ratio

對 aggregate autonomous exposure:

Eagg=iwiEi,E_{\mathrm{agg}} = \sum_i w_iE_i,

定義:

RCR(H)=EaggCHsupervision.\boxed{ RCR(H) = \frac{ E_{\mathrm{agg}} }{ C_H^{supervision} }. }

RCR 用來觀察:

一個人是否被當成過多 autonomous domains 的最終人類責任節點?


14. Human Single Point of Governance Failure

如果:

N endpointsHN\ endpoints \rightarrow H

且所有重大 escalation 都依賴 HH

HH 可能成為:

Human Single Point of Governance Failure.\boxed{ \text{Human Single Point of Governance Failure}. }

15. Key-Person Risk 的新版本

傳統 key-person risk:

某主管離開,公司受影響。

具身 autonomous system 中可能變成:

某一 supervisor 同時是大量 autonomous execution 的 approval / escalation bottleneck。

這種風險更加 operational。


16. 假日、疾病與 Shift Change

如果 governance architecture 只有一個人真正理解系統:

  • 請假;
  • 生病;
  • 離職;
  • sleep deprivation;
  • emergency absence;

都會改變:

CHeff.C_H^{eff}.

因此 responsibility capacity是 time-varying。


17. Responsibility Capacity

本文提出:

Responsibility Capacity\boxed{ \text{Responsibility Capacity} }

即:

某 actor 在特定時間、特定風險與 autonomy level 下,可以合理承擔的最大 responsibility load。


18. Capacity Constraint

制度應盡量滿足:

LHrespCHresp.\boxed{ L_H^{resp} \le C_H^{resp}. }

至少不應長期:

LHrespCHresp.L_H^{resp}\gg C_H^{resp}.

19. Capacity 不是固定常數

CHresp=f(training,fatigue,tools,automation,team,risk,time,environment).C_H^{resp} = f( training, fatigue, tools, automation, team, risk, time, environment ).

所以不能只用職等決定。


20. More Automation 不一定提高 Human Capacity

一個常見假設:

automation 越多,人類越輕鬆。

但高 autonomy 可能降低 routine workload、同時提高 rare-event complexity。

因此:

RoutineLoadRoutineLoad\downarrow

但:

ExceptionComplexity.ExceptionComplexity\uparrow.

21. Automation Surprise

當人類長期不直接操作:

SkillRetention.SkillRetention\downarrow.

遇到 rare failure 時卻要求瞬間接手。

這會形成:

Out-of-the-loop control problem.\boxed{ \text{Out-of-the-loop control problem}. }

22. Human-on-the-loop 與 Human-in-the-loop

要區分:

human-in-the-loop
human-on-the-loop
human-out-of-the-loop

它們的 responsibility capacity 不同。


23. Nominal Human-in-the-loop

若系統每秒產生上百 autonomous decisions,但 human 只能看 dashboard,

那「human-in-the-loop」可能只是制度標籤。


24. Human Control Window

定義:

WH=time and information window in which intervention is actually meaningful.W_H = \text{time and information window in which intervention is actually meaningful}.

若:

WH0,W_H\le0,

則事後按鈕不能叫 effective control。


25. Control Reach

定義:

ReachH={xH can materially change x}.Reach_H = \{ x \mid H \text{ can materially change }x \}.

責任 domain 不應長期大於:

ReachH.Reach_H.

26. Responsibility Reach Mismatch

如果:

RespDomainHReachH,RespDomain_H \supset Reach_H,

則 mismatch 出現。


27. Responsibility Without Knowledge

若:

KH0K_H\approx0

但:

ResponsibilityH0,Responsibility_H\gg0,

這更接近 scapegoat architecture,而不是 governance architecture。


28. Responsibility Without Authority

如果 supervisor不能:

  • stop;
  • revoke;
  • audit;
  • reject deployment;

卻要負全部責任,則:

Responsibility is decoupled from authority.\boxed{ Responsibility \text{ is decoupled from authority}. }

29. Authority Without Responsibility 也有問題

反方向:

Authority0,Responsibility0Authority\gg0, Responsibility\approx0

會形成 moral hazard。

因此合理制度需要 coupling。


30. Responsibility–Authority Coupling

本文提出:

ResponsibilityAuthority\boxed{ Responsibility \leftrightarrow Authority }

但這還不夠。

還需要:

ResponsibilityKnowledgeControl.\boxed{ Responsibility \leftrightarrow Knowledge \leftrightarrow Control. }

31. Responsibility Functional

可寫:

RespAssignable(H)=g(Authority,Knowledge,Control,Foreseeability,Benefit,Role).RespAssignable(H) = g( Authority, Knowledge, Control, Foreseeability, Benefit, Role ).

這不是法律公式,而是 governance decomposition。


32. Benefit 也很重要

如果企業取得:

BenefitcompanyBenefitH,Benefit_{company}\gg Benefit_H,

但全部損失 responsibility 壓給 HH

制度會產生明顯不對稱。


33. Enterprise Benefit / Personal Liability Asymmetry

Enterprise BenefitPersonal Compensation Capacity\boxed{ \text{Enterprise Benefit} \gg \text{Personal Compensation Capacity} }

是後續 Compensation Paper 的重要入口。


34. Supervisor 不應被當作企業資本替代物

一個自然人的私人資產通常無法吸收 factory-scale loss。

因此:

Human SupervisorEnterprise Loss-Absorbing Capital.\boxed{ \text{Human Supervisor} \neq \text{Enterprise Loss-Absorbing Capital}. }

35. Aggregate Exposure

對 autonomous factory:

Efactory=iEi+ijCorrij.E_{\mathrm{factory}} = \sum_i E_i + \sum_{i\neq j}Corr_{ij}.

不能只看 individual robot risk。


36. Correlated Escalation

common-mode failure 可能同時觸發:

nn

個 alerts。

這會瞬間讓:

λHμH.\lambda_H \gg \mu_H.

因此 human bottleneck更嚴重。


37. Responsibility Concentration + Correlation

可以定義:

RCRcorr=Eagg+CcorrCHsupervision.RCR^{corr} = \frac{ E_{\mathrm{agg}}+ C_{\mathrm{corr}} }{ C_H^{supervision} }.

38. 名義負責人不會降低 Physical Risk

在公司文件寫:

H 全權負責。

不會使:

P(Accident)P(Accident)

自動下降。

因此:

Responsibility AssignmentRisk Reduction.\boxed{ \text{Responsibility Assignment} \neq \text{Risk Reduction}. }

39. 真正的 Risk Reduction

來自:

  • safety architecture;
  • redundancy;
  • maintenance;
  • monitoring;
  • bounded autonomy;
  • local veto;
  • fallback;
  • training;
  • clear escalation。

40. Responsibility Architecture 是 Control Architecture 的影子

理想上:

GrespG_{\mathrm{resp}}

應大致映射:

Gcontrol.G_{\mathrm{control}}.

如果兩者完全不對齊,RCD 上升。


41. Control Graph

定義:

Gcontrol=(V,C).G_{\mathrm{control}} = (V,C).

edge 表示:

誰可以改變誰的狀態或權限?


42. Responsibility Graph

定義:

Gresp=(V,R).G_{\mathrm{resp}} = (V,R).

edge 表示:

誰對哪個 domain / decision / outcome 承擔哪一類責任?

Paper 03 將正式展開。


43. Alignment Condition

理想上:

RespEdge(u,v)ControlPath(u,v)RespEdge(u,v) \Rightarrow ControlPath(u,v)

至少在合理程度上成立。


44. No-Control Responsibility

若:

RespEdge(u,v)=1RespEdge(u,v)=1

但:

ControlPath(u,v)=0,ControlPath(u,v)=0,

則責任設計值得質疑。


45. 但 Responsibility 不必完全等於 Direct Control

例如董事會可對制度設計負 policy responsibility,即使不控制馬達。

所以 control 包含:

  • design control;
  • policy control;
  • deployment control;
  • budget control;
  • maintenance control;
  • execution control。

46. Responsibility Layering

本文建議至少六層:

  1. Policy Responsibility;
  2. Design Responsibility;
  3. Deployment Responsibility;
  4. Delegation Responsibility;
  5. Execution Responsibility;
  6. Maintenance / Supervision Responsibility。

47. Policy Responsibility

誰決定:

此類 autonomous task 可以存在?


48. Design Responsibility

誰設計:

  • robot;
  • model;
  • safety;
  • guard;
  • architecture。

49. Deployment Responsibility

誰決定:

這一版可以進 production?


50. Delegation Responsibility

誰把 task 派給:

AI/Robot.AI/Robot.

51. Execution Responsibility

local executor是否:

  • 按 task;
  • 不越 capability;
  • 遇 hazard stop;
  • 遇 uncertainty escalate。

52. Maintenance / Supervision Responsibility

誰負責:

  • sensor;
  • firmware;
  • overdue maintenance;
  • alert response;
  • staffing。

53. Layered Responsibility Vector

對 incident EE

rE=(rP,rD,rdep,rdel,rE,rM).\mathbf r_E = ( r_P, r_D, r_{dep}, r_{del}, r_E, r_M ).

這比:

rE=one personr_E=\text{one person}

更接近實際結構。


54. Distributed Responsibility

因此:

Distributed Responsibility\boxed{ \text{Distributed Responsibility} }

是把不同 control domains分給不同 actor。


55. Diffused Responsibility

如果分完後:

每個人都只說不是我的錯。

則變成:

Diffused Responsibility.\boxed{ \text{Diffused Responsibility}. }

56. Distributed 不等於 Diffused

核心不變式:

Distributed ResponsibilityDiffused Responsibility.\boxed{ \text{Distributed Responsibility} \neq \text{Diffused Responsibility}. }

57. Accountability Closure

對每個 material risk domain:

dd

應至少存在:

ResponsibleActor(d).ResponsibleActor(d)\neq\varnothing.

58. Multiple Responsible Actors

可以:

ResponsibleActors(d)>1.|ResponsibleActors(d)|>1.

但要有 typed roles。


59. Responsibility Type

例如:

policy
design
deployment
delegation
execution
maintenance
supervision
verification

60. Responsibility Weight 不是罪責比例

wiw_i

在本文模型中只代表 governance burden。

不是法院 damages percentage。


61. Responsibility Capacity 與 Insurance

保險人會關心:

  • key-person risk;
  • span of control;
  • escalation;
  • redundancy;
  • continuity。

因此:

DRCD_{RC}

可能成為 underwriting input。


62. Insurer 看的是 Risk Topology

如果 enterprise 說:

一個人總負責。

insurer可能看到的是:

Responsibility Concentration Risk.\boxed{ \text{Responsibility Concentration Risk}. }

63. Single Supervisor 可能提高而不是降低保費

若單一 supervisor 是:

  • bottleneck;
  • key-person;
  • no redundancy;
  • overloaded;

則名義集中責任不等於 risk reduction。


64. Human Capacity as Underwriting Variable

未來可以想像:

CapacityHCapacity_H

被風控模型估計。

例如:

  • robots per supervisor;
  • critical tasks per hour;
  • alert rate;
  • response latency;
  • decision complexity;
  • shift coverage。

65. Responsibility Span of Control

定義:

SoCH=effective autonomous domains safely supervised by H.SoC_H = \text{effective autonomous domains safely supervised by }H.

66. Robot Count 不是唯一變數

1000 個低風險簡單 robots 可能比 20 個高風險異質 systems 更容易監督。

所以:

SoCHsimple robot count.SoC_H \neq \text{simple robot count}.

67. Weighted Span

可定義:

SoCHweighted=iqi,SoC_H^{weighted} = \sum_i q_i,

qiq_i 依 risk / autonomy / heterogeneity加權。


68. Heterogeneity Penalty

不同 robot classes、vendors、models越多:

ComplexityH.Complexity_H\uparrow.

69. Model Version Complexity

如果 fleet 同時跑很多 model revisions:

KHK_H

需求增加。


70. Exception Density

routine autonomy高不一定危險。

真正關鍵可能是:

ExceptionDensity.ExceptionDensity.

71. Supervisor Load Model

可寫:

LoadH=i(αiAlertsi+βiExceptionsi+γiApprovalsi+δiReviewsi).Load_H = \sum_i ( \alpha_i Alerts_i + \beta_i Exceptions_i + \gamma_i Approvals_i + \delta_i Reviews_i ).

72. Capacity Saturation

當:

LoadHCapacityH,Load_H \rightarrow Capacity_H,

error rate可能非線性上升。


73. Supervision Collapse

超過某 threshold:

LoadH>CapacityH,Load_H>Capacity_H,

可能進入:

Supervision Collapse.\boxed{ \text{Supervision Collapse}. }

74. Supervision Collapse 不等於 Robot Failure

robot可能都正常。

但人類治理層失去有效 oversight。


75. Governance Degradation

因此需要監控:

GovernanceHealth.GovernanceHealth.

不是只監控 machine health。


76. Governance Telemetry

可以包括:

alert_queue_depth
mean_response_time
unreviewed_decisions
overdue_escalations
active_robot_count
critical_task_count
supervisor_fatigue
handoff_state

77. Human Fatigue

CHeff(t)C_H^{eff}(t)

會隨 fatigue下降。


78. Shift Handoff

責任不能因 shift handoff產生空窗。

需要:

ResponsibilityHandoffReceipt.ResponsibilityHandoffReceipt.

79. Handoff 不等於 Responsibility Erasure

舊 supervisor仍對過去 decisions有 history。

新 supervisor承擔 current scope。


80. Multi-Human Governance

解決 RCD 的方法之一:

H1,H2,,Hm.H_1,H_2,\ldots,H_m.

但不能只是多加名字。

要真正分 domain。


81. Domain Decomposition

例如:

safety
maintenance
operations
cybersecurity
production
quality

各自有 responsible actor。


82. AI Coordinator 也可承擔 Operational Accountability

例如 fleet coordinator負責:

  • assignment;
  • scheduling;
  • resource conflicts;
  • escalation policy。

但是否 legal liability由後續制度決定。


83. Robot Local Accountability

robot可以被要求:

  • log;
  • refuse invalid task;
  • stop hazard;
  • escalate uncertainty。

這就是 operational accountability。


84. 人類最後監督不代表人工逐步批准

人類 role可以是:

  • policy setter;
  • exception authority;
  • audit;
  • override。

不需要每一個 routine action click approve。


85. Meaningful Human Control

本文不完整定義法律上的 meaningful human control。

但提出工程必要條件:

Observation+Understanding+Authority+Intervention Window.\boxed{ \text{Observation} + \text{Understanding} + \text{Authority} + \text{Intervention Window}. }

86. Formal Meaningful-Control Predicate

可定義候選:

MHC(H,d,t)=1MHC(H,d,t)=1

若:

OH(d,t),KH(d,t),AH(d,t),IH(d,t),TH(d,t)O_H(d,t), K_H(d,t), A_H(d,t), I_H(d,t), T_H(d,t)

都高於 threshold。


87. Responsibility Allocation Constraint

若:

MHC(H,d,t)=0,MHC(H,d,t)=0,

不應把所有 execution responsibility只壓給 HH


88. Policy Responsibility 仍可存在

即使不能即時控制,manager仍可能對 deployment / staffing / policy有責任。

所以 responsibility要分 type。


89. Responsibility Matrix

可表示:

Ra,d,kR_{a,d,k}

其中:

  • aa:actor;
  • dd:domain;
  • kk:responsibility type。

90. Control Matrix

Ca,d,kC_{a,d,k}

表示 actor對 domain / control type的能力。


91. Alignment Score

可定義:

Align=1RCR+ϵ.Align = 1 - \frac{ \|R-C\| }{ \|R\|+\epsilon }.

只作研究概念。


92. Low Alignment

若:

Align0,Align\rightarrow0,

責任與控制失配。


93. High Alignment

Align1Align\rightarrow1

表示 responsibility較貼近 control structure。


94. 不必追求完全一致

policy responsibility與execution control本來不同。

因此 comparison要 type-aware。


95. Responsibility Graph 將解決 Type-Aware Mapping

Paper 03 將正式建立 typed graph。


96. RCD 與 Compensation Separation

如果某 human有一定 policy responsibility,不代表:

Compensation=PersonalAssets.Compensation=PersonalAssets.

這是 Paper 05 的重要分離。


97. RCD 與 Corporate Liability

企業:

  • deploy;
  • profit;
  • own assets;
  • purchase insurance。

因此 corporate financial responsibility不能被「一個主管簽名」取代。


98. RCD 與 Capital

如果 autonomous domain很大,就需要:

LossAbsorbingCapacity.LossAbsorbingCapacity.

這可能是 company capital、insurance、reserve。

不是 human salary。


99. RCD 與 Institutional Ratchet

當社會發現人類責任 capacity不足,制度可能被迫:

  • 分層;
  • 記錄;
  • 對 AI/robot 建 operational identity;
  • 建 insurance trace;
  • 建 capital pool。

因此 RCD 是 Institutional AI Ratchet 的驅動力之一。


100. Formal Ratchet Link

AutonomyDRCResponsibilityFormalizationInstitutionalEmbedding.Autonomy\uparrow \rightarrow D_{RC}\uparrow \rightarrow ResponsibilityFormalization\uparrow \rightarrow InstitutionalEmbedding\uparrow.

不是必然,但可檢驗。


101. RCD 不等於 AI 應取得權利

RCD⇏AIRights.\boxed{ RCD \not\Rightarrow AIRights. }

它只是治理壓力。


102. RCD 不等於人類不用負責

RCD⇏HumanResponsibility=0.\boxed{ RCD \not\Rightarrow HumanResponsibility=0. }

103. RCD 不等於公司一定負全責

具體 liability依法律、契約、事故因果。

本文只說責任不能靠名義單點簡化所有風險。


104. 可證偽命題一:Responsibility Load

autonomous endpoint增加時:

LHrespL_H^{resp}

是否上升?


105. 可證偽命題二:Control Capacity

human effective capacity是否近似線性成長?

若不成長,RCD上升。


106. 可證偽命題三:Escalation Saturation

當:

λH/μH,\lambda_H/\mu_H\uparrow,

是否出現 response latency / error rate 非線性上升?


107. 可證偽命題四:Responsibility Concentration

高 RCR 是否與:

  • incident severity;
  • delayed intervention;
  • missed alerts;

相關?


108. 可證偽命題五:Redundancy

增加 domain supervisors是否降低 RCD?


109. 可證偽命題六:Local Safety Veto

local safety autonomy是否降低 human reaction-time dependency?


110. 可證偽命題七:Insurance Pricing

insurer是否把 human span of control / governance concentration納入 pricing / conditions?


111. 可證偽命題八:Responsibility Formalization

高 autonomy firms是否逐步採用更細 responsibility records?


112. 反例條件

若觀察到:

  • 一名 human可以穩定監督大量高風險 endpoints;
  • alert complexity不增加;
  • autonomy不降低 observability;
  • insurer不在意 responsibility concentration;
  • control-responsibility mismatch不影響事故;

則 RCD 假說應弱化。


113. 第一代實驗設計

建立模擬 factory:

1 supervisor
N robots
1 fleet coordinator
multiple task classes
random alerts
common-mode failures
local safety controllers

114. 實驗變量

調整:

N,Autonomy,AlertRate,Risk,Heterogeneity.N, Autonomy, AlertRate, Risk, Heterogeneity.

115. 測量

response_latency
missed_alerts
unsafe_actions
supervisor_queue
task_completion
local_veto_count
RCD
RCR

116. Baseline A

中央 human approval every critical action。


117. Baseline B

local safety + human policy oversight。


118. 比較

檢查:

Safety,Latency,HumanLoad,RCD.Safety, Latency, HumanLoad, RCD.

119. Governance Capacity Test

增加:

H=1,2,4,8.H=1,2,4,8.

觀察 responsibility decomposition。


120. Correlated Failure Test

同時觸發:

kk

個 robot alerts。

觀察 queue collapse。


121. Shift-Handoff Test

模擬責任交接。

檢查是否有 unowned interval。


122. Tool Failure Test

dashboard / network failure時,human control capacity下降多少?


123. Knowledge Degradation Test

operator長期不手動操作後,rare failure recovery能力是否下降?


124. Minimum Governance Invariants

RC-1

NominalResponsibilityEffectiveControl.\boxed{ NominalResponsibility \neq EffectiveControl. }

RC-2

HumanInTheLoop⇏HumanInControl.\boxed{ HumanInTheLoop \not\Rightarrow HumanInControl. }

RC-3

ResponsibilityAuthority\boxed{ Responsibility \leftrightarrow Authority }

should be materially aligned.

RC-4

ResponsibilityKnowledgeControl.\boxed{ Responsibility \leftrightarrow Knowledge \leftrightarrow Control. }

RC-5

DistributedResponsibilityDiffusedResponsibility.\boxed{ DistributedResponsibility \neq DiffusedResponsibility. }

RC-6

HumanSupervisorEnterpriseLossAbsorbingCapital.\boxed{ HumanSupervisor \neq EnterpriseLossAbsorbingCapital. }

RC-7

ResponsibilityAssignmentRiskReduction.\boxed{ ResponsibilityAssignment \neq RiskReduction. }

RC-8

OperationalResponsibility⇏LegalPersonhood.\boxed{ OperationalResponsibility \not\Rightarrow LegalPersonhood. }

RC-9

PolicyResponsibilityExecutionResponsibility.\boxed{ PolicyResponsibility \neq ExecutionResponsibility. }

RC-10

ResponsibilityControlDivergence⇏HumanResponsibility=0.\boxed{ ResponsibilityControlDivergence \not\Rightarrow HumanResponsibility=0. }

125. Responsibility Capacity Principle

本文提出:

Responsibility Capacity Principle\boxed{ \textbf{Responsibility Capacity Principle} }

弱形式:

一個 actor 被制度分配的 operational responsibility,不應長期、系統性地超過其可合理觀察、理解、授權、介入與及時反應的能力。


126. Responsibility–Control Alignment Principle

Responsibility–Control Alignment Principle\boxed{ \textbf{Responsibility–Control Alignment Principle} }

弱形式:

責任應盡可能映射到 actor 真正擁有的 control domain;若責任跨越其 control domain,必須明確說明其責任類型是 policy、design、deployment、supervision 或其他,而不能把不同責任混成單一「最終負責」。


127. Human Single-Point Warning

若:

RCR(H)1,RCR(H)\gg1,

系統應觸發:

governance_capacity_warning

而不是只顯示:

supervisor assigned

128. Responsibility Capacity as Runtime State

未來 governance runtime可以維護:

active_domains
alert_load
critical_tasks
expected_escalations
supervisor_capacity
coverage_gap

129. 這不是要 AI 自己決定法律責任

runtime只是:

Governance Evidence.\boxed{ \text{Governance Evidence}. }

法律決定仍由外部制度。


130. 與 Paper 01 的關係

Paper 01建立:

ExecutionGraph.ExecutionGraph.

本文在其上定義 responsibility load。


131. 與 Paper 03 的關係

Paper 03將把:

Policy,Design,Deployment,Delegation,Execution,MaintenancePolicy, Design, Deployment, Delegation, Execution, Maintenance

變成 typed Responsibility Graph。


132. 與 Paper 04 的關係

Machine Insurability Infrastructure會使用:

RCD,RCR,SoCHRCD, RCR, SoC_H

作為風險結構候選指標。


133. 與 Paper 05 的關係

Paper 05會正式區分:

ResponsibilityAttributionCompensationCapacity.ResponsibilityAttribution \neq CompensationCapacity.

134. 與 Paper 06 的關係

如果某 autonomous AI domain被賦予 persistent responsibility,就可能進一步產生:

Capital(A,D).Capital(A,D).

135. 與 Paper 07 的關係

公司可能因為降低 RCD / insurance cost,而有私人利益支持 AI-specific economic account。


136. 與 Paper 08 的關係

Responsibility Ratchet 是 Institutional Ratchet 的中間層。


137. Paper 02 的最終命題

本文提出:

Responsibility–Control Divergence Thesis\boxed{ \textbf{Responsibility–Control Divergence Thesis} }

弱形式為:

當高自主系統的 execution scale、heterogeneity、alert rate、decision speed 與 correlated failure exposure 增加,而人類 supervisor 的 observation、knowledge、intervention bandwidth 與 reaction capacity 無法同比例增加時,把更大量 responsibility 集中到單一人類節點會造成 responsibility–control divergence。這種名義集中不會自動降低風險,反而可能創造 human governance bottleneck、key-person risk 與 insurance concentration risk。


138. 更簡潔的形式

AutonomyScaleCHeff↑̸ proportionally\boxed{ AutonomyScale\uparrow \quad\land\quad C_H^{eff}\not\uparrow\text{ proportionally} }

則:

DRC(H).\boxed{ D_{RC}(H)\uparrow. }

139. 最終結論

當 AI 與具身 robots 只執行少量、低風險、低 autonomy tasks 時,傳統「一個主管負責」的制度可能足夠。

但當:

N,Autonomy,Heterogeneity,Correlation,DecisionSpeed,N\uparrow, Autonomy\uparrow, Heterogeneity\uparrow, Correlation\uparrow, DecisionSpeed\uparrow,

而:

HumanBandwidthHumanBandwidth

沒有同步增加時,責任不能再被當作一個可以無限往單一人類節點堆疊的抽象欄位。

真正合理的治理問題是:

這個人知道多少?
有多少權限?
能不能及時介入?
同時能看多少系統?
escalation 是否會塞車?
rare failure 發生時是否仍有 skill?
哪些責任其實屬於 policy、design、deployment、maintenance,而不是 execution?

因此:

Responsibility should not systematically exceed effective control.\boxed{ \text{Responsibility should not systematically exceed effective control}. }

這不代表人類責任消失,而是要求 responsibility architecture與真正 control topology對齊。

最終,企業若仍把:

1000 autonomous endpoints1000\ autonomous\ endpoints

壓成:

1 human responsible person,1\ human\ responsible\ person,

制度並沒有把 1000 份 exposure 魔法般變成一份。

它只是可能創造:

Human Single Point of Governance Failure.\boxed{ \text{Human Single Point of Governance Failure}. }

這也正是為什麼下一篇需要建立:

Responsibility Graph.\boxed{ \text{Responsibility Graph}. }

只有把 policy、design、deployment、delegation、execution、maintenance 與 supervision 分開,責任才有可能被分散而不消失。


系列進度

  1. Paper 00 — 從能力不可凍結到制度不可逆:UFI 之後的第二條 AI 棘輪
  2. Paper 01 — 從 Conversation Graph 到 Embodied Execution Graph:分散式 AI 如何跨多具身端點行動
  3. Paper 02 — 責任—控制背離:高自主系統為什麼不能把全部責任壓回一個人類主管
  4. Paper 03 — Responsibility Graph:分散式具身 AI 的設計、授權、委派、執行與維護責任拓撲
  5. Paper 04 — Machine Insurability Infrastructure:為什麼保險可能比法律更早逼出 AI 責任架構
  6. Paper 05 — 誰負責不等於誰先賠:AI 時代的 Responsibility–Compensation Separation
  7. Paper 06 — Capital Follows Autonomy:為什麼高自主 AI 可能開始需要自己的經濟帳戶與責任資本
  8. Paper 07 — 私人利益如何創造 AI 經濟主體:股東、保險、會計與稅制的內生激勵
  9. Paper 08 — 制度棘輪:從工具 AI 到責任實體、經濟實體與有限法律主體

內部理論銜接

本文直接承接:

  • Embodied Execution Graph;
  • Federated Cognitive Execution;
  • Human Responsibility Capacity;
  • Responsibility Concentration Ratio;
  • Safe Reachable World;
  • Capability / Authority separation;
  • Institutional AI Ratchet。

本文新增核心抽象:

DRC(H)=LHrespCHeff\boxed{ D_{RC}(H) = \frac{ L_H^{resp} }{ C_H^{eff} } }

與:

RCR(H)=iwiEiCHsupervision\boxed{ RCR(H) = \frac{ \sum_i w_iE_i }{ C_H^{supervision} } }

以及:

Responsibility Capacity Principle.\boxed{ \text{Responsibility Capacity Principle}. }