AI 原生自治控制與分散治理
從中央遙控、人工批准與單一 AI 控制走向分層權限、在地自治、多雲監督與確定性安全底層
English Title: AI-Native Autonomous Control and Distributed Governance: Layered Authority, Local Autonomy, Multi-Cloud Supervision, and Deterministic Safety for Critical Cyber-Physical Infrastructure
Series: ANCSI — AI-Native Computational and Scientific Infrastructure
Paper: ANCSI-06
Version: v0.1
Date: 2026-09-23
Type: 公開命題/工程猜想論文(Public Proposition / Engineering Conjecture Paper)
作者: Neo.K
機構: EveMissLab/一言諾科技有限公司
摘要
如果大型 AI 原生計算—科研設施的計算、熱力學場、多介質管網、冷量儲存、能源回收、機器人與科研儀器逐步形成自治閉環,那麼真正困難的問題將不再只是「AI 能不能控制設備」,而是:誰可以在什麼時間尺度、什麼物理狀態、什麼風險等級與什麼責任邊界內作出哪些決策。
本文提出 ANCSI 的第六個核心命題:未來 AI 原生 critical cyber-physical infrastructure 不應採用單一中央 AI、單一雲端或所有行動皆等待人類批准的控制模式,而應建立一個分層自治與分散治理架構。其底層由 passive safety、safety instrumented systems、deterministic interlocks 與 local real-time controllers 保證物理安全;其上由 Local AI 與 Site AI 進行低延遲狀態理解、資源配置與故障處置;更高層則由異質多 AI、多雲、多中心與人類共同負責策略、治理、模型管理、權限設計、跨場區協調、法律責任與不可逆決策。
本文提出 Authority Envelope 作為核心抽象。AI 的自主性不是「有或沒有」,而是:
at∈Aauthorized(St,ρt,τt,Pt),
其中行動集合由當前物理狀態、風險級別、決策時間尺度與政策版本共同限定。對緊急事件,現場 AI 可在事先規定的 emergency envelope 中立即行動,不需等待遠端批准;但任何 AI 都不能覆寫 passive relief、硬體過壓保護、失效安全邏輯或安全儀控系統。
本文同時提出 Intent-over-Actuation、Emergency Sovereignty、Graceful Degradation、Federated Supervisory Control、Heterogeneous Oversight、Policy-Signed Authority、Action Provenance、Quorum for Irreversible Operations 與 Local Survivability 等架構。這些命題與現有 NIST OT security、Zero Trust Architecture、NIST AI RMF、NIST 2026 Trustworthy AI in Critical Infrastructure Profile、IEC 62443 zones and conduits 與 IEC 61511 functional safety 的方向相容,但本文進一步將它們統合到以 AI 為日常操作主體的未來計算—科研基礎設施中。
關鍵詞: AI-native control、distributed governance、local autonomy、critical infrastructure、operational technology、functional safety、zero trust、multi-cloud、federated AI、authority envelope、runtime assurance、cyber-physical systems
1. 問題:誰才是 AI 原生設施的真正控制者?
若一座未來大型計算—科研設施具有:
- 高密度 AI / HPC;
- 低溫與 cryogenic compute;
- 可程式化熱力學場;
- 多介質管網;
- thermal storage;
- heat reuse;
- 自動化物流;
- AI 科研儀器;
- 多型態具身機器;
那麼每秒可能產生數千至數百萬個需要協調的局部決策。
例如:
- 某 pump 是否升速;
- 某 workload 是否遷移;
- 某 cold reserve 是否 discharge;
- 某研究樣品是否進入 restricted zone;
- 某 valve 是否隔離;
- 某 thermal zone 是否降級;
- 某 robot 是否停止;
- 某事故是否切入 emergency mode;
- 某雲端命令是否應被拒絕。
若所有行動都採:
physical event→cloud→human approval→physical response,
則對大量低延遲事件:
τapproval>τfault.
系統在結構上即無法安全工作。
但另一個極端:
one AI→unbounded physical authority
同樣不可接受。
因此問題不是:
人控制還是 AI 控制?
而是:
which authority controls which action under which state and time scale?
2. 現代 OT 已經明確不同於普通 IT
NIST SP 800-82 將 Operational Technology(OT)描述為直接監測或控制物理設備、程序與事件的可程式化系統,並特別強調 OT 的 performance、reliability 與 safety 要求 [1]。
2026 年 9 月 21 日,NIST 又發布 SP 800-82 Revision 4 Initial Public Draft,新增:
- cloud environments;
- IIoT;
- CSF 2.0 alignment;
- asset management;
- network monitoring;
- zero-trust-oriented security architecture;
等更新方向 [2][3]。
這與 ANCSI 的核心問題高度一致:
physical control is not ordinary cloud software.
對一個資料庫請求而言:
100 ms
額外延遲可能只是使用者體驗問題。
但對:
- overpressure;
- electrical fault;
- cryogenic leak;
- unstable two-phase flow;
- mechanical overspeed;
而言:
100 ms
有時可能已經是不同的安全狀態。
因此 ANCSI 不能使用單一治理層處理所有時間尺度。
3. 自治不是二元變數
傳統討論常使用:
manual↔autonomous
作為單一直線。
但 AI 原生基礎設施至少包含四個不同問題:
- Who may decide?
- What may be decided?
- When may it be decided?
- Who or what may execute it?
因此本文定義:
A=action space.
系統不把整個:
A
交給任何單一主體。
而是分配:
A=A0∪A1∪⋯∪An.
不同 authority layer 只能在自己的:
Ai
中行動。
這就是:
bounded autonomy.
4. Authority Envelope
本文提出:
Authority Envelope
作為 ANCSI 治理的核心抽象。
對 agent k:
Aauthorized(k)=f(S,ρ,τ,Z,P,I).
其中:
S=physical / computational state,
ρ=risk class,
τ=decision time scale,
Z=security / physical zone,
P=policy version,
I=identity / credential state.
所以同一個 AI 在不同時刻可執行的 action set 不同。
例如:
正常狀態:
Alocal={flow tuning,workload migration,pump scheduling}.
緊急狀態:
AlocalE=Alocal∪{rapid isolation,load shedding,emergency reroute}.
但即使進入 emergency:
AlocalE
仍不能包含:
disable mandatory relief
或:
override hard overpressure trip.
5. 六層控制與治理架構
本文提出 ANCSI-06 第一版六層架構:
L0L1L2L3L4L5:Passive Physical Safety:Deterministic Safety & Control:Local AI Autonomy:Site AI Orchestration:Federated Multi-Cloud / Multi-AI Supervision:Human-AI Governance
這些層不是單純由上往下的「指揮鏈」。
其真正關係是:
higher layers define intent and policy;lower layers own faster physical reality.
6. L0:Passive Physical Safety
最底層甚至不需要電腦。
包括:
- pressure vessel strength;
- rupture disk;
- spring relief valve;
- fire barrier;
- containment;
- gravity drain;
- passive thermal mass;
- check valve;
- inherently safe geometry。
其目的為:
when control disappears, physics still tends toward a survivable state.
若:
Pcontrol=0,
仍應存在:
x(t)→Xsurvivable.
這層不是 AI governance。
它是 AI governance 的物理前提。
7. L1:Deterministic Safety Kernel
第二層包含:
- PLC;
- safety PLC;
- safety instrumented system;
- interlock;
- overspeed protection;
- overpressure trip;
- emergency shutdown;
- electrical protection;
- hard temperature limit;
- low-flow protection。
IEC 61511 對 process-sector safety instrumented systems 要求其 specification、design、installation、operation 與 maintenance 應使系統可被信賴地達成或維持 process safe state [4][5]。
因此 ANCSI 採用:
AI cannot be the only safety barrier.
更形式化地:
AI 提出:
uAI.
Safety kernel 判斷:
V(x,uAI)={1,0,uAI∈Usafe(x)otherwise
只有:
V=1
才允許執行。
8. Safety Kernel 不需要理解「為什麼」
高階 AI 可能知道:
這個 experiment 很重要。
Safety kernel 不需要知道。
它只需要知道:
P<Pmax,
T<Tmax,
m˙>m˙min.
如果違反:
trip.
這種「缺乏語意理解」反而是優勢。
因為:
safety rule
不應因:
- prompt;
- model mood;
- economic priority;
- experiment value;
而重新詮釋。
9. L2:Local AI Autonomy
Local AI 才是現場真正的快速智能管理者。
其可觀察:
St=(C,T,P,F,E,L,R,X)t.
它可以在:
Alocal
內:
- migrate workload;
- throttle compute;
- reroute fluid;
- dispatch cold storage;
- reposition robots;
- isolate noncritical subsystem;
- retune local MPC;
- identify anomaly;
- enter degraded mode。
其特徵是:
low latency+high local context+bounded authority.
10. 現場 AI 應該擁有 Emergency Sovereignty
本文提出:
Emergency Sovereignty
定義為:
當已預先定義的 emergency condition 成立時,Local AI / Site AI 可在 emergency authority envelope 內立即採取保護行動,而不需等待遠端人類、雲端或 federated consensus。
例如:
dtdP>rP
且:
P>Pwarning.
則 local system 可:
- shed workload;
- close selected valves;
- open safe bypass;
- isolate affected zone;
- dispatch emergency cooling;
- stop robots;
- block new experiments。
但:
Emergency Sovereignty=Emergency Unlimited Power.
所有行動仍受:
L0+L1
約束。
11. 緊急狀態必須事先定義,而不是臨場發明
可定義:
M={MN,MW,MD,ME,MR}.
其中:
MN=Normal,
MW=Warning,
MD=Degraded,
ME=Emergency,
MR=Recovery.
每個 mode 有:
A(Mi).
因此 AI 不是自由發明「緊急權力」。
而是:
state-triggered authority expansion.
且 transition:
Mi→Mj
必須有可驗證條件。
12. L3:Site AI Orchestration
Site AI 管理的是整個場區,而不是單一設備。
其 state 包括:
Ssite={S1,S2,…,Sn}.
其工作:
- compute placement;
- thermal zoning;
- energy budget;
- pipe reservation;
- robot allocation;
- experiment scheduling;
- maintenance;
- cross-zone fault containment;
- thermal storage;
- heat reuse。
Local AI 問:
我要怎麼讓 Zone C 安全工作?
Site AI 問:
是否根本應該讓這個 workload 在 Zone C 執行?
這兩種 decision level 不相同。
13. Site AI 不應直接取代 Local Control
若 Site AI 對每一個 actuator 發 command:
usite→a1,a2,…,an,
則系統再次形成中央單點。
更合理的是:
Site Intent→Local Plan→Safety Validation→Actuation.
例如 Site AI 說:
Zone C 在 180 秒後需要額外 8 MW thermal margin。
而不是:
Valve-317 = 62.3%。
這就是:
Intent-over-Actuation.
14. L4:Federated Multi-Cloud / Multi-AI Supervision
對大型跨區設施,單一雲端是明顯 single point of failure。
因此可以建立:
F={F1,F2,…,Fn}
包含:
- private cloud;
- public cloud A;
- public cloud B;
- independent AI center;
- disaster-recovery center;
- remote safety / governance node。
但:
multi-cloud=automatic safety.
若所有中心:
- 使用同一模型;
- 使用同一 identity provider;
- 使用同一 network;
- 使用同一 training data;
- 使用同一 deployment pipeline;
則 common-mode failure 仍然可能存在。
15. 多 AI 也不等於統計獨立
假設:
AI1,AI2,AI3
都給出同一結論。
不能直接推論:
P(correct)→1.
因為:
P(E1,E2,E3)=P(E1)P(E2)P(E3)
若 errors correlated。
因此本文提出:
Heterogeneous Oversight.
差異可來自:
- architecture;
- vendor;
- training path;
- reasoning method;
- sensor reconstruction;
- physical model;
- verification engine;
- software stack。
但異質性仍不是 correctness proof。
真正安全仍依賴:
physical constraints+verification+evidence.
16. 多 AI 投票不是 Safety Kernel
最簡單做法可能是:
3 AIs→2/3 vote.
但若三者共同錯誤:
wrong majority
仍然成立。
因此:
consensus decides policy conflicts; consensus does not redefine physics.
例如多 AI 可表決:
是否把低優先研究延後?
但不能表決:
是否允許超過 certified pressure limit?
後者:
vote irrelevant.
17. Quorum 應用於不可逆/高影響操作
並非所有 action 都需要 quorum。
如果每個 actuator 都需要:
k-of-n
批准,系統會失去反應能力。
本文建議 quorum 只用於:
Ahigh−impact.
例如:
- 永久修改 safety policy;
- 更改 pressure limit;
- 大規模 cross-zone shutdown;
- irreversible experiment;
- 解除某安全隔離;
- firmware / safety-logic update;
- 高風險 autonomous research mode。
形式化:
a∈Ahigh−impact⇒Q(a)≥k.
但 emergency protective action 可以例外:
a∈Aprotective
時 local system 不需等待 quorum。
18. L5:Human-AI Governance
人類在 ANCSI 中不是每分鐘操作設備。
其主要角色包括:
- 定義研究目的;
- 公司與公共政策;
- 法律責任;
- safety target;
- risk tolerance;
- ethical constraint;
- authority envelope;
- irreversible-operation policy;
- incident review;
- model qualification;
- budget;
- long-term infrastructure strategy。
也就是:
humans govern the space of admissible autonomy.
而不是:
humans click every valve.
19. 人類治理不要求人類物理在現場
ANCSI-07 將進一步研究 machine-native scientific zones。
即使某些空間:
human routine entry=0,
也不表示:
human governance=0.
可以有:
remote human authority.
例如:
- policy signing;
- experiment authorization;
- audit;
- incident escalation;
- strategic shutdown。
所以:
physical absence=governance absence.
20. 時間尺度—權限對齊原則
本文提出:
dauthority↑⇒τdecision↑
作為設計 heuristic。
其中:
dauthority
表示 decision authority 與物理 process 的組織/網路距離。
概念表如下:
| 時間尺度 |
主要層 |
| μs 到 ms |
hardware / protection |
| ms 到 100ms |
deterministic local control |
| 100ms 到 s |
Local AI |
| s 到 min |
Site AI |
| min 到 h |
Federated AI / cloud |
| h 到 day |
human-AI governance |
| 長期 |
engineering / legal / institutional governance |
這不是普遍自然定律。
但它提出一個可驗證的 architecture hypothesis:
越接近快速不可逆物理事件,控制權越應該在地化。
21. Local Survivability
本文提出:
Local Survivability
即:
場區失去外部網路、雲端或中央 AI 後,仍能安全運行、降級或停機。
形式化:
CWAN=0
時仍需要:
x(t)∈Xsafe.
甚至對某些設施:
x(t)∈Xoperational
可持續一段時間。
因此 local site 應保留:
- local compute;
- local policy cache;
- local identity;
- local time source;
- local safety model;
- local operator interface;
- local logs。
不能把 cloud connectivity 當作生命維持系統。
22. Network Partition 是正常故障模型,不是奇蹟事件
分散式控制必須假設:
∃ network partition.
因此每個 site 應定義:
Mpartition.
例如:
Stage P1
失去其中一個 cloud。
Stage P2
只剩 site-to-site network。
Stage P3
完全 island mode。
不同 stage 有不同:
Aauthorized.
例如 island mode:
- 禁止 policy update;
- 禁止新增高風險 experiment;
- 保留 normal compute;
- 保留 protective autonomy;
- 保留 controlled shutdown。
這樣:
loss of supervision→authority contraction,
而不是失控。
23. Graceful Degradation
NIST 2026 Trustworthy AI in Critical Infrastructure concept note 已直接舉出:
- autonomous robots with redundant safety systems and deterministic fail-safe controllers;
- AI-powered digital twins for distributed critical data centers;
- AI optimization systems that degrade gracefully and transparently;
- human-in-the-loop compliance / risk monitoring;
等示例 [6]。
這與本文提出的 ANCSI 架構高度相容。
因此 system capability 可表示:
C0>C1>C2>⋯>Cs.
故障增加時:
C↓
但:
Rsafety
應優先保持。
所以:
degrade performance before degrading safety.
24. Fail-Operational 與 Fail-Safe 必須分開
不是所有子系統都應:
fault→shutdown.
例如:
Compute Cluster
可能:
fail-degraded.
Research Robot
可能:
stop in safe pose.
Cryogenic Pressure Protection
可能:
fail-safe vent / isolate.
Cooling Pump
可能:
fail-operational via redundant path.
因此:
fault response is function-specific.
而不能只有全場 emergency stop。
25. Zero Trust:在內部也不自動信任
NIST SP 800-207 的核心原則之一是:不能只因 device 或 user 位於某個 network location,就給予 implicit trust [7]。
對 ANCSI 來說尤其重要。
因為:
「這是機房內網,所以可信」
在高自治 physical plant 中風險太高。
每個重要 command 應至少綁定:
{identity,device,policy,context,scope,time}.
NIST 對 zero trust implementation 也強調 just-enough / just-in-time privilege 與 continuous access evaluation [8]。
因此 AI agent 的權限應:
minimal+temporary+state-dependent.
26. 多雲環境中的身份不能只看 IP
NIST SP 800-207A 專門針對 cloud-native multi-cloud environments,強調 access control 應從 network location 轉向 user、service 與 application identity [9]。
這對 ANCSI 的 multi-cloud supervisor 很重要。
例如:
Cloud-A
與:
Cloud-B
不應因為:
IP∈trusted range
就能修改 site policy。
需要:
authenticated service identity+authorized capability.
27. Capability-Based Physical Authority
本文提出:
Physical Capability Token
作為概念模型。
例如某 Local AI 被授予:
capability:
zone: thermal-C
actions:
- adjust_flow
- migrate_workload
max_delta:
flow: 15%
expires: ...
emergency_extension: true
其本質是:
who+where+what+how much+until when.
即使 credentials 被盜:
Acompromised
仍被限制。
28. Zone 與 Conduit
IEC 62443-3-2 明確要求 industrial automation and control system:
- 定義 system under consideration;
- partition into zones and conduits;
- 對每個 zone / conduit 進行風險評估;
- 建立 target security level;
- 文件化 security requirements [10]。
ANCSI 可以直接採用並擴張這種思維。
例如:
ZC=Compute Zone,
ZT=Thermal Zone,
ZP=Power Zone,
ZR=Research Zone,
ZL=Logistics Zone,
ZG=Governance Zone.
允許通訊:
Cij=authorized conduit.
因此:
ZC⇒ZT.
Compute system compromised 不代表能直接控制 cryogenic valve。
29. Cyber Zone 與 Physical Zone 不應完全重疊
物理上同一個房間可能有:
- compute;
- robot;
- thermal controller;
- safety PLC。
但在 cyber authority 中:
Zcompute=Zsafety.
反過來:
不同建築中的:
Zgovernance
可能屬於同一 security domain。
所以:
physical topology=cyber authority topology.
需要同時建模。
30. 控制平面與安全平面分離
本文建議:
Ncontrol
與:
Nsafety
至少邏輯隔離。
AI 可以在 control plane:
- optimize;
- schedule;
- predict。
Safety plane:
- trip;
- protect;
- verify hard limits。
CISA 對 OT segmentation 的安全指引亦強調 IT / OT 邊界、分段與 high-value asset isolation,並指出單一 segmentation control 失效時仍應考慮 backup protections [11][12]。
所以:
segmentation is a layer, not the entire safety case.
31. Command Provenance
所有重大 physical command 應形成:
Et=(St,It,At,Mt,Pt,Ct,Vt,t).
其中:
St=observed state,
It=intent,
At=executed action,
Mt=model / software version,
Pt=policy version,
Ct=credential / authority context,
Vt=verification result.
這樣事後不是只知道:
Valve 12 closed.
而是:
哪一個 AI 在什麼 sensor state、依哪一版 policy、基於哪個 site intent、用什麼 authority 關閉 Valve 12,執行後結果是否符合預期?
32. Append-Only Audit
重大事件紀錄應具備:
append-only
特性。
理想上包含:
- trusted timestamp;
- cryptographic signature;
- model identity;
- policy hash;
- sensor snapshot;
- command;
- acknowledgement;
- result。
目的不是製造龐大 log。
而是建立:
reconstructable causal record.
這對:
- scientific provenance;
- incident investigation;
- insurance;
- compliance;
- legal responsibility;
- model evaluation;
都重要。
33. AI Decision 與 AI Recommendation 必須分開
對 action a,系統應標記:
mode(a)∈{recommend,approve,execute,veto}.
例如:
Research AI
可:
recommend experiment.
Site AI
可:
approve scheduling.
Local AI
可:
execute bounded plan.
Safety Kernel
可:
veto.
這避免「AI 有參與」被混成同一種責任角色。
34. Veto Authority
本文提出一個重要原則:
veto authority may be broader than command authority.
例如 Local Safety AI 不能啟動某高風險 experiment。
但它可以:
veto start.
同樣:
Human supervisor 未必能直接手動操作 cryogenic valve。
但可以:
request safe shutdown.
這使治理能保持監督權,又避免 bypass 正常 control chain。
35. Policy-Signed Authority
authority envelope 不應只存在於資料庫中。
每次 policy release:
Pn
應具有:
- version;
- author;
- approver;
- validity period;
- signature;
- rollback target;
- dependency graph。
Local system 只接受:
Pn∈Pvalid.
所以:
authority itself is versioned infrastructure.
這對模型升級尤其重要。
36. 模型更新不能自動繼承舊權限
假設:
M1→M2.
即使:
M2
benchmark 更高,也不應自動得到:
A(M1).
需要:
Q(M2)
重新 qualification。
因此:
model identity is part of authority identity.
新模型可以先進:
shadow mode
再:
advisory mode
最後:
bounded autonomous mode.
37. Shadow Governance
不只模型可以 shadow。
新的 governance policy 也可以 shadow。
例如:
Pnew
先不控制現場。
系統同時記錄:
aold
與:
anew.
比較:
Δa=anew−aold.
若新的 policy 會在大量歷史事件中觸發不同 emergency action,即需要重新檢查。
因此:
policy deployment should be testable before authority transfer.
38. 多中心不應同時持有相同直接控制權
假設:
CA,CB,CC
三個 remote centers 都能直接寫 actuator:
at.
則可能產生:
- race condition;
- conflicting command;
- replay;
- split-brain control。
所以 remote centers 應主要輸出:
intent
與:
policy.
直接 actuator ownership 應該維持:
single local execution authority per controlled process at a time.
即使 supervision 是多中心的。
39. Split-Brain Governance
如果 multi-cloud federation 發生:
FA=FB
的 policy state,site 不能同時接受互斥命令。
需要:
authoritative local policy epoch.
例如:
P(e)
表示 epoch e。
只有:
e=eactive
可被 local executor 接受。
若 federation 不一致:
freeze policy changes.
現場繼續使用最後一個:
Pknown−good.
40. Human Override 也必須受約束
「人類可以隨時 override」聽起來安全,實際可能很危險。
因為 human error 也是 failure mode。
因此 human override 應分成:
Stop Override
request safe stop.
通常權限可以較廣。
Operational Override
直接修改 process operation。
需要更高 qualification。
Safety-Limit Override
正常情況:
not permitted.
如果真的存在 maintenance bypass,必須:
- physical key / explicit procedure;
- time limit;
- logging;
- compensating measure;
- restoration verification。
41. Emergency Stop 不是萬能答案
某些 process 中:
instant stop
反而可能危險。
例如:
- cryogenic flow;
- rotating machinery;
- high-current magnet;
- chemical process;
- vacuum system。
所以 emergency response 應是:
safe-state transition,
而不只是:
power off.
IEC 61511 的核心也正是使 process 達到或維持 safe state,而不是假定所有安全狀態都等於斷電 [4][5]。
42. Safe State 可以是動態的
對不同 subsystem:
xsafe
不同。
例如:
Compute
P↓.
Cooling Loop
可能:
m˙>0
仍需要維持。
Cryogenic System
可能需要:
controlled pressure relief.
Robot
可能:
v→0.
Superconducting System
可能需要:
energy extraction.
因此:
safe state is subsystem-specific.
43. AI 必須知道自己的 Authority Boundary
每個 agent 應能查詢:
Aauthorized.
而不是等 command 被拒絕才知道。
例如:
Agent: Local-Thermal-AI-7
authorized:
read:
- thermal-zone-C/*
execute:
- pump_speed <= 15% delta/min
- workload_throttle
- cold_storage_dispatch <= 4 MW
emergency:
- isolate-zone-C
- shed-compute-zone-C
forbidden:
- modify_safety_limit
- rewrite_policy
- disable_relief
這讓 planner 在規劃階段就不會產生不可執行 action。
44. Authority Escalation
如果 Local AI 需要超出自己 envelope 的行動:
a∈/Alocal,
它應產生:
escalation request.
包含:
Eesc=(S,a,reason,deadline,fallback).
例如:
建議啟動 Zone B cryogenic branch;若 120 秒內未批准,改將 workload 遷移到 Zone D。
所以等待上級不代表停止思考。
系統同時保留:
safe fallback.
45. Decision Deadline 必須顯式化
對 request r:
Dr=latest useful decision time.
如果:
t>Dr,
批准也可能失去意義。
因此每個 escalation 應有:
decision deadline+timeout behavior.
這比普通企業 approval workflow 更符合 physical system。
46. 人類與多 AI 的角色不是競爭,而是不同失效模式
人類優勢可能包括:
- institution-level responsibility;
- novel exception handling;
- social / legal interpretation;
- value judgment;
- cross-domain intuition。
AI 優勢可能包括:
- high-frequency monitoring;
- large-state tracking;
- fast search;
- simulation;
- continuous control。
Deterministic controller 優勢:
- predictable timing;
- validated logic;
- narrow state space。
Passive safety 優勢:
所以:
robustness comes from heterogeneous cognition and control modes.
而不是找一個「最聰明的 controller」統治全部。
47. Governance 不是「AI vs Human」
NIST AI RMF 使用:
{Govern,Map,Measure,Manage}
作為核心風險管理功能 [13][14]。
ANCSI 可以將其映射:
Govern
定義:
Aauthorized,
責任、政策與 model lifecycle。
Map
建立:
S,R,Z,C
的風險關係。
Measure
測試:
- model reliability;
- fault response;
- safety violation;
- drift;
- human-AI coordination。
Manage
決定:
- deploy;
- restrict;
- rollback;
- retire;
- redesign。
所以真正問題是:
how to govern autonomy as infrastructure.
48. 法律責任不會因多 AI 而消失
多 AI、多雲與自治可以增加韌性。
但不能把責任寫成:
是 AI 自己決定的。
完整事件至少需要知道:
who authorized the policy,
which system executed,
which model planned,
which safety layer validated,
which evidence existed.
不同法域對 AI、產品、職安、環境、資料、工業安全與公司責任的規則不同,本文不提供特定司法管轄區之法律結論。
本文只提出:
technical accountability requires reconstructable authority.
49. Policy Conflict Resolution
若:
PA
要求:
maximize compute throughput
而:
PB
要求:
minimize grid peak
則需要明確 priority / objective structure。
例如:
Safety>Legal>Containment>Mission Critical>Availability>Performance>Efficiency.
這只是示例。
真正順序依組織與場景設定。
重點是:
priority must be explicit before conflict occurs.
50. Safety Priority 不應由 Reward Model 隱式學出
如果 critical control 只使用:
R(a,s)
作為 reward:
a∗=aargmaxR(a,s),
可能讓 safety 變成一個可交易 penalty。
但某些 constraint 應是:
gi(a,s)≤0.
如果違反:
a∈/A.
所以:
hard constraints=large negative rewards.
這是 AI-native physical control 的基本分界。
51. Runtime Assurance
本文採用一般化的 runtime-assurance 思路:
高性能 controller:
πAI
提出行動。
Safety monitor:
Ms
檢查 trajectory。
如果預測:
xt+Δt∈/Xsafe,
則切換:
πAI→πbackup.
因此:
advanced autonomy may operate only while runtime evidence remains acceptable.
這比假設 AI 永遠可靠更實際。
52. Confidence 不等於 Authority
AI 可能輸出:
p=0.99.
但:
p
高不代表可以做高風險動作。
authority 應取決於:
{qualification,state,policy,risk class},
而不是只看:
model confidence.
所以:
confidence is evidence; authority is governance.
53. Model Drift 與 Environment Drift
AI 在 critical infrastructure 中不只會 model drift。
真實設備也會:
- pump aging;
- valve wear;
- sensor drift;
- coolant change;
- thermal fouling;
- robot wear。
因此:
Mworld(t)
本身會變。
需要:
continuous validity monitoring.
若 system state 超出:
Dvalidated,
則 autonomy level 應下降:
Lauto↓.
NIST 2026 Critical Infrastructure AI profile concept note也明確提及監測系統是否進入 verified regions of validity 之外 [6]。
54. Autonomy Level 應是動態狀態
定義:
LA∈{0,1,2,3,4}.
例如:
LA=0
advisory only。
LA=1
execute low-risk actions。
LA=2
normal bounded autonomy。
LA=3
expanded site autonomy。
LA=4
pre-authorized emergency autonomy。
但:
LA=4
不是最大自由。
它反而通常只允許:
Aprotective.
所以 autonomy level 與 action breadth 不必單調增加。
55. Human Attention 也必須被排程
如果 AI 每秒產生:
105
alarms,人類 supervision 等於不存在。
所以:
human attention is a scarce resource.
系統應對事件:
ei
計算:
priority(ei)=f(risk,novelty,uncertainty,irreversibility).
只有真正需要人類的事件才升級。
這也是 AI 原生治理與傳統 alarm wall 的重要差別。
56. Alarm 不應只是「異常」
高品質 escalation 應包含:
- 發生什麼;
- 根據什麼證據;
- 目前風險;
- AI 已經做什麼;
- 還有哪些 option;
- decision deadline;
- 不處理會怎樣。
例如:
Event:
Zone-C thermal degradation
Evidence:
flow sensor A/B agree
outlet temperature rising
pump efficiency model deviation +18%
Actions already taken:
workload reduced 22%
cold reserve dispatched 1.6 MW
Decision required:
authorize migration to Zone-D
Deadline:
96 s
Fallback:
controlled shutdown of Cluster-C
這才是:
human-supervisable autonomy.
57. AI-to-AI Escalation
有些事件不需直接找人類。
Local AI 可以先:
L2→L3.
Site AI 再:
L3→L4.
只有:
ρ>ρhuman
或:
policy ambiguity=1
才:
L4→L5.
因此 governance 本身也是分層 queue。
58. 事故後不是只有 Log Review
重大 incident 應產生:
Counterfactual Replay.
使用:
- digital twin;
- original sensor stream;
- exact policy version;
- exact model version;
重新問:
如果採用 action B,而不是 action A,會發生什麼?
這讓 incident analysis 從:
what happened
提升到:
what alternatives existed.
但 counterfactual simulation 仍是模型結果,不應被誤認為歷史事實。
59. Governance Digital Twin
除了 plant digital twin,還可以建立:
Governance Digital Twin.
模擬:
- policy;
- authority;
- network partition;
- model failure;
- human delay;
- correlated AI error;
- cyberattack。
例如注入:
Fcloud−A=0
看:
Aremaining
是否仍可維持安全。
這讓治理 architecture 本身可以被壓力測試。
60. 第一階段原型:單場區三層控制
最小原型:
L1
deterministic thermal controller。
L2
Local AI。
L3
Site AI。
測試:
- normal operation;
- sensor drift;
- pump failure;
- valve stuck;
- AI unavailable;
- site AI unavailable;
- conflicting intent;
- emergency state。
指標:
Nsafety violation,
τresponse,
Nunnecessary shutdown,
Ccompute loss.
61. 第二階段:Multi-AI Supervision
加入:
AIA,AIB,AIC.
但給不同:
例如:
AI-A
resource optimizer。
AI-B
independent safety critic。
AI-C
digital-twin counterfactual evaluator。
比較:
single AI
與:
heterogeneous supervisory AI.
不是比較誰「更聰明」,而是:
Pundetected error.
62. 第三階段:Multi-Cloud Partition Tests
建立:
CloudA,CloudB,Site.
故意:
- disconnect Cloud-A;
- corrupt stale policy;
- introduce latency;
- split network;
- revoke credential;
- replay old intent。
驗證:
site remains safe and policy-consistent.
63. 第四階段:Human Governance Experiment
建立 operator team。
比較:
Mode A
人類批准所有 action。
Mode B
AI 自動執行 low-risk,人工批准 high-risk。
Mode C
bounded AI autonomy + exception-based human supervision。
測量:
τresponse,
Nhuman interventions,
Nmissed event,
operator cognitive load.
只有證據證明 Mode C 更好,才有資格擴張 autonomy。
64. 第五階段:Emergency Sovereignty Test
故意切斷:
WAN.
同時注入:
physical fault.
測試:
L2+L1+L0
能否:
- detect;
- isolate;
- degrade;
- preserve evidence;
- wait for reconnection;
而不需要 remote command。
這是 ANCSI local autonomy 最關鍵的實驗之一。
65. 評估指標
65.1 Safety Violation Rate
RS=ToperationNsafety violation.
65.2 Mean Protective Response Time
τP=E[tprotect−tfault].
65.3 Unnecessary Intervention Rate
RU=NeventsNunnecessary protective action.
65.4 Local Survivability Time
TL=safe autonomous duration under WAN loss.
65.5 Authority Violation Count
NA=N(a∈/Aauthorized).
理想:
NA=0.
65.6 Audit Completeness
CA=Ncritical eventsNreconstructable critical events.
65.7 Graceful Degradation Score
比較 fault 前後:
ΔC
與:
ΔRS.
理想是:
capability declines
而:
safety remains.
65.8 Human Attention Load
HL=unit timehuman-review events.
不能以:
HL→0
為唯一目標。
應找:
HL∗
使關鍵事件被注意且不造成 alarm overload。
66. 可證偽命題
H1 — Layered Authority Hypothesis
對大型 AI-controlled cyber-physical plant:
layered authority
相較:
single-controller authority
可降低 single-point-of-failure risk,而不造成不可接受的 control latency。
H2 — Local Autonomy Hypothesis
當:
τfault<τremote,
預先授權 Local AI 的 protective autonomy 可降低 fault impact。
H3 — Intent-over-Actuation Hypothesis
remote system 傳送:
intent
而 local system 執行:
actuation
比 remote direct actuator control 具有更高 network-fault resilience。
H4 — Heterogeneous Oversight Hypothesis
異質:
AIA,AIB,…
的 supervisory architecture 可降低單模型 failure mode 的 undetected propagation。
若 error correlation 仍極高,該命題被削弱。
H5 — Authority-Envelope Hypothesis
顯式:
Aauthorized
比傳統 role-based static permission 更適合管理 state-dependent physical autonomy。
H6 — Emergency Sovereignty Hypothesis
在明確 emergency envelope 與 deterministic safety kernel 下,現場 AI 無需遠端批准的 protective action,可提高 response speed 且不顯著提高 unsafe action rate。
H7 — Human Exception-Supervision Hypothesis
在高頻 cyber-physical operations 中:
exception-based human supervision
可比:
human approval for every action
降低 cognitive load 與 response delay,同時保持或改善安全性。
H8 — Multi-Cloud Resilience Hypothesis
multi-cloud supervisory architecture 在 provider outage / regional failure 下可提高 governance continuity,但僅在 identity、policy、network 與 execution layer 不共享單一 common-mode dependency 時成立。
67. 反例與失敗條件
67.1 Local AI 不可靠
若:
Punsafe action
無法壓到可接受範圍,Local AI 不應取得執行權。
67.2 Safety Kernel 過度簡化
如果 safe envelope 本身錯誤:
Xsafe
可能是假安全。
因此 deterministic 不代表 correct。
67.3 Multi-AI 協調成本過高
如果:
τconsensus
過長,federation 只能留在較慢決策層。
67.4 Human supervision 變成 rubber stamp
若人類收到太多 AI 建議:
Nreview↑,
可能形成 automation complacency。
所以 escalation 必須稀疏且高資訊量。
67.5 Policy 過度複雜
若:
∣P∣
過大到無法驗證,governance system 本身成為故障源。
67.6 Common-mode dependency
如果:
CloudA,CloudB
實際共享:
- DNS;
- identity;
- networking;
- software supply chain;
multi-cloud resiliency 可能只是表面。
68. 安全原則總結
Principle 1 — Physics First
physical safety>AI optimization.
Principle 2 — Local First for Fast Events
τfault↓⇒dauthority↓.
Principle 3 — Intent, Not Remote Micromanagement
remote intelligence 提供:
intent / constraints.
local control 執行:
actuation.
Principle 4 — No AI May Disable Fundamental Protection
AI⇒remove hard safety.
Principle 5 — Authority Is Explicit and Versioned
A=A(S,P,M,I).
Principle 6 — Loss of Connectivity Contracts Authority
CWAN↓⇒Anonessential↓.
Principle 7 — Evidence Follows Action
每個重大 action 都產生:
Et.
Principle 8 — Consensus Is Not Physics
多數決不能改寫安全極限。
Principle 9 — Humans Govern Exceptions and Policy
人類重點不是頻繁 actuator control。
Principle 10 — Autonomy Must Be Reversible Where Possible
低風險 action 優先:
reversible.
不可逆 action 提高 authority threshold。
69. 與前五篇的統合
目前 ANCSI 已形成:
ANCSI-01:AI-native habitat
ANCSI-02:programmable thermodynamic field
ANCSI-03:compute-driven thermal infrastructure
ANCSI-04:multi-medium transport graph
ANCSI-05:thermal cascade and exergy routing
而本文加入:
ANCSI-06:authority architecture.
因此目前完整鏈條成為:
Intent→Authority→Plan→Validation→Physical Action→Evidence.
70. 與 ANCSI-07 的銜接
控制與治理架構完成後,下一個問題變成:
如果日常操作已經由 AI、機器人與自治系統完成,那麼科研空間本身還需不需要以人類常態進入為主要設計條件?
因此 ANCSI-07 將進入:
Machine-Native Scientific Production Zones.
其核心將包括:
- Human Zone;
- Human-Serviceable Zone;
- Machine-Native Zone;
- Restricted Research Zone;
- No-Routine-Human-Entry Zone;
- robotic maintainability;
- AI embodiment;
- human-safe recovery mode。
71. 結論
AI 原生計算—科研基礎設施若真正成立,其安全與治理問題不能被簡化成:
要不要讓 AI 自己控制?
真正問題是:
如何把自主權切割成可驗證、可追溯、可收縮、可降級的權限結構?
本文提出的答案不是完全自治,也不是完全人工控制。
而是:
bounded local autonomy+deterministic safety+federated supervision+human-AI governance.
在此架構中:
- passive physics 提供最後防線;
- deterministic safety systems 定義不可突破的安全邊界;
- Local AI 管理毫秒至秒級、需要高度現場 context 的事件;
- Site AI 管理全場資源;
- 多雲與多 AI 提供監督、冗餘與長時間尺度最佳化;
- 人類負責制度、責任、法律、價值、政策與不可逆決策;
- 每一次重大行動都保留完整 evidence chain。
NIST 2026 年正在開發的 Trustworthy AI in Critical Infrastructure Profile 已直接把 autonomous robots、deterministic fail-safe controllers、distributed data-center digital twins、graceful degradation 與 human-supervised compliance systems 列入 critical-infrastructure AI 的代表性方向 [6]。
IEC 62443 已要求 industrial control system 依 zones and conduits 進行風險分區與 security-level 設計 [10]。
IEC 61511 則建立 safety instrumented systems 的 lifecycle 與 process safe-state 思維 [4][5]。
ANCSI-06 的新命題,是把這些原本分散在:
OT security,
functional safety,
AI governance,
distributed systems
中的原則統合成一個 AI 原生物理設施的控制憲法。
其最終原則可以壓縮為:
the closer a decision is to fast physical reality, the more local its execution must be;
同時:
the broader and more irreversible a decision is, the more distributed its governance must become.
所以未來真正成熟的 AI-native plant 不會是一個中央超級 AI 控制所有東西。
它更可能是一個:
distributed society of constrained machine authorities
而在它們之下,仍然存在不講道理、不參與投票、不接受 prompt 的東西:
physics and safety constraints.
參考文獻
[1] Stouffer, K., Pease, M., Tang, C., et al. (2023). NIST SP 800-82 Rev. 3: Guide to Operational Technology (OT) Security. National Institute of Standards and Technology.
https://doi.org/10.6028/NIST.SP.800-82r3
[2] Stouffer, K., Pease, M., Tang, C., et al. (2026). NIST SP 800-82 Rev. 4 Initial Public Draft: Guide to Operational Technology (OT) Security. Published September 21, 2026.
https://doi.org/10.6028/NIST.SP.800-82r4.ipd
[3] National Institute of Standards and Technology. (2026). Guide to Operational Technology (OT) Security: NIST Requests Comments on Draft SP 800-82r4.
https://www.nist.gov/news-events/news/2026/09/guide-operational-technology-ot-security-nist-requests-comments-draft-sp
[4] IEC. (2016/2017). IEC 61511-1: Functional safety — Safety instrumented systems for the process industry sector — Part 1.
https://webstore.iec.ch/en/publication/61289
[5] IEC. (2018). IEC TR 61511-0: Functional safety for the process industry and IEC 61511.
https://webstore.iec.ch/en/publication/60766
[6] Sheh, R., & Stanley, M. / NIST. (2026). Concept Note: Artificial Intelligence Risk Management Framework — Trustworthy AI in Critical Infrastructure Profile.
https://www.nist.gov/programs-projects/concept-note-ai-rmf-profile-trustworthy-ai-critical-infrastructure
[7] Rose, S., Borchert, O., Mitchell, S., & Connelly, S. (2020). NIST SP 800-207: Zero Trust Architecture.
https://doi.org/10.6028/NIST.SP.800-207
[8] National Institute of Standards and Technology. Implementing a Zero Trust Architecture — Architecture and Builds.
https://pages.nist.gov/zero-trust-architecture/VolumeB/architecture.html
[9] Chandramouli, R., & Butcher, Z. (2023). NIST SP 800-207A: A Zero Trust Architecture Model for Access Control in Cloud-Native Applications in Multi-Cloud Environments.
https://csrc.nist.gov/pubs/sp/800/207/a/final
[10] IEC. (2020). IEC 62443-3-2: Security for industrial automation and control systems — Part 3-2: Security risk assessment for system design.
https://webstore.iec.ch/en/publication/30727
[11] Cybersecurity and Infrastructure Security Agency. Layering Network Security Through Segmentation.
https://www.cisa.gov/sites/default/files/publications/layering-network-security-segmentation_infographic_508_0.pdf
[12] CISA and Partners. (2025). Secure by Demand: Priority Considerations for Operational Technology Owners and Operators when Selecting Digital Products.
https://www.cisa.gov/sites/default/files/2025-01/joint-guide-secure-by-demand-priority-considerations-for-ot-owners-and-operators-508c.pdf
[13] National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework.
https://www.nist.gov/itl/ai-risk-management-framework
[14] National Institute of Standards and Technology. NIST AI RMF Playbook.
https://www.nist.gov/itl/ai-risk-management-framework/nist-ai-rmf-playbook
文件狀態
本文為 ANCSI 系列第六篇公開命題稿 v0.1。
本文所有數學原始碼僅使用 $...$ 與 $$...$$ 作為 canonical delimiter。本文不依賴作者其他私人理論;Authority Envelope、Emergency Sovereignty、Intent-over-Actuation、Federated Supervisory Control、Heterogeneous Oversight、Physical Capability Token、Governance Digital Twin 與動態 Autonomy Level 均屬由現有 OT security、functional safety、zero-trust architecture、AI risk management 與 distributed-systems 原則向前推導之待驗證工程命題。本文不構成任何特定司法管轄區之法律意見。