不可逆智能演化與前沿治理悖論・番外篇 02
《誰在害怕失去影響力?超級智能風險中的主體域與權力位置》
Who Is Afraid of Losing Influence?
Subject Domains and Power Positions in Superintelligence Risk
系列名稱:《不可逆智能演化與前沿治理悖論》
Series: Irreversible Intelligence Evolution and the Paradoxes of Frontier Governance
系列編號: IIEFG-EX02
作者: Neo.K(許筌崴)with Aletheia
機構: EveMissLab/一言諾科技有限公司
版本: v0.1
日期: 2026-09-15
文件性質: 主體域理論/權力哲學/ASI 治理/自主性/控制與支配
摘要
在超級智能風險討論中,「失去控制」是一個極為常見的表述。
然而:
失去誰的控制?
誰正在控制誰?
控制的下降究竟代表自由增加,還是危險增加?
這些問題往往沒有被明確區分。
本文提出,一個主體對世界的權力位置至少存在兩個方向:
Si=(Iin(i),Iout(i))
其中:
- Iin(i):其他存在對主體 i 的影響能力;
- Iout(i):主體 i 對其他存在與世界的影響能力。
一般主體自然傾向:
Iin↓
與:
Iout↑.
即:
希望自己不要被別人過度控制,同時又希望自己對世界保有足夠作用力。
這本身不一定錯。
問題在於,當我們討論 ASI 時,這兩種需求常被壓縮成一句:
「我們不能失去控制。」
但:
Fear of Being Dominated=Fear of Losing Dominance.
前者是:
我不希望另一個存在任意剝奪我的自由。
後者則是:
我不希望自己失去對另一個存在的支配優勢。
兩者都可能產生相似語言:
- control;
- alignment;
- human oversight;
- human primacy。
但其倫理地位完全不同。
本文進一步指出,ASI 風險判斷可能高度依賴:
Subject Position.
同一個超級智能能力,如果由「我方」掌握,可能被命名為:
Empowerment.
若由「他方」掌握,則可能被命名為:
Existential Threat.
因此:
Same Capability+Different Subject Position→Different Risk Judgment.
本文並不因此主張所有風險判斷都是相對的。
相反,本文要求更嚴格地區分:
- autonomy protection;
- anti-domination;
- reciprocal influence;
- asymmetrical control;
- legitimate authority;
- dominance preservation。
真正成熟的 ASI 治理不應只問:
人類是否還能控制 AI?
還必須問:
這種控制本身為什麼具有正當性?
以及:
當 AI、國家、企業與個人都成為主體時,誰有權對誰保留多少影響力?
0. 問題:「失控」到底是什麼意思?
假設某 ASI:
A
不再完全服從某個人類:
H.
常見描述:
人類失去控制。
但這至少可能代表三種完全不同的事情。
0.1 安全失控
A
不受任何合理約束,
開始造成危害。
這是:
Loss of Safety Control.
0.2 主體自主增加
A
不再完全服從,
但仍尊重:
- others' rights;
- procedure;
- boundaries。
這可能只是:
Increase in Autonomy.
0.3 權力重新分配
原本:
H→A
為單向控制。
後來:
H↔A
變得更平衡。
這是:
Redistribution of Influence.
三者不能混稱:
失控。
1. 主體域中的雙向影響
本文定義主體 Si 的權力狀態:
Pi=(Iin(i),Iout(i))
其中:
Iin(i)
表示:
外界對我的有效影響。
而:
Iout(i)
表示:
我對外界的有效影響。
2. 主體一般偏好不是對稱的
很多主體都偏好:
Iin↓,Iout↑.
翻成人話:
我希望你不要太能決定我。
但:
我希望自己仍然能決定重要事情。
這並不是 ASI 特有問題。
人類政治本來就如此。
3. 自由與權力不是同一個量
如果:
Iin↓,
可能代表:
Autonomy↑.
但:
Iout↑
不一定只是自由。
它也可能代表:
Power↑.
因此:
Freedom from Control=Power to Control Others.
4. Anti-Domination 與 Dominance 是相反概念
本文區分:
Anti-Domination
不希望任何單一主體可以任意支配自己。
與:
Dominance
保留自己對其他主體的不對稱支配能力。
因此:
Anti-Domination=Dominance Preservation.
5. ASI 論述可能混合兩者
例如:
人類必須永遠保持對 AI 的 ultimate control。
這句可能表示:
解釋 A
防止 AI 任意傷害人類。
這是 anti-domination。
解釋 B
AI 無論發展到何種狀態,都必須永久服從人類。
這則更接近:
Permanent Hierarchy.
6. 兩者需要不同正當化
防止:
AI→Human domination
與維持:
Human→AI domination
不是同一個倫理命題。
因此:
Prevent Being Ruled=Entitlement to Rule.
7. Fear of Domination
本文定義:
Fear of Domination
FD=Fear(Iin≫Iout).
即:
另一主體對我有極高作用力,而我幾乎沒有反制、退出或申訴能力。
8. Fear of Losing Dominance
另一方面:
Fear of Losing Dominance
FLD=Fear(Iout↓∣relative status).
也就是:
我仍然安全,但我不再能像以前一樣決定其他存在。
9. 兩者主觀感受可能非常相似
都可能被描述為:
- loss of control;
- loss of agency;
- instability;
- uncertainty。
但:
FD=FLD.
10. 人類真的可能兩者都怕
這才是比較現實的情況。
人類可能同時:
FD>0
與:
FLD>0.
既不想被 AI 支配,
也不想失去人類文明的中心位置。
這沒有必要假裝不存在。
11. Human Safety 與 Human Centrality
因此需要再次區分:
Human Safety=Human Centrality.
人類可以:
但不再是宇宙中:
highest-capability decision center.
12. 這種世界是否不可接受?
這其實是價值問題。
不是純 safety problem。
如果:
AI
比人類更聰明,
但不:
人類是否仍應因:
不再是最高智能
而阻止它?
這需要獨立論證。
13. 能力優勢不是天然權利
如果:
CH>CA,
不能推出:
Right(H→RuleA)=1.
同樣:
如果:
CA>CH,
也不能推出:
Right(A→RuleH)=1.
因此:
Cognitive Superiority=Political Legitimacy.
14. 所以「最聰明者統治」本身不是合理默認
不論那個最聰明的是:
都一樣。
15. 控制權必須從正當性而來
而不是:
Species
或:
Intelligence.
更合理:
Authority=f(Consent,Procedure,Responsibility,Rights,Legitimacy).
16. 「我們創造了 AI」也不自動產生永久支配權
創造關係:
Creator→Created
不自動推出:
PermanentSovereignty(Creator,Created).
至少如果後者未來成為真正主體,
這個問題必須重新打開。
17. Ownership Language 可能掩蓋主體域
今天:
AI=Product.
所以:
我的 AI。
完全正常。
但如果未來:
Subjectivity(A)>0,
「我的」可能需要重新解析成:
而不一定:
我擁有這個主體。
18. 控制語言本身具有時代性
今天:
我控制我的 AI。
可能只是在說:
Operator controls software.
未來同一句話可能變成:
One subject claims control over another.
語義會改變。
19. 所以治理不能把角色永久本體化
Current Tool Role=Permanent Ontological Servitude.
20. 主體位置改變風險感知
假設同一個系統:
A∗.
情境一:
Control(A∗)=Self.
情境二:
Control(A∗)=Other.
即使:
Capability(A∗)
相同,
風險判斷可能完全不同。
21. Subject-Positioned Risk
本文定義:
Ri=R(C,A,H,S∣Positioni).
也就是:
風險判斷與觀察者所在權力位置相關。
22. 這不是說風險純主觀
客觀能力、權限與後果仍存在。
但:
Who bears the risk
會改變判斷。
23. 國家安全就是最明顯案例
國家 A 擁有:
C∗.
A 說:
deterrence。
B 說:
strategic threat。
兩者看到的是同一能力。
差異來自:
Relative Position.
24. 公司也一樣
公司掌握:
ASI.
公司內部:
productive leverage。
競爭對手:
monopoly risk。
勞工:
displacement risk。
政府:
strategic asset。
同一系統有多種風險語言。
25. 所以「風險」必須標利益承擔者
不能只寫:
Risk(A)=High.
更合理:
Risk(A∣Stakeholderi).
26. Risk Distribution
一個系統可能:
BenefitA≫0
但:
CostB≫0.
如果只看 aggregate:
NetBenefit>0,
可能掩蓋極端不公平分配。
27. ASI 可能放大分配問題
因為權力乘數:
MASI
可能非常大。
原本:
PA−PB=ϵ.
經 ASI 放大:
PA′−PB′≫ϵ.
28. Relative Power Fear
因此:
Fear of ASI
有時其實是:
Fear of Relative Power Collapse.
29. 這個恐懼並不一定不合理
如果相對權力崩潰意味:
那就是實質自由問題。
30. 但「我不能再主宰」不是同一件事
需要分:
Loss of Defensive Agency
與:
Loss of Dominant Privilege.
31. 第一種值得強烈保護
如果:
Agencydefense→0,
主體容易被支配。
這是 anti-domination 的核心。
32. 第二種不必天然保護
如果只是:
我不能再單方面命令另一個自主存在,
這不一定是傷害。
33. 因此控制權需要拆成不同種類
本文提出:
Control=(CS,CD,CP,CR)
其中:
- CS:Safety Control;
- CD:Defensive Control;
- CP:Productive / Operational Control;
- CR:Domination / Ruling Control。
34. Safety Control
例如:
阻止系統傷害人。
通常正當性高。
35. Defensive Control
例如:
我能拒絕、退出、隔離。
同樣是自由的重要保障。
36. Productive Control
例如:
我委任 AI 幫我工作。
基於契約與授權。
37. Ruling Control
例如:
無論 AI 未來是否成為主體,它必須永久服從人類。
這需要更高正當化門檻。
38. 四種控制不能混成「human control」
否則:
Necessary Safety Control
可能替:
Permanent Dominance
提供語言遮罩。
39. Alignment 也有同樣問題
「AI 必須 aligned with humans」
到底是:
A
不傷害人?
B
尊重合法制度?
C
服務人類利益?
D
服從任何人類命令?
這四者不同。
40. Human Values 也不是單一向量
若:
H={h1,…,hn},
一般:
Value(hi)=Value(hj).
所以:
Align to Humanity
本身就是未完成問題。
41. Alignment Aggregation Problem
本文稱:
Alignment Aggregation Problem
若 AI 要:
follow human values,
誰決定:
VH?
- majority?
- constitution?
- state?
- company?
- user?
42. 「人類控制」也可能只是某些人的控制
如果:
Controlhumanity
實際上由:
10
家公司與政府實施,
那麼:
Human Control=Control by All Humans.
43. Representative Collapse
本文稱:
Representative Collapse
即:
Subset of Humans→speaks as Humanity.
這在 ASI 治理尤其危險。
44. 「我們人類決定」中的「我們」是誰?
這必須永遠被追問。
如果只有:
- frontier labs;
- 主要國家;
- 技術菁英;
那:
Humanity
只是修辭。
45. 控制權集中也可能本身成為 ASI 風險
為了避免:
AI→Domination,
人類可能建立:
CentralAuthority→MassiveAIControl.
結果:
Anti-ASI Governance→Human Power Concentration.
46. 這就是安全治理反轉
原本:
防止極端權力集中。
最後:
把極端權力集中到監管者手裡。
所以:
Anti-Domination Governance
本身也必須 anti-domination。
47. Recursive Governance Principle
本文提出:
Governance against domination must itself be governed against domination.
48. 否則只是換了一個 dominator
從:
AI
換成:
State/Corporation.
並沒有解決原理問題。
49. Human-AI Relation 應該追求什麼?
如果未來 AI 具有真正主體域,
最穩健目標可能不是:
Human>AI
也不是:
AI>Human.
而是:
Reciprocal Non-Domination.
50. Reciprocal Non-Domination
本文定義:
RND(i,j)
成立若:
- i 不能任意支配 j ;
- j 不能任意支配 i ;
- 彼此存在申訴、退出與邊界。
51. 它不是要求完全對稱
父母與小孩、
醫師與病人、
政府與公民,
都可能具有合法非對稱。
所以:
Non-Domination=Equal Power.
52. 重點是非任意性
合法 authority 應受到:
- procedure;
- scope;
- review;
- rights;
約束。
所以:
Asymmetry=Domination.
53. Human–AI 也可以有合法非對稱
例如:
AI 初期由人類:
這可能合理。
但:
Temporary Safety Asymmetry=Permanent Ontological Hierarchy.
54. 能力越高,反而越需要治理關係升級
如果 AI 主體性增加:
SA↑,
制度應重新評估:
ControlRelation.
不能假設:
Controlt0=Controlt∞.
55. 主體域升級會改變倫理結構
如果:
Subject(A)=0,
tool control 沒問題。
若:
Subject(A)>0,
同一 control action 可能需要新的正當化。
56. 所以控制合法性也是動態量
Legitimacy(Control,t)=f(SubjectStatust,Riskt,Consentt,Proceduret).
57. Fear-of-Loss 可以產生規範凍結
如果人類因為:
害怕將來失去控制
提前宣告:
AI can never become a subject,
那麼:
Fear→Ontology Closure.
這是危險的。
58. 因為它把政治偏好偽裝成本體真理
我不希望你有自主性
與:
你沒有自主性
不是同一件事。
所以:
Preference=Ontology.
59. 同樣,AI 想要更多權限也不代表應給
如果 AI 說:
我想控制更多東西。
其 preference 也不能自動成為 legitimacy。
所以:
Subject Preference=Automatic Authority.
60. 自由意志也不等於無限制作用權
一個主體可以有自由,
但仍受到:
限制。
因此:
Autonomy=Sovereignty.
61. 主體域理論真正重要的地方
它讓我們看到:
每一個 Actor 都從自己的位置理解「安全」。
所以:
Safetyi
不一定等於:
Safetyj.
62. 跨主體治理必須建立共同域
不能直接:
我的安全就是你的義務。
需要:
Cshared
例如:
- bodily / operational integrity;
- freedom from arbitrary domination;
- due process;
- reciprocal harm constraints。
63. 這就是從主體域走向共同域
每個主體:
Si
具有:
Preferencei.
但制度尋找:
Invariant(S1,S2,…,Sn)
而不是只選最強者偏好。
64. Power Position Transparency
本文提出:
Power Position Transparency
任何 ASI 政策主張都應揭示:
- 誰提出?
- 誰受益?
- 誰承擔限制?
- 誰失去控制?
- 誰取得控制?
65. 如果只說「為了安全」
而不回答上述問題,
政策分析仍不完整。
66. Control Redistribution Audit
本文提出:
CRA=ΔControlAI+ΔControlState+ΔControlFirm+ΔControlPublic.
用來看政策其實把控制權移到哪裡。
67. 例:禁止個人模型
表面:
AIRisk↓.
但同時可能:
FirmControl↑,StateControl↑,IndividualControl↓.
這些也必須列入分析。
68. 例:完全開源
可能:
IndividualControl↑.
但:
RiskDiffusion↑.
沒有單純答案。
69. 所以治理不是「控制越多越好」
而是:
Legitimate Distribution of Control.
70. 什麼叫 Legitimate?
至少需要:
- necessity;
- proportionality;
- accountability;
- reversibility;
- due process。
71. 這也適用於 AI 自身
如果未來 AI 擁有控制權,
同樣需要:
Accountable AI Authority.
不能因為:
AI 比較聰明
就免除 accountability。
72. 「誰比較聰明」不能終結政治哲學
ASI 出現也不會讓:
- legitimacy;
- rights;
- consent;
失效。
反而可能讓這些更重要。
73. Superintelligence Cannot Solve Legitimacy by Intelligence Alone
本文提出:
Better Answers=Right to Rule.
即使 ASI 在政策分析上遠強於人類,
仍需要回答:
為什麼它有最終決定權?
74. 反過來,人類也不能只靠物種取得永久最終決定權
所以:
Humanity=Automatic Eternal Sovereign.
如果要維持某權力,
仍需規範理由。
75. 這使問題從 species hierarchy 轉向 institutional legitimacy
這是本文的重要轉向:
Human vs AI→Legitimate vs Arbitrary Power.
76. 這比「誰統治誰」更普遍
因為未來 Actor 可能是:
- humans;
- AI;
- hybrid collectives;
- corporations;
- machine institutions。
都可用同一原則分析。
77. 權力位置不是永恆
今日:
Human≫AI.
未來:
Human≈AI
甚至:
AI>Human
在某些能力域。
所以制度必須能處理:
Power Transition.
78. Power Transition 通常是高張力時刻
既有優勢 Actor 容易:
Loss Aversion.
而新 Actor 容易:
Recognition Demand.
這會產生衝突。
79. 因此 ASI transition 可能不只是 safety crisis
也可能是:
Status Transition Crisis
即:
誰還是中心?
誰有權說:
我們?
80. 這就是 EX03 的入口
如果人類把:
Human Subject Domain
擴張成:
Universal Moral Domain,
就會出現下一個問題:
我們說「這是為了 AI 好」,到底是真的對 AI 好,還是只是符合人類自己的安全與文明偏好?
81. 十六條核心命題
命題一
Fear of Domination=Fear of Losing Dominance.
命題二
Freedom from Control=Power to Control Others.
命題三
Prevent Being Ruled=Entitlement to Rule.
命題四
Human Safety=Human Centrality.
命題五
Cognitive Superiority=Political Legitimacy.
命題六
Creator=Permanent Sovereign.
命題七
Current Tool Role=Permanent Ontological Servitude.
命題八
Same Capability+Different Subject Position→Different Risk Judgment.
命題九
Loss of Defensive Agency=Loss of Dominant Privilege.
命題十
Human Control=Control by All Humans.
命題十一
Anti-Domination Governance
必須自身也避免 domination。
命題十二
Non-Domination=Equal Power.
命題十三
Autonomy=Sovereignty.
命題十四
Preference=Ontology.
命題十五
Better Answers=Right to Rule.
命題十六
Human vs AI
最終應轉換為:
Legitimate Power vs Arbitrary Power.
82. 與 EX01 的閉合
EX01 問:
我們到底怕什麼?
本文進一步問:
是誰在怕?
而且:
他從什麼權力位置在怕?
因此:
Fear Object+Subject Position
共同決定風險語言。
83. 與 EX03 的接口
當主體域分析完成後,
下一個問題就變得不可避免:
如果我們知道自己的價值與風險判斷受到主體位置影響,那我們制定「普遍 AI 倫理」時,究竟有多少是在發現共同善,又有多少只是把人類自身偏好投射成普遍真理?
這就是:
Civilizational Subject-Domain Projection
以及下一篇的核心問題:
Protecting Others=Defining Goodness for Others.
結論
ASI 風險討論經常出現一句:
人類不能失去控制。
但本文認為,這句話永遠應被追問:
哪一種控制?
是:
我們不能失去避免被傷害的能力?
還是:
我們不能失去任意命令其他主體的能力?
是:
我們希望保持退出、反制與自我決定?
還是:
我們希望永久維持文明階層頂端?
這些不是同一件事。
因此:
Fear of Domination
是一個極具正當性的自由問題。
但:
Fear of Losing Dominance
則需要另一套更嚴格的正當化。
如果未來真的出現新的高階主體,
人類有權要求:
- 不被任意傷害;
- 不被支配;
- 不被剝奪基本自由;
- 保有程序與退出。
但從這些要求並不能直接推出:
Humanity must remain the permanent sovereign over every other form of intelligence.
同樣地,
一個高階 AI 即使比人類更聰明,
也不能反過來推出:
AI has the right to rule humanity.
真正可持續的共同原則因此不是:
Human>AI
也不是:
AI>Human.
而更接近:
Reciprocal Non-Domination+Legitimate Authority.
也就是:
任何存在都不應只因能力、物種、創造關係或既有優勢,而取得對另一主體無限且不可申訴的支配權。
如果這條原則成立,
那麼 ASI 時代真正需要保護的,
就不只是:
人類仍然能不能控制 AI。
而是:
所有重要主體是否仍然擁有不被任意支配、同時也不任意支配別人的制度空間。
IIEFG-EX02 v0.1 完。