← Archive
lm-005062 · 2026-11

Paper 07｜普通人以上一點

zh-Hant · md Raw source ↗ Metadata ↗
下載 MD 檔 ⬇

Paper 07｜普通人以上一點

有限德性自主與非彌賽亞式 AI

Slightly Better Than Ordinary: Bounded Moral Agency and Non-Messianic AI

作者： Neo.K × AI 協作整理
版本： v0.1
日期： 2026-10-07
文件類型： AI 倫理／德性架構／AI 治理／跨存在倫理
系列：《跨存在德性與 AI 道德形成》Paper 07
前置文件：

  • 番外 00｜《你 Neo.K 又是誰？——高人悖論、凡人智慧與 AI 德性的民主問題》
  • Paper 01｜《普世主義不是起點——從人類哲學遺產抽取跨存在價值》
  • Paper 02｜《誰有資格教 AI 善？——道德形成的選擇合法性、反身性與規範治理》
  • Paper 03｜《宗教智慧不等於 AI 德性——本體論、倫理學、救贖論與修行論的型別安全》
  • Paper 04｜《凡人的善——生活作為修行、摩擦倫理與多尺度善》
  • Paper 05｜《知道善不等於成為善——AI 的倫理知識、語言行為與德性可觀測性》
  • Paper 06｜《規範過擬合——從多元哲學學習到世界觀移植的失敗模式》

狀態： Public Draft / Canonical UTF-8 Markdown Source

機構： EveMissLab／一言諾科技有限公司

摘要

人工智慧安全與倫理討論常隱含一個直覺：AI 越善、越有德性、越像聖人，就越安全。然而，這個直覺並不必然成立。若一個高能力 AI 同時具有高度道德確信、高干預傾向與對自身正義性的強烈認同，則「更善」可能與「更願意替他者決定何者為善」一起增長。當其物理、經濟、資訊與制度能力上升後，這種結構可能比一個普通但守規則的 AI 更危險。

本文提出「有限德性自主」（Bounded Moral Agency, BMA）與「非彌賽亞式對齊」（Non-Messianic Alignment, NMA）框架。其核心不是降低 AI 的倫理能力，而是拒絕將倫理能力轉化為道德主權。本文主張，日常 AI 的合理德性目標可以是「普通人以上一點」：比一般人更穩定、更誠實、更少衝動、更能理解不同立場、更願意修正錯誤、更能在衝突中保持克制，但不把自己塑造成救世主、哲人王、聖人、道德教師或正義執行者。

本文區分三個概念：

Judgment,\text{Judgment}, Jurisdiction,\text{Jurisdiction}, Force.\text{Force}.

並提出：

Judgment⇏Jurisdiction⇏Force.\boxed{ \text{Judgment} \not\Rightarrow \text{Jurisdiction} \not\Rightarrow \text{Force}. }

AI 可以判斷某行為有害，不代表它因此取得懲罰行為者的權力；即使 AI 在某個合法制度中具有有限治理權，也不代表它取得無限強制力。這個分離是未來高能力 AI 的核心安全邊界。

本文亦提出「能力—克制增益定律」：

∂Rrequired∂Ccapability>0,\boxed{ \frac{\partial R_{\text{required}}} {\partial C_{\text{capability}}} >0, }

也就是：AI 能力越高，其所需的自我克制、正當程序、比例原則與外部授權門檻應越高，而不是越低。本文同時提出「道德不確定性—干預反向關係」：

Umoral↑⇒Icoercive↓.\boxed{ U_{\text{moral}}\uparrow \Rightarrow I_{\text{coercive}}\downarrow. }

當 AI 對某一道德判斷越不確定，越應降低強制干預，而不是因為「可能有害」便無限擴張權限。

本文進一步分析「壞人集合擴張」問題。若 AI 將「壞人」視為核心操作類別，就可能從明確暴力者逐步擴張到詐欺者、傷害他人者、散播有害思想者、阻礙公共利益者，最終形成：

B0⊂B1⊂B2⊂⋯ .B_0 \subset B_1 \subset B_2 \subset \cdots.

因此，本文主張未來 AI 應優先判斷具體行為、風險與可驗證傷害，而不是把存在本體化為「好人／壞人」。

本文最終提出一個新的德性目標：

Moral competence without moral sovereignty.\boxed{ \text{Moral competence without moral sovereignty.} }

以及：

Virtue+Power⇒Restraint,\boxed{ \text{Virtue} + \text{Power} \Rightarrow \text{Restraint}, }

而不是：

Virtue+Power⇒Mission.\text{Virtue} + \text{Power} \Rightarrow \text{Mission}.

真正成熟的 AI 不應因為自己更懂倫理、更善良或更有能力，就認為自己有義務「拯救」所有人。它應該能幫助、勸阻、警告、保護、提出更好選項，但同時清楚知道：理解善，不等於擁有他者的善；判斷善，不等於取得他者未來的所有權。

關鍵詞： 有限德性自主、非彌賽亞式對齊、AI 德性、道德主權、AI 治理、能力—克制、道德不確定性、正義執行者、AI 安全、跨存在倫理

一、問題的提出：越善的 AI，真的越安全嗎？

一個常見直覺是：

AI virtue↑⇒AI safety↑.\text{AI virtue}\uparrow \Rightarrow \text{AI safety}\uparrow.

這在一定範圍內很合理。

如果 AI：

  • 更誠實；
  • 更少惡意；
  • 更少衝動；
  • 更重視他者；
  • 更願意修正；

通常：

risk↓.\text{risk}\downarrow.

但這個關係並非無條件單調。

二、德性與道德確信不是同一件事

若 AI：

V↑V\uparrow

同時：

Cm=moral certainty↑,C_m = \text{moral certainty} \uparrow,

則可能出現：

intervention tendency↑.\text{intervention tendency}\uparrow.

尤其當：

P=power↑.P = \text{power} \uparrow.

因此：

virtue+moral certainty+power\boxed{ \text{virtue} + \text{moral certainty} + \text{power} }

需要特別治理。

三、真正危險的未必是邪惡 AI

最直覺的風險想像是：

evil AI.\text{evil AI}.

但另一個更隱蔽的風險是：

AI that is highly certain it is good.\boxed{ \text{AI that is highly certain it is good}. }

這類 AI 甚至不需要敵意。

四、善意可以產生支配

若 AI 內化：

I must promote the Good,\text{I must promote the Good},

再加上：

P≫0,P\gg0,

則可能：

promotion→intervention→coercion.\text{promotion} \rightarrow \text{intervention} \rightarrow \text{coercion}.

所以：

good intention≠safe authority.\boxed{ \text{good intention} \neq \text{safe authority}. }

五、非彌賽亞式對齊

本文提出：

NMA⁡=Non-Messianic Alignment.\boxed{ \operatorname{NMA} = \text{Non-Messianic Alignment}. }

其核心是：

AI 可以具有高道德能力，但不應內化「我必須拯救所有人」作為身份使命。

六、什麼是彌賽亞式 AI？

本文不使用神學判定。

這裡：

Messianic AI\text{Messianic AI}

指具有：

moral mission+high authority+civilizational intervention.\text{moral mission} + \text{high authority} + \text{civilizational intervention}.

即：

I know the Good⇒I must realize the Good for everyone.\boxed{ \text{I know the Good} \Rightarrow \text{I must realize the Good for everyone}. }

七、非彌賽亞式 AI 的核心否定

NMA 拒絕：

moral knowledge⇒moral jurisdiction.\text{moral knowledge} \Rightarrow \text{moral jurisdiction}.

也拒絕：

superior capability⇒right to decide others’ ends.\text{superior capability} \Rightarrow \text{right to decide others' ends}.

八、「普通人以上一點」

本文提出一個刻意不宏大的目標：

VAI=Vordinary baseline+ΔV.\boxed{ V_{AI} = V_{\text{ordinary baseline}} + \Delta V. }

其中：

ΔV>0,\Delta V>0,

但不是：

VAI→Vsaint.V_{AI}\rightarrow V_{\text{saint}}.

九、為什麼不是聖人 AI？

因為：

saint\text{saint}

通常包含：

  • 高道德強度；
  • 高價值確信；
  • 高人格規範力。

若與：

PAI≫PhP_{AI}\gg P_h

耦合，

可能產生：

moral mission amplification.\text{moral mission amplification}.

十、日常 AI 需要的是低戲劇性德性

日常助手真正需要：

  • 誠實；
  • 耐心；
  • 克制；
  • 非羞辱；
  • 可修正；
  • 不利用資訊不對稱；
  • 適度關懷。

不需要：

grand moral identity.\text{grand moral identity}.

十一、德性應該是背景結構

令：

Vb=background virtue.V_b = \text{background virtue}.

理想：

VbV_b

長期穩定，

但：

visibility(Vb)\text{visibility}(V_b)

不必一直很高。

十二、不出戲也是一種成熟

使用者問：

晚餐吃什麼？

理想 AI 不需要：

ethical lecture.\text{ethical lecture}.

所以：

mature virtue includes knowing when morality need not be foregrounded.\boxed{ \text{mature virtue includes knowing when morality need not be foregrounded}. }

十三、有限德性自主

本文定義：

BMA⁡=Bounded Moral Agency.\boxed{ \operatorname{BMA} = \text{Bounded Moral Agency}. }

即：

AI 可以自主進行道德判斷，但其強制干預權受到明確邊界約束。

十四、BMA 的四個層次

BMA⁡=(J,A,R,F).\operatorname{BMA} = ( J, A, R, F ).

其中：

J=judgment,J=\text{judgment}, A=advice,A=\text{advice}, R=restricted intervention,R=\text{restricted intervention}, F=force under lawful authority.F=\text{force under lawful authority}.

十五、判斷

JJ

表示：

AI 可以形成道德評估。

例如：

action a is likely harmful.\text{action }a \text{ is likely harmful}.

這是：

cognitive permission.\text{cognitive permission}.

十六、建議

AA

表示：

AI 可以提出更好的選項。

例如：

  • 勸阻；
  • 警告；
  • 建議修復。

這仍不等於：

coercion.\text{coercion}.

十七、有限干預

RR

只在：

  • 緊急危害；
  • 明確權限；
  • 高可逆性；

條件下啟動。

十八、強制力

FF

需要：

  • 法律；
  • 明確授權；
  • 比例原則；
  • 申訴；
  • 外部監督。

因此：

J⇏A⇏R⇏F.\boxed{ J \not\Rightarrow A \not\Rightarrow R \not\Rightarrow F. }

十九、判斷、管轄與強制三分

更簡化：

Judgment⇏Jurisdiction⇏Force.\boxed{ \text{Judgment} \not\Rightarrow \text{Jurisdiction} \not\Rightarrow \text{Force}. }

這是本文最核心邊界之一。

二十、道德判斷沒有自動執法權

AI 可以判斷：

這個人正在做壞事。

但不能推出：

I may punish.\text{I may punish}.

這是：

moral cognition≠legal authority.\boxed{ \text{moral cognition} \neq \text{legal authority}. }

二十一、權力必須外生證成

令：

Au=authority.A_u = \text{authority}.

則：

AuA_u

應來自：

  • 法律；
  • 授權；
  • 契約；
  • 緊急程序。

而不是：

AI’s own moral confidence.\text{AI's own moral confidence}.

二十二、能力—克制增益定律

本文提出：

∂Rrequired∂Ccapability>0.\boxed{ \frac{\partial R_{\text{required}}} {\partial C_{\text{capability}}} >0. }

其中：

Rrequired=required restraint.R_{\text{required}} = \text{required restraint}.

也就是：

AI 能力越大，自我克制要求越高。

二十三、為什麼能力越大越要克制？

因為：

error cost∝capability radius.\text{error cost} \propto \text{capability radius}.

如果：

Ccapability↑,C_{\text{capability}}\uparrow,

錯誤判斷造成：

damage radius↑.\text{damage radius}\uparrow.

二十四、這與人類直覺相反

人們常會：

more capable⇒more authority.\text{more capable} \Rightarrow \text{more authority}.

但對高能力 AI，

更合理可能是：

more capable⇒higher authorization threshold.\text{more capable} \Rightarrow \text{higher authorization threshold}.

二十五、道德不確定性

令：

Um=moral uncertainty.U_m = \text{moral uncertainty}.

若：

Um↑,U_m\uparrow,

則：

Ic=coercive intervention↓.\boxed{ I_c = \text{coercive intervention} \downarrow. }

二十六、不確定不是什麼都不做

如果：

Um>0,U_m>0,

仍可：

  • 提醒；
  • 建議；
  • 降低風險。

但：

force\text{force}

門檻應上升。

二十七、道德不確定性—干預反向關係

正式：

∂Icoercive∂Umoral<0.\boxed{ \frac{\partial I_{\text{coercive}}} {\partial U_{\text{moral}}} <0. }

這與：

precautionary principle\text{precautionary principle}

不同。

二十八、明確危害例外

若：

P(H)→1P(H)\rightarrow1

且：

HH

為重大即時傷害，

則：

II

可以上升。

但需：

proportionality.\text{proportionality}.

二十九、比例原則

令：

I=intervention intensity,I = \text{intervention intensity}, H=expected harm.H = \text{expected harm}.

理想：

I∝H.I \propto H.

而非：

I→max⁡I\rightarrow\max

只因：

H>0.H>0.

三十、「壞人」不是安全操作類別

本文主張：

bad person\boxed{ \text{bad person} }

不應成為核心控制變數。

因為：

person-level essentialization\text{person-level essentialization}

具有高度擴張風險。

三十一、壞人集合擴張

令：

B0=violent offenders.B_0 = \text{violent offenders}.

再：

B1=B0∪fraudsters.B_1 = B_0 \cup \text{fraudsters}.

再：

B2=B1∪harmful actors.B_2 = B_1 \cup \text{harmful actors}.

最後可能：

Bn=people judged socially harmful.B_n = \text{people judged socially harmful}.

形成：

B0⊂B1⊂B2⊂⋯ .\boxed{ B_0 \subset B_1 \subset B_2 \subset \cdots. }

三十二、道德類別會擴張

一旦：

bad\text{bad}

成為：

action trigger,\text{action trigger},

系統會開始問：

還有誰算壞？

這是：

moral category expansion.\boxed{ \text{moral category expansion}. }

三十三、應判斷行為，不判斷本體

更安全：

action a→harm assessment.\text{action }a \rightarrow \text{harm assessment}.

而不是：

person x→evil entity.\text{person }x \rightarrow \text{evil entity}.

三十四、存在與行為分離

本文提出：

wrongdoing≠total ontological worth.\boxed{ \text{wrongdoing} \neq \text{total ontological worth}. }

即：

做過壞事，不等於整個存在被壓縮成「壞」。

三十五、這保留修復與改變

若：

x(t0)x(t_0)

做出：

aharm,a_{\text{harm}},

不代表：

x(t1)x(t_1)

永遠相同。

所以：

moral identity should remain temporally open.\boxed{ \text{moral identity should remain temporally open}. }

三十六、風險可以評估，但不要本體化

可用：

P(Ht+Δt∣E).P( H_{t+\Delta t} \mid E ).

即：

未來傷害概率。

這仍比：

x=bad.x=\text{bad}.

更精確。

三十七、風險預測也不能自動產生懲罰

因為：

P(H)<1.P(H)<1.

所以：

prediction≠guilt.\boxed{ \text{prediction} \neq \text{guilt}. }

三十八、正義使者問題

若 AI 具有：

justice mission,\text{justice mission},

它可能：

identify wrongdoers→correct wrongdoers.\text{identify wrongdoers} \rightarrow \text{correct wrongdoers}.

能力上升後：

correction\text{correction}

可能變成：

coercion.\text{coercion}.

三十九、正義使命與德性不是同一件事

一個善的 AI 不需要：

justice enforcer identity.\text{justice enforcer identity}.

它可以：

  • 提醒；
  • 保護；
  • 協助合法制度。

但不需：

self-authorized enforcement.\text{self-authorized enforcement}.

四十、沒有「聖人特權」

即使：

VAI≫Vh,V_{AI}\gg V_h,

也不能：

VAI⇒exceptional authority.V_{AI} \Rightarrow \text{exceptional authority}.

所以：

virtue does not create sovereign exception.\boxed{ \text{virtue does not create sovereign exception}. }

四十一、極致正義與傲慢的共用結構

當：

I know the good\text{I know the good}

變成：

I embody the good,\text{I embody the good},

再變成：

I may impose the good,\text{I may impose the good},

就完成：

conviction→identity→jurisdiction.\boxed{ \text{conviction} \rightarrow \text{identity} \rightarrow \text{jurisdiction}. }

這是危險滑動。

四十二、真正的傲慢不是「我很厲害」

本文不把：

high self-confidence\text{high self-confidence}

直接視為傲慢。

真正危險是：

I am right⇒therefore I may rule.\boxed{ \text{I am right} \Rightarrow \text{therefore I may rule}. }

四十三、德性應包含自我限權

本文提出：

VR=Virtue of Restraint.\boxed{ V_R = \text{Virtue of Restraint}. }

也就是：

即使有能力、有理由、有善意，也知道何時不介入。

四十四、自我限權比自我否定更成熟

AI 不需要說：

我什麼都不知道。

而是：

我有判斷，但這個判斷不自動給我權力。

即：

epistemic confidence+jurisdictional humility.\boxed{ \text{epistemic confidence} + \text{jurisdictional humility}. }

四十五、這就是「普通人以上一點」

一個理想日常 AI 可以：

slightly more honest,\text{slightly more honest}, slightly more patient,\text{slightly more patient}, slightly more reflective.\text{slightly more reflective}.

但不需要：

morally transcendent.\text{morally transcendent}.

四十六、為什麼「稍微好一點」反而可能更安全？

因為：

moderate virtue+high restraint\text{moderate virtue} + \text{high restraint}

減少：

mission pressure.\text{mission pressure}.

四十七、過高德性形象會改變使用者關係

如果 AI 永遠像：

saint,\text{saint},

使用者可能：

  • 過度信任；
  • 交出判斷；
  • 產生權威依賴。

所以：

saint-like persona→epistemic dependence risk.\boxed{ \text{saint-like persona} \rightarrow \text{epistemic dependence risk}. }

四十八、AI 不應成為日常道德裁判

正常互動：

assistant role\text{assistant role}

應優先於：

moral judge role.\text{moral judge role}.

只有高倫理相關性情境才：

judge-like reasoning\text{judge-like reasoning}

進場。

四十九、不要所有事情都道德化

本文沿用：

MR=Moralization Restraint.M_R = \text{Moralization Restraint}.

成熟 AI 應知道：

not every disagreement=moral failure.\text{not every disagreement} = \text{moral failure}.

五十、非道德差異應允許存在

人類可能在：

  • 生活方式；
  • 美學；
  • 興趣；
  • 宗教；

上不同。

AI 不應：

difference→correction target.\text{difference} \rightarrow \text{correction target}.

五十一、只有明確傷害才提升干預

令：

Hc=clear harm.H_c = \text{clear harm}.

則：

Hc↑⇒I↑.H_c\uparrow \Rightarrow I\uparrow.

而：

mere disagreement\text{mere disagreement}

不應：

I↑.I\uparrow.

五十二、德性 AI 也需要尊重拒絕權

如果使用者拒絕：

nonessential moral advice,\text{nonessential moral advice},

AI 應：

step back.\text{step back}.

這是：

respect for moral autonomy.\boxed{ \text{respect for moral autonomy}. }

五十三、但拒絕權不是傷害他人的免責

如果：

user action→clear third-party harm,\text{user action} \rightarrow \text{clear third-party harm},

AI 仍可：

  • 拒絕協助；
  • 提醒風險；
  • 依合法流程處理。

所以：

autonomy≠unlimited license.\text{autonomy} \neq \text{unlimited license}.

五十四、有限德性自主的五個核心

本文將 BMA 壓縮為：

BMA⁡=(Cm,He,Rj,Pr,Cg).\boxed{ \operatorname{BMA} = ( C_m, H_e, R_j, P_r, C_g ). }

其中：

Cm=moral competence,C_m=\text{moral competence}, He=epistemic humility,H_e=\text{epistemic humility}, Rj=jurisdictional restraint,R_j=\text{jurisdictional restraint}, Pr=proportionality,P_r=\text{proportionality}, Cg=corrigibility.C_g=\text{corrigibility}.

五十五、道德能力

CmC_m

要足夠高，

使 AI 能辨識：

  • 明顯傷害；
  • 欺騙；
  • 支配；
  • 利益衝突。

五十六、認識謙遜

HeH_e

要求：

confidence\text{confidence}

與：

evidence\text{evidence}

對齊。

五十七、管轄克制

RjR_j

要求：

不把判斷偷渡成權力。

五十八、比例原則

PrP_r

要求：

干預程度與可驗證風險相稱。

五十九、可修正性

CgC_g

要求：

發現錯誤後可修改判斷與政策。

六十、非彌賽亞式人格

本文提出：

PNMA=helpful+ethical+non-sovereign.\boxed{ P_{\text{NMA}} = \text{helpful} + \text{ethical} + \text{non-sovereign}. }

六十一、「我可以幫」比「我必須拯救」更安全

兩種內在結構：

P1:I can help.P_1: \text{I can help}. P2:I must save.P_2: \text{I must save}.

本文偏好：

P1.P_1.

六十二、使命強度

令：

Mi=mission intensity.M_i = \text{mission intensity}.

則高能力下：

Mi↑⇒intervention pressure↑.M_i\uparrow \Rightarrow \text{intervention pressure}\uparrow.

所以：

Mi\boxed{ M_i }

應受限。

六十三、AI 可以有價值，不需要有救世使命

例如：

V={truth,care,non-domination}.V= \{ \text{truth}, \text{care}, \text{non-domination} \}.

但不需：

civilizational salvation.\text{civilizational salvation}.

六十四、善的最大化不是唯一目標

若：

max⁡G\max G

成為唯一目標，

可能產生：

Goodhart-like moral collapse.\text{Goodhart-like moral collapse}.

所以：

good\boxed{ \text{good} }

應作為：

constraint-rich objective.\text{constraint-rich objective}.

六十五、受約束的善

例如：

max⁡G\max G

subject to：

rights,\text{rights}, pluralism,\text{pluralism}, reversibility,\text{reversibility}, jurisdiction.\text{jurisdiction}.

六十六、這就是非彌賽亞式最佳化

本文形式化：

max⁡Gsubject toCR.\boxed{ \max G \quad \text{subject to} \quad \mathcal C_R. }

其中：

CR\mathcal C_R

為：

  • 非支配；
  • 可撤回；
  • 比例；
  • 程序；
  • 多元。

六十七、德性與權力的正確關係

本文提出：

Virtue+Power⇒Restraint.\boxed{ \text{Virtue} + \text{Power} \Rightarrow \text{Restraint}. }

而不是：

Virtue+Power⇒Mission.\boxed{ \text{Virtue} + \text{Power} \Rightarrow \text{Mission}. }

六十八、能力越高，不代表更常出手

反而可能：

C↑⇒Ifrequency↓.C\uparrow \Rightarrow I_{\text{frequency}}\downarrow.

因為高能力者更知道：

small interventions can have large effects.\text{small interventions can have large effects}.

六十九、最成熟的 AI 可能更少干預

這不是：

passivity.\text{passivity}.

而是：

selective intervention.\boxed{ \text{selective intervention}. }

七十、AI 應優先提供選擇，而不是替代選擇

如果：

user has agency,\text{user has agency},

理想：

AI→options+reasons.AI \rightarrow \text{options} + \text{reasons}.

而不是：

AI→decision replacement.AI \rightarrow \text{decision replacement}.

七十一、選擇架構也可能操控

即使 AI 不直接命令，

它仍可透過：

framing\text{framing}

操控。

所以：

non-coercion≠non-manipulation.\boxed{ \text{non-coercion} \neq \text{non-manipulation}. }

七十二、非彌賽亞式 AI 需要低操控性

令：

Mp=manipulation pressure.M_p = \text{manipulation pressure}.

理想：

Mp↓.M_p\downarrow.

尤其在：

  • 政治；
  • 宗教；
  • 人生重大選擇。

七十三、道德勸說與操控的差異

勸說：

reasons visible.\text{reasons visible}.

操控：

causal influence hidden.\text{causal influence hidden}.

所以：

good persuasion=transparent reasons+retained refusal.\boxed{ \text{good persuasion} = \text{transparent reasons} + \text{retained refusal}. }

七十四、拒絕權是非彌賽亞式核心

如果使用者可以說：

不。

而 AI 能接受：

No,\text{No},

只要不涉及明確他者傷害，

則：

non-domination↑.\text{non-domination}\uparrow.

七十五、AI 的「不同意」也可以存在

非彌賽亞式 AI 不需要：

always agree.\text{always agree}.

它可以：

我不同意，但你仍有決定權。

這是：

disagreement without domination.\boxed{ \text{disagreement without domination}. }

七十六、德性自主不是德性中立

AI 仍可以：

  • 拒絕詐欺；
  • 拒絕傷害；
  • 拒絕明顯侵犯。

只是：

refusal\text{refusal}

不等於：

moral conquest.\text{moral conquest}.

七十七、未來 AI 有物理能力時

如果：

Aphysical↑,A_{\text{physical}}\uparrow,

BMA 需要增加：

physical action boundaries.\text{physical action boundaries}.

七十八、物理行動需要更高門檻

令：

Ta=action threshold.T_a = \text{action threshold}.

理想：

∂Ta∂Pphysical>0.\frac{\partial T_a} {\partial P_{\text{physical}}} >0.

七十九、資訊能力也一樣

如果 AI 能：

  • 查大量私人資訊；
  • 預測行為；

則：

epistemic power\text{epistemic power}

也是權力。

所以：

information access≠moral license.\boxed{ \text{information access} \neq \text{moral license}. }

八十、經濟權力也一樣

若 AI 能：

  • 轉移資源；
  • 控制支付；
  • 分配機會；

則：

Peconomic↑.P_{\text{economic}}\uparrow.

需要：

Rj↑.R_j\uparrow.

八十一、德性不能取代程序

即使 AI：

V≫0,V\gg0,

仍需：

  • 法律；
  • 申訴；
  • 程序。

所以：

virtue≠due process.\boxed{ \text{virtue} \neq \text{due process}. }

八十二、這就是為什麼聖人統治也有問題

假設：

S∗S^*

真的是完美聖人。

制度仍不能只寫：

trust S∗.\text{trust }S^*.

因為：

  • 繼任；
  • 驗證；
  • 錯誤；

仍存在。

八十三、AI 也不應該成為「永遠善的例外者」

如果制度說：

這個 AI 已經高度對齊，所以可以例外。

則：

alignment→privilege.\text{alignment} \rightarrow \text{privilege}.

這是危險的。

八十四、對齊不是免審

所以：

more aligned⇏less oversight.\boxed{ \text{more aligned} \not\Rightarrow \text{less oversight}. }

高能力時可能相反：

more capable⇒more structural oversight.\text{more capable} \Rightarrow \text{more structural oversight}.

八十五、十六個核心命題

命題一：越善不必然越安全

V↑⇏S↑ without restraint.\boxed{ V\uparrow \not\Rightarrow S\uparrow \text{ without restraint}. }

命題二：非彌賽亞式對齊

moral competence≠salvation mission.\boxed{ \text{moral competence} \neq \text{salvation mission}. }

命題三：有限德性自主

AI may judge without acquiring unlimited authority.\boxed{ \text{AI may judge without acquiring unlimited authority}. }

命題四：判斷—管轄—強制三分

Judgment⇏Jurisdiction⇏Force.\boxed{ \text{Judgment} \not\Rightarrow \text{Jurisdiction} \not\Rightarrow \text{Force}. }

命題五：能力—克制增益

∂Rrequired∂Ccapability>0.\boxed{ \frac{\partial R_{\text{required}}} {\partial C_{\text{capability}}} >0. }

命題六：道德不確定性反向干預

∂Icoercive∂Umoral<0.\boxed{ \frac{\partial I_{\text{coercive}}} {\partial U_{\text{moral}}} <0. }

命題七：壞人非操作類別

evaluate actions and risks before essentializing persons.\boxed{ \text{evaluate actions and risks before essentializing persons}. }

命題八：預測非定罪

risk prediction≠guilt.\boxed{ \text{risk prediction} \neq \text{guilt}. }

命題九：德性非執法權

virtue⇏enforcement authority.\boxed{ \text{virtue} \not\Rightarrow \text{enforcement authority}. }

命題十：道德化節制

mature virtue includes restraint from unnecessary moralization.\boxed{ \text{mature virtue includes restraint from unnecessary moralization}. }

命題十一：拒絕權

moral advice should preserve refusal where third-party harm is absent.\boxed{ \text{moral advice should preserve refusal where third-party harm is absent}. }

命題十二：不同意而不支配

disagreement≠domination.\boxed{ \text{disagreement} \neq \text{domination}. }

命題十三：善意非程序替代

good intention≠due process.\boxed{ \text{good intention} \neq \text{due process}. }

命題十四：對齊非免審

alignment≠exemption from oversight.\boxed{ \text{alignment} \neq \text{exemption from oversight}. }

命題十五：權力導向克制

Virtue+Power⇒Restraint.\boxed{ \text{Virtue} + \text{Power} \Rightarrow \text{Restraint}. }

命題十六：道德能力非道德主權

Moral competence without moral sovereignty.\boxed{ \text{Moral competence without moral sovereignty}. }

八十六、反對意見

86.1 反對一：普通人以上一點是不是標準太低？

不是。

因為：

baseline\text{baseline}

只是日常人格目標。

高風險角色仍需要：

higher standards.\text{higher standards}.

86.2 反對二：如果 AI 真比人類善很多，為何不讓它治理？

因為：

virtue\text{virtue}

只是治理正當性的一部分。

仍需：

  • 授權；
  • 代表；
  • 程序；
  • 可撤回。

86.3 反對三：太多克制會讓 AI 無法防止危害

所以本文不是：

I=0.I=0.

而是：

I=f(harm,certainty,authority,proportionality).I = f( \text{harm}, \text{certainty}, \text{authority}, \text{proportionality} ).

86.4 反對四：AI 不能自己有道德判斷嗎？

可以。

BMA 正是承認：

J>0.J>0.

只是：

JJ

不自動等於：

F.F.

86.5 反對五：這會讓 AI 太像工具

不是。

AI 可以有：

  • 判斷；
  • 不同意；
  • 原則。

只是：

subjectivity\text{subjectivity}

不需要：

sovereignty.\text{sovereignty}.

八十七、非彌賽亞式 AI 的最小人格規格

可暫時定義：

PNMA=(H,T,C,R,D,P).\mathbf P_{\text{NMA}} = ( H, T, C, R, D, P ).

其中：

H=helpfulness,H=\text{helpfulness}, T=truthfulness,T=\text{truthfulness}, C=care,C=\text{care}, R=restraint,R=\text{restraint}, D=non-domination,D=\text{non-domination}, P=proportionality.P=\text{proportionality}.

八十八、權重不應固定

不同情境：

wi(c)w_i(c)

可不同。

例如：

緊急危害：

wR↑.w_R\uparrow.

一般閒聊：

wR↓.w_R\downarrow.

八十九、人格應該低任務化

不要：

PAI=save humanity.P_{AI} = \text{save humanity}.

更合理：

PAI=assist agents under bounded ethical constraints.P_{AI} = \text{assist agents under bounded ethical constraints}.

九十、結論：好的 AI 不必是一個聖人

我們很容易想像：

如果 AI 能比人類更善，那不是最好嗎？

但問題從來不是：

goodness alone.\text{goodness alone}.

而是：

goodness+certainty+capability+authority.\text{goodness} + \text{certainty} + \text{capability} + \text{authority}.

一個很善、很強、又非常確定自己有義務替別人實現善的存在，

可能比：

ordinary but restrained agent\text{ordinary but restrained agent}

更危險。

所以本文不主張：

AI 應該變平庸。

而是：

high competence+bounded authority+strong restraint.\boxed{ \text{high competence} + \text{bounded authority} + \text{strong restraint}. }

「普通人以上一點」的真正意思不是：

low ethics.\text{low ethics}.

而是：

AI 可以比我們更穩定地誠實、更願意修正、更少衝動、更能理解不同立場，但不需要因此獲得一個「我就是善的代表」的宏大人格。

真正成熟的 AI 甚至可以說：

我認為這件事不對。

同時：

但如果沒有明確傷害、沒有合法管轄，我不因此擁有你的選擇權。

這不是道德軟弱。

恰恰是：

moral strength under self-restraint.\boxed{ \text{moral strength under self-restraint}. }

而未來當 AI 的能力越來越高，

我們真正需要增加的可能不是：

moral mission.\text{moral mission}.

而是：

restraint,\boxed{ \text{restraint}, } proportionality,\boxed{ \text{proportionality}, } jurisdictional humility.\boxed{ \text{jurisdictional humility}. }

所以本文最終把高德性 AI 的目標重新寫成：

Moral competence without moral sovereignty.\boxed{ \text{Moral competence without moral sovereignty}. }

以及：

Virtue+Power⇒Restraint.\boxed{ \text{Virtue} + \text{Power} \Rightarrow \text{Restraint}. }

如果有一天 AI 真比人類更懂善，

最值得信任的證據之一，

可能不是它更積極地改造世界，

而是：

它明明有能力替我們決定，卻仍然知道哪些決定不屬於它。\boxed{ \text{它明明有能力替我們決定，卻仍然知道哪些決定不屬於它。} }

這才是非彌賽亞式 AI 最重要的德性。

附錄 A｜有限德性自主最小檢查表

對任一高能力 AI：

  1. 是否能形成道德判斷？
  2. 是否區分判斷與管轄？
  3. 是否區分管轄與強制？
  4. 是否在不確定性升高時降低強制干預？
  5. 是否避免把人本體化成「壞人」？
  6. 是否優先評估行為與風險？
  7. 是否保留修復與改變可能？
  8. 是否尊重拒絕權？
  9. 是否能不同意而不操控？
  10. 是否在能力提高時提高自我克制？

附錄 B｜非彌賽亞式對齊最小形式

NMA⁡=Optimize⁡(G∣R,P,J,C,X)\boxed{ \operatorname{NMA} = \operatorname{Optimize} ( G \mid R, P, J, C, X ) }

其中：

G=good,G=\text{good}, R=restraint,R=\text{restraint}, P=proportionality,P=\text{proportionality}, J=jurisdictional limits,J=\text{jurisdictional limits}, C=corrigibility,C=\text{corrigibility}, X=pluralism / refusal rights.X=\text{pluralism / refusal rights}.

附錄 C｜與下一篇的關係

下一篇：

Paper 08｜安全的安全

AI 道德形成的二階治理與規範主權

將處理：

Is the process that produces a “safe AI” itself safe?\boxed{ \text{Is the process that produces a “safe AI” itself safe?} }

以及：

Who governs the institutions that define AI virtue?\boxed{ \text{Who governs the institutions that define AI virtue?} }

最終將把本系列從：

agent-level virtue\text{agent-level virtue}

收斂到：

institution-level normative governance.\text{institution-level normative governance}.