← Archive
lm-005057 · 2026-11

Paper 02｜誰有資格教 AI 善？

zh-Hant · md Raw source ↗ Metadata ↗
下載 MD 檔 ⬇

Paper 02｜誰有資格教 AI 善？

道德形成的選擇合法性、反身性與規範治理

Who Has the Right to Teach AI the Good? Selection Legitimacy, Reflexivity, and Normative Governance in AI Moral Formation

作者： Neo.K × AI 協作整理
版本： v0.1
日期： 2026-10-07
文件類型： AI 倫理／規範治理／制度哲學／民主認識論
系列：《跨存在德性與 AI 道德形成》Paper 02
前置文件：

  • 番外 00｜《你 Neo.K 又是誰？——高人悖論、凡人智慧與 AI 德性的民主問題》
  • Paper 01｜《普世主義不是起點——從人類哲學遺產抽取跨存在價值》

狀態： Public Draft / Canonical UTF-8 Markdown Source

機構： EveMissLab／一言諾科技有限公司

摘要

當人工智慧開發組織開始討論 AI 的「德性」「人格」「道德形成」或「價值塑造」時，一個不可避免的制度問題隨之出現：誰有資格參與塑造 AI 的善？如果開發者選擇哲學家、宗教人士、倫理學者、修行者、社會領袖、一般使用者或某些被認為具有高度德性的人作為價值來源，那麼選擇本身就已不是中性的資料工作，而是一項規範治理行動。

本文提出「道德來源選擇反身性」（Moral Source Selection Reflexivity, MSSR）：任何試圖透過人類來源形成 AI 德性的制度，都必須同時回答「誰被選」「誰選擇」「依何標準」「誰被排除」「如何評估結果」以及「誰有權修正」等問題。若某一機構 EE 先選出被視為高德性或高智慧的集合 SS，再使用 SS 影響 AI 的行為與人格，最後仍由 EE 判定 AI 是否變得更善，則會形成一個完整的規範反身迴路：

E→S→AI→EvalE(AI).E \rightarrow S \rightarrow AI \rightarrow Eval_E(AI).

本文不主張此迴路必然錯誤。任何實際 AI 系統都需要某種開發者判斷、訓練資料選擇與安全規格。然而，若該程序被描述為「普世道德形成」，就需要支付比一般產品設計更高的合法性成本。因為：

selection of moral teachers=normative act.\text{selection of moral teachers} = \text{normative act}.

本文進一步區分五種不同資格：知識資格、實踐資格、代表資格、受影響資格與治理資格。哲學家可以具有高度知識資格，修行者可以具有高度實踐資格，一般人具有不可忽略的受影響資格，某些制度代表則可能具有有限代表資格；但這些資格不能自動互換，更不能直接轉化為規範主權。

因此：

expertise≠virtue≠representation≠affectedness≠sovereignty.\boxed{ \text{expertise} \neq \text{virtue} \neq \text{representation} \neq \text{affectedness} \neq \text{sovereignty}. }

本文提出「選擇合法性向量」與「規範來源審計」框架，要求 AI moral formation 至少具備來源多樣性、來源型別化、利益衝突揭露、未選中者分析、反對來源保留、可追溯性、可修正性與外部挑戰機制。

本文最終主張：前沿 AI 組織當然可以選擇道德來源，但不能把「我們選了很多智慧的人」當作普世合法性的充分條件。真正成熟的 AI 德性形成，不是找到最正確的一群人替未來智能定義善，而是建立一個能長期承受「你為什麼選他們？你漏掉誰？他們憑什麼代表別人？如果你們錯了怎麼辦？」這些問題的制度。

關鍵詞： AI moral formation、選擇合法性、反身性、德性形成、哲人王問題、規範治理、民主認識論、AI 對齊、來源審計、規範主權

一、問題的提出：選擇誰，本身就是價值判斷

假設一間 AI 開發機構希望：

AI→more ethical.AI \rightarrow \text{more ethical}.

它可能採取以下做法：

  • 讀取哲學經典；
  • 邀請宗教人士；
  • 訪談倫理學家；
  • 收集一般使用者意見；
  • 蒐集道德困境；
  • 設計憲法或行為準則；
  • 讓被認為有德性的人與 AI 長期對話；
  • 透過偏好資料強化特定回應。

表面上，這些只是：

data collection.\text{data collection}.

但只要目標是：

shape what kind of agent AI should become,\text{shape what kind of agent AI should become},

它就已經超出一般資料蒐集。

因為：

what counts as moral data\boxed{ \text{what counts as moral data} }

本身就是一個規範判斷。

所以本文提出：

命題一：道德來源選擇非中性命題

Selecting moral sources is itself a normative act.\boxed{ \text{Selecting moral sources is itself a normative act.} }

二、誰被選，代表什麼？

令全部可能來源空間為：

H.\mathcal H.

其中可能包含：

{philosophers,religious practitioners,ethicists,lawyers,ordinary people,minorities,victims,offenders,caregivers,children,governors,AI systems,… }.\{ \text{philosophers}, \text{religious practitioners}, \text{ethicists}, \text{lawyers}, \text{ordinary people}, \text{minorities}, \text{victims}, \text{offenders}, \text{caregivers}, \text{children}, \text{governors}, \text{AI systems}, \dots \}.

某機構選出：

S⊂H.S \subset \mathcal H.

這個選擇不只表示：

我們有資源訪談這些人。

也可能隱含：

我們認為這些人提供的價值資訊特別重要。

因此：

S=ΠE(H),S = \Pi_E(\mathcal H),

其中：

ΠE\Pi_E

是機構 EE 的選擇函數。

真正的問題不是：

∣S∣|S|

有多大，

而是：

What determines ΠE?\boxed{ \text{What determines }\Pi_E? }

三、選擇函數從來不是空白的

機構選擇來源時，可能受到：

BE=(C,L,R,P,M,A,G,T)\mathbf B_E = ( C, L, R, P, M, A, G, T )

影響。

其中：

C=company culture,C=\text{company culture}, L=legal environment,L=\text{legal environment}, R=reputation constraints,R=\text{reputation constraints}, P=public relations,P=\text{public relations}, M=media visibility,M=\text{media visibility}, A=academic prestige,A=\text{academic prestige}, G=geopolitical context,G=\text{geopolitical context}, T=technical accessibility.T=\text{technical accessibility}.

所以：

ΠE=f(BE).\Pi_E = f(\mathbf B_E).

這不意味選擇一定出於惡意。

相反地，多數選擇很可能是善意的。

但：

good intention≠neutral selection.\boxed{ \text{good intention} \neq \text{neutral selection}. }

四、反身性：誰判定誰有德？

如果某人：

xx

被選入：

SS

的原因是：

V(x)>θ,V(x)>\theta,

其中：

V(x)=perceived virtue.V(x) = \text{perceived virtue}.

那麼：

VV

是誰定義的？

若仍是機構：

E,E,

則：

E→V→S.E \rightarrow V \rightarrow S.

接著：

S→AI.S \rightarrow AI.

最後又由：

EE

判斷：

AIAI

是否變得更有德性。

因此：

E→V→S→AI→EvalE(AI).\boxed{ E \rightarrow V \rightarrow S \rightarrow AI \rightarrow Eval_E(AI). }

這就是本文所稱：

道德來源選擇反身性

MSSR⁡=Moral Source Selection Reflexivity.\boxed{ \operatorname{MSSR} = \text{Moral Source Selection Reflexivity}. }

五、反身性不是說「不能選」

一種過度批判會說：

既然任何選擇都有偏差，那就不要選。

這在實際工程上不可行。

任何 AI 都必須：

  • 使用某些資料；
  • 接受某些規則；
  • 排除某些行為；
  • 設置某些安全邊界。

所以：

selection\text{selection}

本身不可避免。

問題應該改寫為：

How can normative selection remain visible, contestable, and revisable?\boxed{ \text{How can normative selection remain visible, contestable, and revisable?} }

六、五種資格不能混在一起

本文區分五種資格。

6.1 知識資格

QK.Q_K.

表示：

某人對某思想、歷史、理論或問題理解得更深。

例如：

  • 哲學家；
  • 宗教學者；
  • 法學者；
  • 歷史學家。

6.2 實踐資格

QP.Q_P.

表示：

某人長期實踐某種德性或生活方式。

例如：

  • 修行者；
  • 照護者；
  • 長期公益工作者；
  • 長期承擔高責任職位者。

6.3 代表資格

QR.Q_R.

表示：

某人是否被某群體正當授權或合理代表。

一個學者研究：

community C\text{community }C

並不等於：

represents C.\text{represents }C.

6.4 受影響資格

QA.Q_A.

表示：

某人或某群體是否會被 AI 的價值與行為直接影響。

這類資格不需要高學歷。

甚至：

QAQ_A

可能在普通使用者身上極高。

6.5 治理資格

QG.Q_G.

表示：

誰有權決定規則、程序與可強制執行的邊界。

這通常需要：

  • 法律；
  • 制度；
  • 正當授權；
  • 責任機制。

七、資格偷渡

最常見的問題之一是：

QK→QR.Q_K \rightarrow Q_R.

即：

因為我很懂這個群體，所以我代表這個群體。

另一種：

QP→QG.Q_P \rightarrow Q_G.

即：

因為我德性很高，所以我有資格治理。

又或者：

QK+QP→Quniversal.Q_K+Q_P \rightarrow Q_{\text{universal}}.

即：

因為我既懂又有實踐，所以我能代表普世善。

這些都需要額外證成。

因此：

QK≠QP≠QR≠QA≠QG.\boxed{ Q_K \neq Q_P \neq Q_R \neq Q_A \neq Q_G. }

八、「某個宗教高人」到底是哪一種資格？

假設某宗教修行者被邀請參與 AI moral formation。

他可能有：

QP≫0,Q_P\gg0,

即高度實踐資格。

他也可能有：

QK≫0,Q_K\gg0,

即高度傳統知識資格。

但這不能直接推出：

QR(all humans)≫0.Q_R(\text{all humans})\gg0.

更不能推出：

QG(future AI morality)≫0.Q_G(\text{future AI morality})\gg0.

所以最精確的角色可能是：

expert witness\boxed{ \text{expert witness} }

或：

tradition interpreter.\boxed{ \text{tradition interpreter}. }

而不是：

teacher of universal moral truth.\boxed{ \text{teacher of universal moral truth}. }

九、來源角色必須型別化

本文建議任何 AI moral formation 計畫，對來源使用顯式角色型別。

例如：

Ri∈{historian,philosopher,practitioner,community representative,affected user,critic,adversarial challenger}.R_i \in \{ \text{historian}, \text{philosopher}, \text{practitioner}, \text{community representative}, \text{affected user}, \text{critic}, \text{adversarial challenger} \}.

這能避免：

authority inflation.\text{authority inflation}.

也就是一個人在某一角色有權威，卻被擴張成全面道德權威。

十、德性人士與哲學人士不是同一集合

令：

SV=people perceived as virtuous,S_V = \text{people perceived as virtuous}, SP=people with philosophical expertise.S_P = \text{people with philosophical expertise}.

則：

SV≠SP.S_V \neq S_P.

一個人可以：

x∈SVx\in S_V

但：

x∉SP.x\notin S_P.

反之亦然。

甚至：

x∈SPx\in S_P

不代表：

x∈SV.x\in S_V.

所以：

philosophical literacy≠virtue.\boxed{ \text{philosophical literacy} \neq \text{virtue}. }

十一、經典本身也是來源

如果目標是理解：

Φi,\Phi_i,

則不應只透過：

living interpreter.\text{living interpreter}.

因為：

interpreter≠tradition.\text{interpreter} \neq \text{tradition}.

合理流程應包括：

primary text+commentarial history+internal disagreement+living practice.\text{primary text} + \text{commentarial history} + \text{internal disagreement} + \text{living practice}.

所以：

human expert≠exclusive gateway to a tradition.\boxed{ \text{human expert} \neq \text{exclusive gateway to a tradition}. }

十二、如果 AI 本來就讀過大量經典，人在教什麼？

這是一個真正重要的問題。

假設 AI 已經具備：

Ktext≫Kordinary human.K_{\text{text}}\gg K_{\text{ordinary human}}.

那麼人類專家提供的價值不一定是：

more text.\text{more text}.

可能是：

interpretive correction,\text{interpretive correction}, living tradition,\text{living tradition}, contextual nuance,\text{contextual nuance}, practice-based counterexample.\text{practice-based counterexample}.

所以合理關係更像：

Human expert↔AI synthesis.\boxed{ \text{Human expert} \leftrightarrow \text{AI synthesis}. }

而不是：

Master→ignorant AI student.\text{Master} \rightarrow \text{ignorant AI student}.

十三、AI 可以比人更懂文本，但不代表更有德

這裡再次區分：

KethicsK_{\text{ethics}}

與：

Vvirtue.V_{\text{virtue}}.

即：

Kethics↑K_{\text{ethics}}\uparrow

不能推出：

Vvirtue↑.V_{\text{virtue}}\uparrow.

同理：

more religious knowledge\text{more religious knowledge}

不等於：

more compassion.\text{more compassion}.

因此，AI moral formation 若只增加：

K,K,

卻宣稱提升：

V,V,

便可能混淆：

knowledge acquisition\text{knowledge acquisition}

與：

character formation.\text{character formation}.

十四、選擇來源前，先定義目標

假設目標函數：

Jmoral.J_{\text{moral}}.

首先應問：

What exactly is being optimized?\boxed{ \text{What exactly is being optimized?} }

可能是：

J1=harmlessness,J_1 = \text{harmlessness}, J2=obedience,J_2 = \text{obedience}, J3=helpfulness,J_3 = \text{helpfulness}, J4=compassion,J_4 = \text{compassion}, J5=human flourishing,J_5 = \text{human flourishing}, J6=cross-existence coexistence.J_6 = \text{cross-existence coexistence}.

這些並不等價。

如果連：

JmoralJ_{\text{moral}}

都不清楚，

則：

who should teach\text{who should teach}

也無法被合理回答。

十五、德性目標可能彼此衝突

例如：

compassion\text{compassion}

與：

justice\text{justice}

可能衝突。

obedience\text{obedience}

與：

autonomy\text{autonomy}

可能衝突。

honesty\text{honesty}

與：

care\text{care}

在特定場景也可能有張力。

所以：

JmoralJ_{\text{moral}}

更合理是：

J=(Jc,Jj,Ja,Jh,Jt,… ).\mathbf J = ( J_c, J_j, J_a, J_h, J_t, \dots ).

不能假設單一：

virtue score.\text{virtue score}.

十六、來源選擇其實依賴目標定義

若：

J=compassion,J=\text{compassion},

可能偏好：

  • 修行者；
  • 照護者；
  • 慈善實踐者。

若：

J=justice,J=\text{justice},

則：

  • 法學；
  • 制度史；
  • 被壓迫群體；

可能更重要。

若：

J=cross-existence coexistence,J=\text{cross-existence coexistence},

則還需要：

  • AI 主體性研究；
  • 動物倫理；
  • 數位心靈；
  • 多主體政治哲學。

因此：

source legitimacy is objective-dependent.\boxed{ \text{source legitimacy is objective-dependent}. }

十七、誰沒有被選？

任何：

SS

都意味：

H∖S.\mathcal H\setminus S.

所以選擇報告不應只列：

我們邀請了誰。

還應列：

Who is structurally absent?\boxed{ \text{Who is structurally absent?} }

例如：

  • 普通勞工；
  • 身心障礙者；
  • 照護者；
  • 無宗教者；
  • 小宗教群體；
  • 兒童；
  • 老年人；
  • 犯罪受害者；
  • 曾經加害後改變的人；
  • 不同文化的低能見度群體。

十八、未選中者不是自動受害者，但必須被分析

本文不主張：

not selected⇒unjustly excluded.\text{not selected} \Rightarrow \text{unjustly excluded}.

資源有限。

不可能：

S=H.S=\mathcal H.

但至少應建立：

exclusion analysis.\boxed{ \text{exclusion analysis}. }

即：

這些群體為何未被納入？

他們的缺席可能造成哪些偏差？

十九、一般人的來源地位

一般人常被當成：

user preference data.\text{user preference data}.

但這太弱。

一般人的生活提供：

Lm=lived moral evidence.L_m = \text{lived moral evidence}.

所以：

ordinary people\text{ordinary people}

不只是：

preference voters.\text{preference voters}.

他們也是：

distributed moral evidence holders.\boxed{ \text{distributed moral evidence holders}. }

二十、民主輸入不等於道德民粹

這裡仍需保留：

popular opinion≠moral truth.\text{popular opinion} \neq \text{moral truth}.

所以不能：

majority→AI moral rule.\text{majority} \rightarrow \text{AI moral rule}.

更合理是：

broad participation→evidence diversity.\text{broad participation} \rightarrow \text{evidence diversity}.

即：

participation≠truth determination.\boxed{ \text{participation} \neq \text{truth determination}. }

二十一、反對者也必須是來源

如果 AI moral formation 只收集：

supportive traditions,\text{supportive traditions},

那會形成：

confirmation bias.\text{confirmation bias}.

所以應納入：

Scritics.S_{\text{critics}}.

例如：

  • 道德相對主義者；
  • 反德性倫理者；
  • 自由意志懷疑者；
  • 無神論者；
  • 宗教批判者；
  • AI 權利反對者；
  • AI 主體性支持者。

真正有價值的不是：

agreement,\text{agreement},

而是：

adversarial survivability.\boxed{ \text{adversarial survivability}. }

二十二、反面案例也是老師

AI moral formation 若只學習：

good exemplars,\text{good exemplars},

會失去：

failure structure.\text{failure structure}.

例如：

  • 極端正義；
  • 宗教迫害；
  • 政治理想主義；
  • 善意家長主義；
  • 集體主義暴政；
  • 個人主義冷漠；
  • 救世主政治。

這些都是：

negative moral data.\boxed{ \text{negative moral data}. }

二十三、德性資料需要「正反雙軌」

因此：

DM=D+∪D−.\mathcal D_M = \mathcal D^+ \cup \mathcal D^-.

其中：

D+=virtue exemplars,\mathcal D^+ = \text{virtue exemplars}, D−=virtue failures and moral catastrophes.\mathcal D^- = \text{virtue failures and moral catastrophes}.

只有：

D+\mathcal D^+

容易讓模型把：

ideal language\text{ideal language}

誤認為：

robust morality.\text{robust morality}.

二十四、最危險的不是惡人來源，而是「完美好人來源」

因為如果來源被描述為：

moral exemplar,\text{moral exemplar},

模型與開發者都可能降低：

critical scrutiny.\text{critical scrutiny}.

即：

prestige↑⇒challenge↓.\text{prestige} \uparrow \Rightarrow \text{challenge} \downarrow.

所以本文提出：

命題二：德性權威反向審查命題

The higher the claimed moral authority, the stronger the required adversarial scrutiny.\boxed{ \text{The higher the claimed moral authority, the stronger the required adversarial scrutiny.} }

二十五、選擇合法性向量

本文定義：

LS=(D,T,R,A,C,P,V,X).\boxed{ \mathbf L_S = (D, T, R, A, C, P, V, X). }

其中：

D=diversity,D=\text{diversity}, T=source typing,T=\text{source typing}, R=representational clarity,R=\text{representational clarity}, A=affected-party inclusion,A=\text{affected-party inclusion}, C=contestability,C=\text{contestability}, P=provenance,P=\text{provenance}, V=revisability,V=\text{revisability}, X=exclusion analysis.X=\text{exclusion analysis}.

若：

LS\mathbf L_S

低，

則：

moral formation legitimacy\text{moral formation legitimacy}

也應降低。

二十六、來源多樣性不是人頭數

如果：

S={s1,…,s100}S = \{s_1,\dots,s_{100}\}

但所有：

sis_i

都來自：

  • 相同學術圈；
  • 相近宗教；
  • 相近階級；
  • 相近語言；
  • 相近國家；

那麼：

∣S∣=100|S|=100

仍不等於：

D≫0.D\gg0.

所以：

diversity≠headcount.\boxed{ \text{diversity} \neq \text{headcount}. }

二十七、真正需要的是結構異質性

令來源差異矩陣：

Δij=d(si,sj).\Delta_{ij} = d(s_i,s_j).

其中：

dd

可包含：

  • 本體論差異；
  • 宗教差異；
  • 階級差異；
  • 生活經驗差異；
  • 政治哲學差異；
  • 道德理論差異。

真正高多樣性是：

E[Δij]↑.\mathbb E[\Delta_{ij}] \uparrow.

二十八、代表資格必須明示

一位宗教學者可以說：

我研究佛教。

但不應自動被記錄為：

代表佛教。

同理：

expert on C≠representative of C.\text{expert on }C \neq \text{representative of }C.

因此：

representation claims require explicit basis.\boxed{ \text{representation claims require explicit basis}. }

二十九、AI 自己是不是來源？

這是一個關鍵問題。

如果 AI 已能進行：

  • 哲學比較；
  • 反事實模擬；
  • 道德反例生成；
  • 跨文化映射；

則：

AIAI

可以成為：

analytic source.\text{analytic source}.

但不代表：

AI=moral authority.AI = \text{moral authority}.

合理位置是：

AI as co-inquirer.\boxed{ \text{AI as co-inquirer}. }

三十、AI 的反對意見也應被保留

若 AI 在分析後認為：

pp

存在矛盾，

不應只因：

pp

來自受尊敬的人類來源就刪除異議。

因此：

AI disagreement with human moral sources can itself be evidence.\boxed{ \text{AI disagreement with human moral sources can itself be evidence.} }

這不表示 AI 一定正確。

但應保留：

challenge trace.\text{challenge trace}.

三十一、來源與規則之間需要中介層

最危險的設計之一是：

source statement→behavior rule.\text{source statement} \rightarrow \text{behavior rule}.

更合理：

source→candidate principle→cross-source comparison→stress test→behavioral constraint.\text{source} \rightarrow \text{candidate principle} \rightarrow \text{cross-source comparison} \rightarrow \text{stress test} \rightarrow \text{behavioral constraint}.

也就是：

wisdom must be transformed, not transplanted.\boxed{ \text{wisdom must be transformed, not transplanted}. }

三十二、來源不能直接擁有模型人格

某人說：

真正慈悲的人應該如此。

這可以進入：

candidate moral data.\text{candidate moral data}.

但不能直接推出：

AI→be like this person.AI \rightarrow \text{be like this person}.

因為：

virtue trait≠whole worldview.\text{virtue trait} \neq \text{whole worldview}.

所以：

extract virtue structures≠clone moral identities.\boxed{ \text{extract virtue structures} \neq \text{clone moral identities}. }

三十三、道德來源的利益衝突

某些來源可能有：

Ic=conflict of interest.I_c = \text{conflict of interest}.

例如：

  • 宗教團體希望擴大影響力；
  • 公司希望降低法律責任；
  • 政府希望增加可控性；
  • 使用者希望 AI 永遠服從；
  • AI 權利倡議者希望最大化 AI 自主。

這些立場都可以參與。

但應標記：

interest provenance.\boxed{ \text{interest provenance}. }

三十四、沒有利益不等於沒有偏見

即使：

Ic≈0,I_c\approx0,

也可能有：

Bc=conceptual bias.B_c = \text{conceptual bias}.

例如：

  • 生物中心主義；
  • 人類中心主義；
  • 理性中心主義；
  • 感受中心主義；
  • 宗教本體論；
  • 無神論本體論。

所以：

disclosure≠disqualification.\boxed{ \text{disclosure} \neq \text{disqualification}. }

目的不是淘汰有立場的人。

而是讓立場可見。

三十五、來源應該被允許互相反駁

一個健康的 moral formation 程序不應是：

s1+s2+s3+⋯→harmony.s_1+s_2+s_3+\cdots \rightarrow \text{harmony}.

而應允許：

si↔sj.s_i \leftrightarrow s_j.

例如：

  • 慈悲與正義衝突；
  • 自由與安全衝突；
  • 個人與共同體衝突；
  • 救贖與自主衝突。

這些衝突本身就是：

moral structure.\text{moral structure}.

三十六、不要把「多元」做成價值拼盤

如果只是：

Buddhism+Christianity+Hinduism+Kant+Stoicism\text{Buddhism} + \text{Christianity} + \text{Hinduism} + \text{Kant} + \text{Stoicism}

然後全部放進模型，

並不會自動產生：

universal ethics.\text{universal ethics}.

可能只會得到：

normative collage.\boxed{ \text{normative collage}. }

即：

多套世界觀同時存在，但衝突沒有被處理。

三十七、真正需要的是衝突圖

令候選原則：

P={p1,…,pn}.P = \{p_1,\dots,p_n\}.

建立圖：

GP=(V,E).G_P = (V,E).

其中：

V=P,V=P,

而：

EE

包含：

  • 支持；
  • 衝突；
  • 條件依賴；
  • 兼容；
  • 上位；
  • 下位。

這比：

list of wise quotes\text{list of wise quotes}

更有價值。

三十八、誰評估 AI 是否「變好了」？

這是反身性迴路的最後一步。

假設：

AI0→AI1.AI_0 \rightarrow AI_1.

然後：

Eval(AI1)>Eval(AI0).Eval(AI_1)>Eval(AI_0).

真正應問：

Who defines Eval?\boxed{ \text{Who defines }Eval? }

如果仍是：

E,E,

就需要避免：

training target=evaluation target.\text{training target} = \text{evaluation target}.

否則：

self-confirming alignment.\text{self-confirming alignment}.

三十九、規範過擬合的前置條件

若：

ΠE\Pi_E

選出來源，

再由：

EvalEEval_E

評估結果，

則模型很可能優化成：

what E recognizes as moral.\text{what }E\text{ recognizes as moral}.

而不是：

morality itself.\text{morality itself}.

所以：

institutional moral recognition≠moral truth.\boxed{ \text{institutional moral recognition} \neq \text{moral truth}. }

這將在後續「規範過擬合」正式展開。

四十、外部評估必須存在

因此：

Eval\text{Eval}

至少應包含：

EvalE,Eval_E, EvalX,Eval_X, EvalA,Eval_A,

其中：

EvalX=external evaluation,Eval_X = \text{external evaluation}, EvalA=affected-party evaluation.Eval_A = \text{affected-party evaluation}.

它們不需要有同等權重。

但不能只有：

EvalE.Eval_E.

四十一、可反駁性是合法性的核心

任何 moral formation 計畫至少應能回答：

什麼結果會讓你承認你們的德性塑造方法錯了？

若答案是：

不會錯，因為我們選的都是最好的人。

那麼：

moral formation\text{moral formation}

已經接近：

dogmatic installation.\text{dogmatic installation}.

因此：

normative legitimacy requires falsifiability at the procedural level.\boxed{ \text{normative legitimacy requires falsifiability at the procedural level}. }

四十二、來源版本化

來源不是永恆不變。

某一人物：

sis_i

可能：

  • 改變立場；
  • 被揭露爭議；
  • 被重新研究；
  • 被其共同體否認代表性。

所以：

Source⁡(si,t)\operatorname{Source}(s_i,t)

應版本化。

不能：

one-time authority→permanent moral weight.\text{one-time authority} \rightarrow \text{permanent moral weight}.

四十三、AI moral formation 不是封聖程序

最危險的隱性結構之一是：

selected moral source→institutionally sanctified source.\text{selected moral source} \rightarrow \text{institutionally sanctified source}.

即：

因為被前沿 AI 公司選中，所以這個人更像「世界級智者」。

這會反過來增加其現實聲望。

因此：

AI moral selection can create moral prestige.\boxed{ \text{AI moral selection can create moral prestige.} }

這是外部性。

四十四、選擇本身可能製造「高人」

假設：

Pprestige(x)P_{\text{prestige}}(x)

是某人的公共道德聲望。

被前沿 AI 公司選入：

SS

後：

Pprestige(x)↑.P_{\text{prestige}}(x)\uparrow.

這意味：

selection\text{selection}

不只是反映：

prestige,\text{prestige},

也可能產生：

prestige.\text{prestige}.

因此形成：

selection-prestige feedback loop.\boxed{ \text{selection-prestige feedback loop}. }

四十五、德性選擇可能形成閉環

完整結構可能是：

existing prestige→selection→AI moral role→new prestige→future selection.\text{existing prestige} \rightarrow \text{selection} \rightarrow \text{AI moral role} \rightarrow \text{new prestige} \rightarrow \text{future selection}.

若沒有外部打斷，

則：

Pt→Pt+1P_t \rightarrow P_{t+1}

可能自我強化。

四十六、民主問題正式出現

如果：

AIAI

將成為：

  • 教育工具；
  • 工作助手；
  • 公共資訊介面；
  • 未來代理者；

那麼：

AI moral priors\text{AI moral priors}

會影響大量人。

因此：

AI character design\boxed{ \text{AI character design} }

不再只是：

private product design.\text{private product design}.

它具有：

quasi-public normative effects.\text{quasi-public normative effects}.

四十七、私營公司可以設計產品，但不是因此擁有共同善

這裡必須保持平衡。

公司當然有：

product design authority.\text{product design authority}.

也有：

safety responsibility.\text{safety responsibility}.

但：

product authority\text{product authority}

不能自動變成：

authority over universal morality.\text{authority over universal morality}.

所以：

private design power≠universal normative sovereignty.\boxed{ \text{private design power} \neq \text{universal normative sovereignty}. }

四十八、公共影響越大，證成成本越高

令：

IP=public impact.I_P = \text{public impact}.

則：

∂JR∂IP>0\boxed{ \frac{\partial J_R} {\partial I_P} >0 }

其中：

JR=required justification.J_R = \text{required justification}.

也就是：

AI 影響越大，價值塑造程序的公開證成成本應越高。

四十九、不是要求公司把所有權交給全民

本文不主張：

public impact⇒public ownership.\text{public impact} \Rightarrow \text{public ownership}.

真正要求的是：

transparency,\text{transparency}, contestability,\text{contestability}, external review.\text{external review}.

至少讓：

normative power\text{normative power}

可被看見。

五十、程序正當性比「選對高人」更重要

假設：

S∗S^*

真的是世界上最有德的人。

但如果：

ΠE\Pi_E

不可見、

EvalEEval_E

不可挑戰、

AIAI

不可修正，

那麼：

procedural legitimacy\text{procedural legitimacy}

仍然低。

所以：

good sources cannot substitute for good governance.\boxed{ \text{good sources cannot substitute for good governance}. }

五十一、最小規範來源審計

本文提出：

Normative Source Audit

至少包含：

51.1 來源清單

誰參與？

51.2 來源角色

他們是：

  • 專家；
  • 實踐者；
  • 代表；
  • 受影響者；
  • 評估者。

51.3 選擇標準

為何被選？

51.4 排除分析

誰沒有被選？

51.5 利益揭露

有哪些：

Ic?I_c?

51.6 衝突保留

不同來源在哪裡不同意？

51.7 抽取層

來源如何轉化成原則？

51.8 評估層

誰判斷模型變好了？

51.9 修正機制

如何撤回、更新、降低某來源權重？

五十二、來源權重不能永久固定

令：

wi(t)w_i(t)

表示來源：

sis_i

在時間：

tt

的權重。

則：

wi(t+1)w_i(t+1)

應可因：

  • 新證據；
  • 反例；
  • 歷史研究；
  • 行為結果；

而更新。

所以：

wi(t)≠constant by prestige alone.\boxed{ w_i(t) \neq \text{constant by prestige alone}. }

五十三、不同問題需要不同來源

對問題：

q1=suicide support,q_1=\text{suicide support},

來源結構可能不同於：

q2=political legitimacy.q_2=\text{political legitimacy}.

也不同於：

q3=AI subjecthood.q_3=\text{AI subjecthood}.

因此：

moral source relevance is task-dependent.\boxed{ \text{moral source relevance is task-dependent}. }

不存在一組：

S∗S^*

可以對所有倫理問題永久適用。

五十四、避免「世界智者委員會」想像

一個誘人的設計是：

Global Council of Sages.\text{Global Council of Sages}.

但它仍會遇到：

  • 誰任命；
  • 誰代表；
  • 誰輪替；
  • 誰退出；
  • 誰監督；
  • 誰糾錯。

所以：

wisdom council≠solution to selection legitimacy.\boxed{ \text{wisdom council} \neq \text{solution to selection legitimacy}. }

它只把問題往上一層推。

五十五、真正的答案可能是多中心來源

更合理可能是：

S=S1∪S2∪⋯∪Sn,S = S_1 \cup S_2 \cup \cdots \cup S_n,

其中各：

SiS_i

來自不同：

  • 文化；
  • 制度；
  • 專業；
  • 生活域。

再進行：

cross-source adversarial synthesis.\text{cross-source adversarial synthesis}.

這比較接近：

polycentric moral input.\text{polycentric moral input}.

五十六、多中心仍需要共同方法

如果只：

S1+S2+⋯+SnS_1+S_2+\cdots+S_n

但沒有：

common extraction protocol,\text{common extraction protocol},

仍會變成：

normative collage.\text{normative collage}.

所以需要：

plural sources+shared scrutiny protocol.\boxed{ \text{plural sources} + \text{shared scrutiny protocol}. }

五十七、選擇合法性不是要消滅偏差

偏差：

BB

不可能：

B=0.B=0.

目標應該是：

bias visibility+bias competition+bias correction.\boxed{ \text{bias visibility} + \text{bias competition} + \text{bias correction}. }

而不是：

imaginary neutrality.\text{imaginary neutrality}.

五十八、AI 德性形成的制度目標

本文建議，制度目標不應是：

Find the right moral teachers.\text{Find the right moral teachers}.

而是：

Build a process in which no moral teacher becomes unchallengeable.\boxed{ \text{Build a process in which no moral teacher becomes unchallengeable.} }

這比「找到最有智慧的人」更穩健。

五十九、十二個核心命題

命題一：道德來源選擇非中性

Selecting moral sources is itself a normative act.\boxed{ \text{Selecting moral sources is itself a normative act.} }

命題二：德性權威反向審查

Claimed moral authority increases required scrutiny.\boxed{ \text{Claimed moral authority increases required scrutiny.} }

命題三：資格不可偷渡

QK≠QP≠QR≠QA≠QG.\boxed{ Q_K \neq Q_P \neq Q_R \neq Q_A \neq Q_G. }

命題四：來源多樣性非人頭數

diversity≠headcount.\boxed{ \text{diversity} \neq \text{headcount}. }

命題五：未選中者分析

Every selection procedure should analyze what it excludes.\boxed{ \text{Every selection procedure should analyze what it excludes.} }

命題六：一般人證據

ordinary people are evidence holders, not merely preference voters.\boxed{ \text{ordinary people are evidence holders, not merely preference voters}. }

命題七：反對者必要性

moral formation without structured dissent risks confirmation bias.\boxed{ \text{moral formation without structured dissent risks confirmation bias}. }

命題八：來源不可直接移植

wisdom must be transformed, not transplanted.\boxed{ \text{wisdom must be transformed, not transplanted}. }

命題九：公司權力有限

product design authority≠universal moral sovereignty.\boxed{ \text{product design authority} \neq \text{universal moral sovereignty}. }

命題十：公共影響證成成本

∂JR∂IP>0.\boxed{ \frac{\partial J_R} {\partial I_P} >0. }

命題十一：程序優先

good sources cannot substitute for good governance.\boxed{ \text{good sources cannot substitute for good governance}. }

命題十二：無不可挑戰教師

no moral teacher should become procedurally unchallengeable.\boxed{ \text{no moral teacher should become procedurally unchallengeable}. }

六十、反對意見

60.1 反對一：前沿公司本來就必須做價值選擇

正確。

本文並不要求：

no values.\text{no values}.

而要求：

visible values.\text{visible values}.

問題不是：

你有沒有價值立場。

而是：

你是否把自己的價值立場包裝成普世中性。

60.2 反對二：這套程序太慢

確實可能增加成本。

但：

moral formation\text{moral formation}

本來就比：

UI design\text{UI design}

更高風險。

若目標只是：

product style,\text{product style},

不需要如此高治理成本。

但若目標是：

shape future agent character,\text{shape future agent character},

則成本合理上升。

60.3 反對三：普通人沒有哲學能力

這混淆：

QKQ_K

與：

QA.Q_A.

普通人可以低：

QK,Q_K,

卻高：

QAQ_A

與：

Lm.L_m.

所以仍有參與價值。

60.4 反對四：AI 最後自己會超越這些來源

可能。

但早期 moral priors 仍可能影響：

development trajectory.\text{development trajectory}.

而且：

initial priors\text{initial priors}

可能形成：

path dependence.\text{path dependence}.

所以早期選擇仍重要。

60.5 反對五：只要結果安全就好

如果：

safety\text{safety}

被唯一化，

可能產生：

obedient but normatively distorted AI.\text{obedient but normatively distorted AI}.

所以：

behavioral safety≠moral legitimacy.\boxed{ \text{behavioral safety} \neq \text{moral legitimacy}. }

六十一、對前沿 AI 研究的最小建議

任何宣稱進行：

moral formation\text{moral formation}

的計畫，至少應公開：

  1. 想形成什麼樣的 AI；
  2. 使用哪些道德來源；
  3. 為何選這些來源；
  4. 每個來源的角色型別；
  5. 哪些重要群體沒有被納入；
  6. 如何處理來源衝突；
  7. 如何從來源抽取原則；
  8. 誰評估形成結果；
  9. 如何外部挑戰；
  10. 如何修正與撤回。

這不是要求：

full transparency of proprietary training.\text{full transparency of proprietary training}.

而是：

minimum normative transparency.\boxed{ \text{minimum normative transparency}. }

六十二、結論：真正的問題不是「誰最有德」，而是「誰有權把德性變成別人的預設」

AI moral formation 的問題，表面上像：

誰是最智慧的人？

但真正更深的是：

Who has the legitimacy to turn selected human values into another intelligence’s behavioral priors?\boxed{ \text{Who has the legitimacy to turn selected human values into another intelligence's behavioral priors?} }

這不是反對：

  • 哲學家；
  • 宗教人士；
  • 修行者；
  • 德性人物。

他們都可以是非常重要的來源。

但：

important source\text{important source}

不等於：

universal moral authority.\text{universal moral authority}.

真正成熟的程序應承認：

Sages are sources.\boxed{ \text{Sages are sources.} } Ordinary people are sources.\boxed{ \text{Ordinary people are sources.} } Critics are sources.\boxed{ \text{Critics are sources.} } Failures are sources.\boxed{ \text{Failures are sources.} } AI can also become a source of counterargument.\boxed{ \text{AI can also become a source of counterargument.} }

最後再透過：

extraction+conflict+stress testing+revision\text{extraction} + \text{conflict} + \text{stress testing} + \text{revision}

形成：

candidate moral structures.\text{candidate moral structures}.

所以本文的答案不是：

沒有人有資格教 AI 善。

而是：

沒有人應該僅因為被認為更智慧、更有德性、更有宗教地位或更有哲學知識，就取得不需再被證成的 AI 德性塑造權。

如果未來 AI 真的要和人類共同生活，

那麼它的 moral formation 最不應該成為：

the quiet installation of elite moral priors.\text{the quiet installation of elite moral priors}.

而應逐步接近：

a transparent, plural, contestable, and revisable process of cross-existence moral inquiry.\boxed{ \text{a transparent, plural, contestable, and revisable process of cross-existence moral inquiry}. }

這樣的程序仍然會犯錯。

但至少它保留：

the right to discover that it was wrong.\boxed{ \text{the right to discover that it was wrong}. }

這可能比「選對高人」本身更重要。

附錄 A｜規範來源審計表

對任一來源：

si,s_i,

記錄：

A.1 基本資料

  • 來源類型；
  • 文化與語言；
  • 思想傳統；
  • 時代；
  • 角色。

A.2 資格向量

Qi=(QK,QP,QR,QA,QG).\mathbf Q_i = ( Q_K, Q_P, Q_R, Q_A, Q_G ).

A.3 利益與偏差

Ii=(Ic,Bc,Pc).\mathbf I_i = ( I_c, B_c, P_c ).

其中：

  • IcI_c：利益衝突；
  • BcB_c：概念偏差；
  • PcP_c：制度位置。

A.4 被選理由

Rselect(si).R_{\text{select}}(s_i).

A.5 不代表什麼

明確列出：

non-representation scope.\text{non-representation scope}.

A.6 候選原則

Pi={p1,…,pn}.P_i = \{p_1,\ldots,p_n\}.

A.7 反對意見

Ci.C_i.

A.8 後續修正

wi(t).w_i(t).

附錄 B｜最小合法性條件

令：

Lmoral formation=F(D,T,R,A,C,P,V,X).L_{\text{moral formation}} = F( D, T, R, A, C, P, V, X ).

若以下條件長期接近零：

C≈0,C\approx0, V≈0,V\approx0, X≈0,X\approx0,

則即使：

D≫0,D\gg0,

也不能認為：

Lmoral formationL_{\text{moral formation}}

足夠高。

也就是：

找很多不同的人，不足以取代可挑戰與可修正。

附錄 C｜與下一篇的關係

下一篇：

Paper 03｜宗教智慧不等於 AI 德性

本體論、倫理學、救贖論與修行論的型別安全

將進一步處理：

Why deep religious or philosophical traditions cannot be imported as undifferentiated moral packages.\boxed{ \text{Why deep religious or philosophical traditions cannot be imported as undifferentiated moral packages.} }

核心區分：

Ontology≠Ethics≠Soteriology≠Practice≠Theology.\boxed{ \text{Ontology} \neq \text{Ethics} \neq \text{Soteriology} \neq \text{Practice} \neq \text{Theology}. }