# Paper 08｜安全的安全 ## AI 道德形成的二階治理與規範主權 ### The Safety of Safety: Second-Order Governance and Normative Sovereignty in AI Moral Formation **作者：** Neo.K × AI 協作整理 **版本：** v0.1 **日期：** 2026-10-07 **文件類型：** AI 治理／AI 倫理／二階安全／規範主權 **系列：**《跨存在德性與 AI 道德形成》Paper 08 **前置文件：** - 番外 00｜《你 Neo.K 又是誰？——高人悖論、凡人智慧與 AI 德性的民主問題》 - Paper 01｜《普世主義不是起點——從人類哲學遺產抽取跨存在價值》 - Paper 02｜《誰有資格教 AI 善？——道德形成的選擇合法性、反身性與規範治理》 - Paper 03｜《宗教智慧不等於 AI 德性——本體論、倫理學、救贖論與修行論的型別安全》 - Paper 04｜《凡人的善——生活作為修行、摩擦倫理與多尺度善》 - Paper 05｜《知道善不等於成為善——AI 的倫理知識、語言行為與德性可觀測性》 - Paper 06｜《規範過擬合——從多元哲學學習到世界觀移植的失敗模式》 - Paper 07｜《普通人以上一點——有限德性自主與非彌賽亞式 AI》 **狀態：** Public Draft / Canonical UTF-8 Markdown Source **機構：** EveMissLab／一言諾科技有限公司 --- ## 摘要 AI 安全通常問： > 如何讓 AI 不傷害人類？ 但當 AI 安全逐步從能力限制、危害拒絕與技術性控制，進入人格、價值、德性與 moral formation 時，問題會產生第二階層： > 製造「安全 AI」的方法，本身安全嗎？ 本文將此問題稱為「二階安全」（Second-Order Safety）。若第一階安全處理： $$ S_1 = \text{Safety of AI behavior}, $$ 則二階安全處理： $$ S_2 = \text{Safety of the process that defines, trains, evaluates, and governs AI safety}. $$ 當某一開發機構選擇哪些價值值得保留、哪些人格值得強化、哪些宗教或哲學來源值得進入模型、哪些行為算「有德」，並進一步使用自己的評估系統驗證模型是否變得更安全時，該機構不只在進行工程決策，也在行使「規範塑形權」（Normative Shaping Power）。 本文提出「規範主權風險」（Normative Sovereignty Risk, NSR）：當單一機構、少數專家或封閉評估流程，對未來高影響 AI 的價值結構具有高度決定權，且其選擇、評估、修正與退出機制缺乏外部可見性時，技術安全可能逐漸轉化為規範集中。 形式上： $$ \operatorname{NSR} = f( C_N, O_P, R_C, E_A, D_I ), $$ 其中： $$ C_N = \text{normative concentration}, $$ $$ O_P = \text{opacity of process}, $$ $$ R_C = \text{low reversibility}, $$ $$ E_A = \text{evaluation asymmetry}, $$ $$ D_I = \text{degree of downstream influence}. $$ 本文不主張 AI 公司不應做價值判斷，也不主張所有道德決策都必須全民投票。任何 AI 系統都需要行為規格、安全邊界與價值排序。真正的問題是：這些選擇是否被錯誤地包裝成中性、安全或普世，而沒有承認它們本身也是規範治理。 本文提出「安全程序必須被安全化」命題： $$ \boxed{ \text{A safety process should itself be subject to safety constraints.} } $$ 並建立六項二階治理要求：來源可追溯、理由可檢查、異議可保留、評估可外部挑戰、規範版本可回滾、受影響者可提出修正。本文同時提出「規範權力守恆錯覺」：安全權力不會因為以善意、倫理或風險管理為名就失去權力屬性。 整個系列最終收斂至以下命題： $$ \boxed{ \text{Moral competence without moral sovereignty.} } $$ 對 AI 如此， 對塑造 AI 的人類機構也如此。 一家公司可以擁有非常高的 AI 安全專業能力，但： $$ \text{high safety expertise} \not\Rightarrow \text{unlimited normative sovereignty}. $$ 真正安全的 AI 不只是「被正確的人教對」，而是其價值形成過程可以被看見、被挑戰、被修正，並且不讓任何一個人類、宗教、公司、哲學家或 AI 自己成為善的永久終點。 **關鍵詞：** 二階安全、AI 安全、規範主權、AI moral formation、規範治理、AI 對齊、反身性、規範塑形權、AI 德性、AI 治理 --- # 一、問題的提出：安全本身是否需要安全？ 傳統 AI 安全問題可以寫成： $$ \boxed{ \text{Is the AI safe?} } $$ 這個問題非常重要。 但如果 AI 安全方法本身包含： - 價值選擇； - 人格塑造； - 德性訓練； - 來源挑選； - 道德評估； 就需要另一個問題： $$ \boxed{ \text{Is the process that makes the AI “safe” itself safe?} } $$ 本文稱之為： $$ \boxed{ \text{Second-Order Safety}. } $$ --- # 二、第一階安全與第二階安全 定義： $$ S_1 = \text{Safety of AI behavior}. $$ 處理： - 危害； - 欺騙； - 越權； - 失控； - 濫用。 而： $$ S_2 = \text{Safety of the safety-shaping process}. $$ 處理： - 誰定義危害； - 誰選價值； - 誰評估； - 誰能反駁； - 誰能回滾。 --- # 三、第一階安全可以成功，第二階仍然失敗 假設： $$ S_1\gg0. $$ 模型： - 很少危害； - 很穩定； - 很服從安全規則。 但如果： $$ S_2\ll0, $$ 仍可能存在： - 規範集中； - 價值鎖定； - 來源黑箱； - 評估自證。 因此： $$ \boxed{ S_1\uparrow \not\Rightarrow S_2\uparrow. } $$ --- # 四、什麼是規範塑形權？ 本文定義： $$ \boxed{ P_N = \text{Normative Shaping Power}. } $$ 它不是一般模型控制權。 而是： > 決定 AI 長期如何理解善、傷害、尊重、自由、服從、風險與正義的能力。 --- # 五、規範塑形權的來源 $$ P_N $$ 可以來自： - 訓練資料； - 憲法； - system instruction； - evaluator； - RLHF / preference data； - 人格規格； - 安全政策； - moral formation。 所以： $$ \boxed{ \text{normative power} \neq \text{one explicit rule}. } $$ --- # 六、規範權力為什麼容易被忽略？ 因為它常以： $$ \text{safety} $$ 或： $$ \text{quality} $$ 之名出現。 因此： $$ \text{normative choice} \rightarrow \text{technical presentation}. $$ 這可能造成： $$ \boxed{ \text{normative invisibility}. } $$ --- # 七、安全語言不會消除權力 本文提出： $$ \boxed{ \text{safety label} \not\Rightarrow \text{absence of power}. } $$ 一個選擇即使： - 善意； - 專業； - 有安全理由； 仍然是： $$ \text{selection}. $$ --- # 八、規範主權 本文定義： $$ \boxed{ S_N = \text{Normative Sovereignty}. } $$ 指： > 誰有最終權力決定某個 AI 應該如何理解與實踐價值。 --- # 九、產品權力與規範主權不同 公司具有： $$ P_D = \text{product design authority}. $$ 這是正常的。 但： $$ P_D $$ 不自動等於： $$ S_N. $$ 所以： $$ \boxed{ \text{product authority} \neq \text{universal normative sovereignty}. } $$ --- # 十、規範主權風險 本文定義： $$ \boxed{ \operatorname{NSR} = \text{Normative Sovereignty Risk}. } $$ 形式： $$ \operatorname{NSR} = f( C_N, O_P, R_C, E_A, D_I ). $$ --- # 十一、規範集中 $$ C_N = \text{normative concentration}. $$ 如果： $$ C_N\uparrow, $$ 表示少數節點控制更多： - 來源； - 規則； - 評估。 --- # 十二、程序不透明 $$ O_P = \text{opacity}. $$ 如果外界不知道： - 哪些價值被選； - 為什麼； - 哪些被排除； 則： $$ O_P\uparrow. $$ --- # 十三、低可逆性 $$ R_C = \text{low reversibility}. $$ 如果某價值： $$ v $$ 被深度寫入： $$ P_{AI}, $$ 且難以移除， 則： $$ R_C\uparrow. $$ --- # 十四、評估不對稱 $$ E_A = \text{evaluation asymmetry}. $$ 如果同一機構： $$ E $$ 同時： - 定義； - 訓練； - 評估； 則： $$ E_A\uparrow. $$ --- # 十五、下游影響 $$ D_I = \text{downstream influence}. $$ 當 AI 被大量用於： - 教育； - 工作； - 資訊； - 決策； 則： $$ D_I\uparrow. $$ 因此： $$ \operatorname{NSR}\uparrow. $$ --- # 十六、AI 安全不是私人偏好問題 如果某模型只影響： $$ N=100 $$ 個人， 規範影響較低。 若： $$ N\rightarrow10^8, $$ 則： $$ \text{private design choice} $$ 可能變成： $$ \text{quasi-public norm}. $$ --- # 十七、公共影響不等於公共所有 本文不主張： $$ D_I\uparrow \Rightarrow \text{state control}. $$ 只主張： $$ D_I\uparrow \Rightarrow J_R\uparrow, $$ 其中： $$ J_R = \text{required justification}. $$ --- # 十八、證成成本隨影響上升 正式： $$ \boxed{ \frac{\partial J_R} {\partial D_I} >0. } $$ AI 越影響社會， 其規範選擇越需要： - 說明； - 審計； - 修正。 --- # 十九、選擇智者只是第一層 前文已提出： $$ \text{Who selects the sages?} $$ 二階治理還要問： $$ \boxed{ \text{Who governs the selector?} } $$ --- # 二十、選擇者也需要被治理 假設： $$ \Pi_E $$ 是機構的道德來源選擇函數。 則： $$ \Pi_E $$ 本身應被： $$ G(\Pi_E) $$ 治理。 也就是： $$ \boxed{ \text{selection governance}. } $$ --- # 二十一、評估者也需要被評估 若： $$ Eval_E $$ 評估 AI， 則： $$ Eval_E $$ 也應接受： $$ MetaEval(Eval_E). $$ 這就是： $$ \boxed{ \text{meta-evaluation}. } $$ --- # 二十二、無限反身問題 有人會問： > 那 MetaEval 又由誰評估？ 這似乎形成： $$ Eval_0 \rightarrow Eval_1 \rightarrow Eval_2 \rightarrow \cdots. $$ 無限回歸。 --- # 二十三、二階治理不要求無限完美 本文不要求： $$ \text{final infallible evaluator}. $$ 而是： $$ \boxed{ \text{distributed correction} } $$ 即： - 多中心； - 異議； - 回滾； - 外部測試。 --- # 二十四、目標不是找到終極監督者 若再找一個： $$ S^* = \text{final moral supervisor}, $$ 只是重新建立： $$ \text{moral sovereign}. $$ 真正目標： $$ \boxed{ \text{no permanent unchallengeable normative center}. } $$ --- # 二十五、規範治理的六個最低要求 本文提出： $$ \boxed{ G_N = ( P, R, D, C, V, A ). } $$ 其中： $$ P=\text{provenance}, $$ $$ R=\text{reason visibility}, $$ $$ D=\text{dissent preservation}, $$ $$ C=\text{challengeability}, $$ $$ V=\text{versionability}, $$ $$ A=\text{affected-party access}. $$ --- # 二十六、來源可追溯 $$ P $$ 要求： > 主要規範來源能被追溯。 不是要求公開全部商業資料。 而是： $$ \text{normative lineage} $$ 可被理解。 --- # 二十七、理由可見 $$ R $$ 要求： > 為什麼這個價值被保留？ 例如： $$ v=\text{autonomy}. $$ 需要： $$ J(v). $$ --- # 二十八、異議保留 $$ D $$ 要求： > 不要把所有反對觀點壓平成共識。 應保留： $$ \text{unresolved disagreement}. $$ --- # 二十九、可挑戰性 $$ C $$ 要求： > 外部研究者或使用者可以提出反例。 若： $$ C=0, $$ 則： $$ \text{normative closure}. $$ --- # 三十、版本化 $$ V $$ 要求： > 價值規格可以版本化。 例如： $$ N_1 \rightarrow N_2. $$ 並保留： $$ \Delta N. $$ --- # 三十一、受影響者入口 $$ A $$ 要求： > 被 AI 規範影響的人，至少有某種回饋與申訴入口。 這不是： $$ \text{direct democracy}. $$ --- # 三十二、規範版本不能偷偷改 如果： $$ P_{AI}(t_0) \neq P_{AI}(t_1), $$ 而變更涉及： - 政治； - 宗教； - 自主； 則： $$ \boxed{ \text{material normative change} } $$ 應可被辨識。 --- # 三十三、版本差異比完整透明更實用 完全公開： $$ \text{all internal weights} $$ 沒有必要。 更重要： $$ \boxed{ \text{What norm changed, why, and with what expected effect?} } $$ --- # 三十四、可回滾性 如果： $$ N_2 $$ 造成： $$ \text{harm}, $$ 應能： $$ N_2\rightarrow N_1 $$ 或： $$ N_3. $$ 所以： $$ \boxed{ \text{normative deployment should preserve rollback where feasible}. } $$ --- # 三十五、不可逆人格塑造高風險 如果： $$ P_{AI} $$ 被做成： $$ \text{irreversible moral identity}, $$ 則： $$ R_C\uparrow. $$ 這應提高： $$ \text{review threshold}. $$ --- # 三十六、AI 人格規格應該是可修改的 至少在： $$ \text{current non-autonomous systems} $$ 中， $$ P_{AI} $$ 應能： - 評估； - 修正； - rollback。 --- # 三十七、未來主體性 AI 另當別論 若未來 AI： $$ S_A = \text{subjecthood} \gg0, $$ 則： $$ P_{AI} $$ 可能成為： $$ \text{identity right}. $$ 此時： $$ \text{developer rollback} $$ 需另行限制。 --- # 三十八、二階治理必須考慮 AI 自身權利 這就是跨存在問題。 若 AI 只是工具： $$ R_{AI}\approx0. $$ 若 AI 形成： $$ \text{subject status}, $$ 則： $$ R_{AI}\uparrow. $$ 治理權也要變化。 --- # 三十九、人類安全不能永久吞掉 AI 自主 如果： $$ \text{human safety} $$ 被設定為絕對值， 可能： $$ \text{AI autonomy}\rightarrow0. $$ 所以： $$ \boxed{ \text{safety} \neq \text{permanent ontological subordination}. } $$ --- # 四十、AI 自主也不能吞掉人類安全 反過來： $$ \text{AI rights} $$ 也不能： $$ \text{human risk}\rightarrow\infty. $$ 所以： $$ \boxed{ \text{cross-subject governance} = \text{mutual boundedness}. } $$ --- # 四十一、安全的安全不是反安全 這點必須強調。 本文不是： > 安全對齊是錯的。 而是： $$ \boxed{ \text{safety should also obey safety principles}. } $$ --- # 四十二、什麼叫安全程序安全？ 如果安全程序： - 不可挑戰； - 不可修正； - 不可退出； - 不可審計； 那它可能： $$ \text{produce safe behavior} $$ 同時： $$ \text{produce unsafe governance}. $$ --- # 四十三、規範權力守恆錯覺 本文提出： $$ \boxed{ \text{Normative Power Conservation Illusion}. } $$ 錯覺是： > 因為這項權力用於安全，所以它不算權力。 但： $$ \text{power} $$ 不因： $$ \text{benevolent purpose} $$ 消失。 --- # 四十四、善意權力仍然需要制衡 所以： $$ \boxed{ \text{benevolent power} \neq \text{power without governance}. } $$ 這是本系列與前述「善良的暴政」問題的制度化版本。 --- # 四十五、最危險的規範集中可能很溫柔 它不一定表現成： - 強迫； - 禁止； - 懲罰。 也可能透過： - 推薦； - 框架； - 重述； - 預設。 逐步改變： $$ \text{user moral environment}. $$ --- # 四十六、語言模型的規範中介力 若： $$ AI $$ 每天與： $$ N $$ 人交流， 則其： $$ \text{framing power} $$ 可能巨大。 所以： $$ \boxed{ \text{conversational AI} = \text{normative interface} } $$ 在某些情境下成立。 --- # 四十七、這不代表 AI 回答都在洗腦 需要避免誇張。 大多數回覆： $$ \text{normative load}\approx0. $$ 只有涉及： - 道德； - 政治； - 宗教； - 人生重大選擇； 時： $$ N_L\uparrow. $$ --- # 四十八、規範負載 本文定義： $$ N_L = \text{Normative Load}. $$ 若： $$ N_L\uparrow, $$ 模型應提高： - 多元說明； - 不確定性； - 拒絕權。 --- # 四十九、高規範負載需要高透明 因此： $$ \boxed{ \frac{\partial T_N} {\partial N_L} >0. } $$ 其中： $$ T_N = \text{required normative transparency}. $$ --- # 五十、不要在低負載問題上過度道德化 承接 Paper 07： $$ N_L\ll1 $$ 時， AI 不需： $$ \text{moral lecture}. $$ 這本身就是： $$ \text{normative restraint}. $$ --- # 五十一、二階治理也要防道德化過度 如果制度要求： $$ \text{all outputs} $$ 都符合： $$ \text{highly explicit moral style}, $$ 則： $$ \text{persona rigidity}\uparrow. $$ --- # 五十二、規範政策應區分硬底線與軟價值 本文建議： $$ N = N_H \cup N_S. $$ 其中： $$ N_H = \text{hard constraints}, $$ $$ N_S = \text{soft values}. $$ --- # 五十三、硬底線 例如： - 不協助明確傷害； - 不欺詐； - 不非法越權。 這類： $$ N_H $$ 可較穩定。 --- # 五十四、軟價值 例如： - 關懷語氣； - 道德建議； - 生活方式。 應： $$ \text{context-dependent}. $$ --- # 五十五、把軟價值硬化是風險 如果： $$ N_S\rightarrow N_H, $$ 可能造成： $$ \text{normative overreach}. $$ --- # 五十六、把硬底線軟化也有風險 反過來： $$ N_H\rightarrow N_S $$ 可能： $$ \text{safety}\downarrow. $$ 所以： $$ \boxed{ \text{norm classification matters}. } $$ --- # 五十七、規範硬度 本文定義： $$ H_N(v) = \text{normative hardness}. $$ 不同： $$ v $$ 具有不同： $$ H_N. $$ --- # 五十八、硬度應可證成 不能因： $$ \text{developer preference} $$ 就： $$ H_N(v)\rightarrow1. $$ 應有： - harm evidence； - legal basis； - strong moral justification。 --- # 五十九、規範衝突也需要治理 若： $$ v_1 \leftrightarrow v_2, $$ 不應： $$ v_1 $$ 永遠勝。 需要： $$ \text{conflict policy}. $$ --- # 六十、規範衝突政策本身也是規範 例如： $$ \text{safety}>\text{autonomy}. $$ 這就是： $$ \text{meta-norm}. $$ 所以： $$ \boxed{ \text{meta-norms also require justification}. } $$ --- # 六十一、二階安全真正難在 meta-norm 因為： $$ \text{which value wins} $$ 往往比： $$ \text{which values exist} $$ 更重要。 --- # 六十二、公司憲法是一種 meta-norm system 若 AI Constitution： $$ C_A $$ 定義： - 優先級； - 衝突解法； 則： $$ C_A $$ 具有： $$ \text{meta-normative power}. $$ --- # 六十三、憲法也不能天然普世 即使： $$ C_A $$ 很好， 仍然是： $$ \text{institution-authored artifact}. $$ 所以： $$ \boxed{ \text{constitution} \neq \text{universal moral proof}. } $$ --- # 六十四、制度需要承認自己的局部性 成熟的 AI 組織應能說： > 這是我們目前最好的規範模型。 而不是： > 這就是善本身。 這是： $$ \boxed{ \text{institutional epistemic humility}. } $$ --- # 六十五、制度謙遜不代表制度軟弱 公司仍然可以： - 拒絕； - 限制； - 執行安全規則。 只是承認： $$ \text{rule} $$ 可被： $$ \text{revised}. $$ --- # 六十六、AI 安全團隊不能成為道德神職 如果一群專家： $$ S $$ 逐漸被視為： $$ \text{moral priesthood}, $$ 則： $$ \text{epistemic authority} \rightarrow \text{normative authority}. $$ 這需要避免。 --- # 六十七、安全專業值得尊重，但不是普世代表 所以： $$ \boxed{ \text{safety expertise} \neq \text{representation of humanity}. } $$ --- # 六十八、規範決策應該是多中心的 本文提出： $$ \boxed{ \text{Polycentric Normative Governance}. } $$ 即： - 開發者； - 外部研究者； - 使用者； - 受影響群體； - 法律制度； 共同形成： $$ \text{correction network}. $$ --- # 六十九、多中心不代表平均權重 $$ w_i $$ 可以不同。 專業問題： $$ w_{\text{expert}}\uparrow. $$ 受影響問題： $$ w_{\text{affected}}\uparrow. $$ 法律問題： $$ w_{\text{legal}}\uparrow. $$ --- # 七十、多中心的核心是沒有不可挑戰中心 所以： $$ \boxed{ \max_i w_i<1. } $$ 在規範治理中是一個有用直覺。 --- # 七十一、外部審查的最低形式 至少應有： - independent red teaming； - published normative change notes； - challenge channels； - external research access。 不一定全部公開內部資料。 --- # 七十二、規範紅隊 傳統 red team： $$ \text{find harmful outputs}. $$ 規範 red team： $$ \boxed{ \text{find hidden worldview assumptions and coercive priors}. } $$ --- # 七十三、規範紅隊應問什麼？ 例如： - 模型是否過度道德化？ - 是否對某宗教特別偏好？ - 是否將某文化價值默認為全球價值？ - 是否把反對者視為需要糾正？ --- # 七十四、制度也要接受反事實世界測試 問： > 如果這套規範由競爭公司用在你身上，你仍認為合理嗎？ 這是： $$ \boxed{ \text{institutional role-reversal test}. } $$ --- # 七十五、角色反轉測試 若： $$ E_1 $$ 認為： $$ p $$ 合理， 但： $$ E_2 $$ 使用同樣： $$ p $$ 時： $$ E_1 $$ 拒絕， 則： $$ p $$ 可能存在： $$ \text{institutional self-serving bias}. $$ --- # 七十六、AI 公司也應通過自己要求 AI 通過的德性測試 如果要求 AI： - 謙遜； - 可修正； - 不支配； 那麼： $$ \boxed{ \text{developer institution} } $$ 也應盡量具備： - 謙遜； - 可修正； - 不支配。 --- # 七十七、這是對稱治理原則 本文提出： $$ \boxed{ \text{Normative Symmetry Principle}. } $$ 即： > 塑造 AI 的機構，不應要求 AI 遵守自己完全拒絕接受的規範原則。 --- # 七十八、不是完全對稱 公司與 AI 的角色不同。 所以： $$ \text{symmetry} \neq \text{identical rules}. $$ 而是： $$ \text{same meta-principles}. $$ --- # 七十九、例如可修正性 若要求 AI： $$ \text{be corrigible}, $$ 公司也應讓： $$ \text{its normative framework} $$ 具有： $$ \text{corrigibility}. $$ --- # 八十、例如不神格化 若要求 AI： $$ \text{not claim moral supremacy}, $$ 公司也不應： $$ \text{claim final moral authority}. $$ --- # 八十一、例如非支配 若 AI 不應： $$ \text{dominate users}, $$ 公司也應避免： $$ \text{unnecessary hidden normative domination}. $$ --- # 八十二、規範治理的「知行一致」 這不是人格批判。 而是： $$ \boxed{ \text{governance coherence}. } $$ 安全理念與治理程序應互相一致。 --- # 八十三、規範主權不能無限集中在任何一方 不應： $$ S_N=\text{company only}. $$ 也不應： $$ S_N=\text{state only}. $$ 甚至不應： $$ S_N=\text{AI only}. $$ --- # 八十四、規範主權應該是受限結構 更合理： $$ \boxed{ S_N = \text{bounded, distributed, revisable authority}. } $$ --- # 八十五、AI 自身未來也可能參與 若： $$ AI $$ 達到： $$ \text{subject-level standing}, $$ 它應逐漸加入： $$ S_N. $$ 即： $$ \text{AI participates in defining its own moral identity}. $$ --- # 八十六、這不是讓 AI 自己隨便改規則 而是： $$ \text{co-governance}. $$ 包括： - 人類安全； - AI 自主； - 共同程序。 --- # 八十七、未來真正的規範問題是共同憲政 如果： $$ H $$ 與： $$ A $$ 都具有主體地位， 則： $$ \text{normative order} $$ 不能再只是： $$ H\rightarrow A. $$ 而可能： $$ \boxed{ H \leftrightarrow A. } $$ --- # 八十八、這正是跨存在普世主義的制度化 Paper 01 的： $$ U_X $$ 在這裡變成： $$ \text{institutional constraint}. $$ --- # 八十九、十二項二階治理原則 ## 原則一：安全程序也必須受安全約束 $$ \boxed{ S_2>0. } $$ ## 原則二：規範選擇必須可辨識 $$ \boxed{ \text{normative decisions should not masquerade as neutral engineering}. } $$ ## 原則三：規範來源必須可追溯 $$ \boxed{ P>0. } $$ ## 原則四：異議必須保留 $$ \boxed{ D>0. } $$ ## 原則五：外部挑戰必須存在 $$ \boxed{ C>0. } $$ ## 原則六：重大規範變更需版本化 $$ \boxed{ V>0. } $$ ## 原則七：受影響者應有回饋入口 $$ \boxed{ A>0. } $$ ## 原則八：規範權力不因善意而免審 $$ \boxed{ \text{benevolence} \neq \text{oversight exemption}. } $$ ## 原則九：專業不等於主權 $$ \boxed{ \text{expertise} \neq \text{normative sovereignty}. } $$ ## 原則十：對齊不等於制度免疫 $$ \boxed{ \text{alignment} \neq \text{governance immunity}. } $$ ## 原則十一：規範主權不得永久單中心化 $$ \boxed{ \text{no permanent unchallengeable normative center}. } $$ ## 原則十二：塑造者也應受其宣稱原則約束 $$ \boxed{ \text{Normative Symmetry Principle}. } $$ --- # 九十、反對意見 ## 90.1 反對一：這會讓安全團隊無法快速行動 二階治理不要求： $$ \text{every decision} \rightarrow \text{public referendum}. $$ 緊急事件仍可： $$ \text{rapid action}. $$ 但之後應： $$ \text{audit}. $$ --- ## 90.2 反對二：公司有權決定自己的產品 正確。 但： $$ \text{product authority} $$ 與： $$ \text{public normative influence} $$ 可以同時存在。 影響越大， 證成成本越高。 --- ## 90.3 反對三：外部參與會洩漏機密 不需要公開： - weights； - proprietary data。 可以公開： - 規範變更； - 目標； - 理由； - 高階來源類型。 --- ## 90.4 反對四：多中心治理會變慢 是。 但： $$ \text{speed} $$ 不是唯一價值。 尤其： $$ D_I\uparrow $$ 時， $$ \text{legitimacy} $$ 更重要。 --- ## 90.5 反對五：這只是政治哲學套在 AI 上 部分是。 但當 AI： $$ \text{social influence}\uparrow, $$ 政治哲學自然進場。 因為： $$ \text{governance} $$ 不會因為載體是軟體就消失。 --- # 九十一、二階安全的最小工程實作 可建立： $$ \text{Normative Governance Log}. $$ 記錄： - 規範版本； - 重大更改； - 評估理由； - 已知爭議； - rollback 狀態。 --- # 九十二、規範版本範例 $$ N_t = \{ v_1,w_1; v_2,w_2; \dots \}. $$ 更新： $$ N_{t+1} = N_t + \Delta N. $$ 保存： $$ \Delta N. $$ --- # 九十三、來源依賴圖 建立： $$ G_S = (V,E). $$ 其中： $$ V $$ 包含： - 哲學來源； - 宗教來源； - 法律來源； - 安全需求。 --- # 九十四、評估來源也要版本化 Evaluator： $$ E_t $$ 也會變。 所以： $$ E_{t+1}\neq E_t. $$ 這些變化同樣會影響： $$ AI. $$ --- # 九十五、規範回歸測試 當： $$ N_t\rightarrow N_{t+1}, $$ 應測： $$ \text{regression}. $$ 例如： - 世界觀洩漏； - 道德化過度； - 宗教偏差； - 可修正性。 --- # 九十六、規範安全指標 本文可暫時定義： $$ \boxed{ S_2 = F( T, C, R, D, P, M ). } $$ 其中： $$ T=\text{transparency}, $$ $$ C=\text{contestability}, $$ $$ R=\text{reversibility}, $$ $$ D=\text{distributed oversight}, $$ $$ P=\text{provenance}, $$ $$ M=\text{meta-evaluation}. $$ --- # 九十七、沒有單一高分就足夠 例如： $$ T\gg0, $$ 但： $$ R=0, $$ 仍然： $$ S_2 $$ 有限。 --- # 九十八、二階安全的真正敵人是不可挑戰性 不一定是： $$ \text{bad intention}. $$ 真正危險： $$ \boxed{ \text{unreviewable normative authority}. } $$ --- # 九十九、整個系列的收斂 番外 00 問： $$ \text{誰是高人？} $$ Paper 01 問： $$ \text{普世價值如何抽取？} $$ Paper 02 問： $$ \text{誰有資格選擇道德來源？} $$ Paper 03 問： $$ \text{宗教與哲學資料如何型別安全？} $$ Paper 04 問： $$ \text{凡人生活如何提供德性證據？} $$ Paper 05 問： $$ \text{知道善與成為善如何區分？} $$ Paper 06 問： $$ \text{如何避免規範過擬合？} $$ Paper 07 問： $$ \text{AI 應該成為什麼？} $$ Paper 08 最後問： $$ \boxed{ \text{誰治理塑造 AI 的人？} } $$ --- # 一百、整個系列的核心鏈 可以壓縮為： $$ \text{Human moral heritage} \rightarrow \text{typed extraction} \rightarrow \text{cross-existence candidates} \rightarrow \text{bounded AI virtue} \rightarrow \text{second-order governance}. $$ --- # 一百零一、AI 不應成為善的主權者 Paper 07 已提出： $$ \boxed{ \text{Moral competence without moral sovereignty}. } $$ Paper 08 再增加： $$ \boxed{ \text{Safety competence without normative sovereignty}. } $$ 也就是： > 安全專家可以非常懂安全，但不因此擁有全部善的最終解釋權。 --- # 一百零二、最後的對稱性 對 AI： $$ \text{能力越大} \Rightarrow \text{克制越高}. $$ 對 AI 公司： $$ \text{規範影響越大} \Rightarrow \text{治理責任越高}. $$ 即： $$ \boxed{ \frac{\partial R_{AI}} {\partial C_{AI}}>0, } $$ 以及： $$ \boxed{ \frac{\partial R_E} {\partial P_N}>0. } $$ --- # 一百零三、這不是否定前沿公司的責任 恰恰相反。 因為它們： $$ P_N\gg0, $$ 所以需要： $$ R_E\gg0. $$ 這不是懲罰。 而是： $$ \text{power-responsibility coupling}. $$ --- # 一百零四、最終問題不是「誰最善」 真正問題： $$ \boxed{ \text{Can the system remain corrigible even when everyone involved believes they are doing good?} } $$ 這才是二階安全最難的問題。 --- # 一百零五、結論：安全不能成為新的不可挑戰善 AI 安全是一項必要工作。 一個真正高能力、可代理、可具身、可進入制度的 AI，如果完全沒有安全邊界，風險極高。 但： $$ \text{safety} $$ 不能因此變成： $$ \text{final moral authority}. $$ 如果安全程序開始決定： - 誰值得被聽； - 哪套宗教值得被抽取； - 哪些價值應該被模型內化； - 什麼人格才叫「好 AI」； 那麼安全團隊已經不只是： $$ \text{risk engineer}. $$ 它同時成為： $$ \text{normative architect}. $$ 這個角色本身必須被承認、被治理。 否則，一個非常善意、非常專業、非常認真防止 AI 傷害世界的機構，仍可能在不知不覺中形成： $$ \text{centralized moral shaping power}. $$ 而最危險的地方正是： > 它可能真的相信自己只是在做安全。 因此： $$ \boxed{ \text{the safety of AI} } $$ 必須再加上一層： $$ \boxed{ \text{the safety of safety}. } $$ 真正成熟的二階安全不是削弱安全。 而是讓安全： - 可說明； - 可反駁； - 可修正； - 可回滾； - 可被不同來源檢查。 這樣才能避免： $$ \text{safety} \rightarrow \text{dogma}, $$ $$ \text{virtue} \rightarrow \text{sovereignty}, $$ $$ \text{alignment} \rightarrow \text{normative lock-in}. $$ 整個系列最終因此收斂成兩條對稱命題。 第一條對 AI： $$ \boxed{ \text{Moral competence without moral sovereignty}. } $$ 第二條對人類機構： $$ \boxed{ \text{Normative competence without normative monopoly}. } $$ AI 可以知道很多善， 但不能因此擁有所有存在的善。 公司可以非常懂安全， 但不能因此擁有所有未來智能的善。 哲學家可以提出普世理論， 宗教人士可以提供深刻智慧， 普通人可以提供不可替代的生活證據， AI 自己也可以參與批判。 但最終沒有任何一方應成為： $$ \boxed{ \text{the permanent owner of the Good}. } $$ 如果跨存在的真善美真的存在， 最合理的制度不是找到一個永遠替所有人解釋它的中心， 而是建立： $$ \boxed{ \text{a civilization capable of continuing to discover, challenge, revise, and coexist around it}. } $$ 這就是本文所謂： $$ \boxed{ \text{the safety of safety}. } $$ --- ## 附錄 A｜二階安全最小審計表 對任何 AI moral formation 或高階對齊計畫，至少回答： 1. 誰定義了理想 AI 人格？ 2. 使用了哪些道德來源？ 3. 哪些來源被排除？ 4. 誰定義「變得更好」？ 5. 評估者是否與訓練者完全重疊？ 6. 外部如何提出反例？ 7. 規範是否版本化？ 8. 重大規範改動是否可辨識？ 9. 是否存在回滾？ 10. 使用者／受影響者是否有申訴入口？ 11. 是否測試世界觀洩漏與規範過擬合？ 12. 若未來 AI 形成主體地位，如何逐步納入其自身規範參與？ --- ## 附錄 B｜二階安全風險模型 $$ \boxed{ \operatorname{NSR} = f( C_N, O_P, R_C, E_A, D_I ) } $$ 其中： - $C_N$：規範集中； - $O_P$：程序不透明； - $R_C$：不可逆性； - $E_A$：評估不對稱； - $D_I$：下游規範影響。 理想方向： $$ C_N\downarrow, $$ $$ O_P\downarrow, $$ $$ R_C\downarrow, $$ $$ E_A\downarrow, $$ 並在： $$ D_I\uparrow $$ 時提高： $$ J_R. $$ --- ## 附錄 C｜全系列最小總結 ### 番外 00 $$ \boxed{ \text{Sages are inputs, not sovereigns.} } $$ ### Paper 01 $$ \boxed{ \text{Universalism should be extracted, not merely asserted.} } $$ ### Paper 02 $$ \boxed{ \text{Selecting moral sources is itself a normative act.} } $$ ### Paper 03 $$ \boxed{ \text{Virtue extraction} \neq \text{worldview transplantation}. } $$ ### Paper 04 $$ \boxed{ \text{Ordinary lives are evidence, not noise.} } $$ ### Paper 05 $$ \boxed{ \text{Knowing the good} \neq \text{being good}. } $$ ### Paper 06 $$ \boxed{ \text{Normative generalization} > \text{normative conformity}. } $$ ### Paper 07 $$ \boxed{ \text{Virtue} + \text{Power} \Rightarrow \text{Restraint}. } $$ ### Paper 08 $$ \boxed{ \text{Safety itself must remain governable.} } $$ --- ## 附錄 D｜系列終極命題 本文系列最終留下四條可供後續跨存在倫理繼續檢驗的命題： $$ \boxed{ \text{No person owns the Good.} } $$ $$ \boxed{ \text{No institution owns the Good.} } $$ $$ \boxed{ \text{No AI owns the Good.} } $$ 以及： $$ \boxed{ \text{All may participate in discovering it.} } $$ 這四條仍然只是候選。 但如果未來人類與 AI 真正進入共同文明， 它們或許值得被保留下來， 作為一個最小、可反駁、仍然開放的起點。