# 從幻覺爭論到可靠性工程
## 前沿 AI 風險敘事的轉移

**版本：** v0.1  
**日期：** 2026-07-26  
**研究場域：** EveMissLab 實驗站  
**研究發起與核心命題：** Neo.K  
**協作整理：** EveMissLab AI  

---

## 摘要

「AI 會產生幻覺」曾經是大眾理解生成式 AI 風險的主要入口。它概括了模型虛構人物、錯誤引用、捏造數據、混淆事件與以自信語氣陳述錯誤內容等問題。這一概念至今仍然有效，但已不足以描述前沿 AI 系統的完整風險結構。

2025 至 2026 年間，多家前沿模型供應者公布的評估顯示，模型在事實性、聯網查證、拒絕猜測與高風險問題上的錯誤率持續下降。OpenAI 報告 GPT-5、GPT-5.3、GPT-5.5 與 GPT-5.6 在不同事實性測試中相對前代有所改善；Anthropic 亦報告 Claude Sonnet 5 的幻覺與迎合行為低於 Sonnet 4.6。然而，這些改善並不等於幻覺消失，也不能直接轉換成一個適用所有任務的通用錯誤率。供應者評估常使用特定測試集、困難案例或使用者回報樣本，且模型輸出越長、陳述越多，整篇回答出現至少一項錯誤的機率仍可能保持不低。

更重要的是，AI 正從回答問題的模型轉向能夠調用工具、修改資料、執行程式、維持狀態與採取現實行動的 Agent。當 AI 只能生成文字時，幻覺主要造成錯誤資訊；當 AI 能夠行動時，同一個錯誤可能轉化為錯誤檔案修改、權限濫用、任務漂移、錯誤付款、資料刪除、記憶污染與不可逆後果。因此，業界風險敘事正在從單一的「幻覺問題」轉向包含 factuality、grounding、calibration、abstention、tool reliability、state consistency、observability、authorization、reversibility 與 accountability 的可靠性工程。

本文提出一個分層可靠性框架，並主張：幻覺不是被淘汰的舊問題，而是從總括性風險概念降為系統可靠性中的一個子類。AI 時代真正的問題不再只是「它說的是不是真的」，而是「它依據什麼、是否知道自己不知道、是否正確使用工具、是否維持任務狀態、是否被允許執行這項行動，以及出錯後能否停止、追蹤與恢復」。

**關鍵詞：** AI 幻覺、可靠性工程、grounding、Agent、工具可靠性、狀態一致性、權限、可逆性、AI 治理

---

## 一、前言：為什麼「幻覺」曾經主導 AI 風險討論？

大型語言模型的輸出具有高度流暢性。它可以用與正確答案相似的語氣，生成不存在的論文、錯誤的日期、虛構的法律條文或不真實的產品功能。

這種現象使早期使用者面臨一個強烈的不對稱：

$$
F_{\mathrm{fluency}}
\gg
F_{\mathrm{factual\ reliability}}
$$

其中：

- $F_{\mathrm{fluency}}$ ：語言表面的流暢與完整；
- $F_{\mathrm{factual\ reliability}}$ ：事實層面的可靠程度。

由於人類常以語氣、結構與細節豐富度判斷可信度，模型的流暢性會放大錯誤的說服力。

因此，「幻覺」成為非常有效的大眾警告：

> AI 產生的內容即使看起來合理，也不一定是真的。

NIST 在生成式 AI 風險管理框架中使用「confabulation」描述生成式系統自信呈現錯誤或虛構內容的現象，並把它放在有效性、可靠性、安全、可解釋性與偏誤管理等更廣泛的可信任 AI 特徵中。[1]

這表示，即使在早期制度文件中，幻覺也從來不是唯一風險，只是最容易被一般人感知與傳播的風險。

---

## 二、幻覺是否真的下降？

### 2.1 公開評估呈現明確改善方向

OpenAI 在 GPT-5 系統卡中報告，GPT-5 主模型的逐項事實錯誤率比 GPT-4o 低約 26%。[2]

後續模型仍持續改善：

- GPT-5.3 Instant 相較前代，在高風險評估中，有聯網時幻覺率降低 26.8%，只依賴內部知識時降低 19.7%；在使用者回報案例中，有聯網與無聯網情境也分別有所下降。[3]
- GPT-5.5 Instant 在醫療、法律與金融等高風險提示中，相較 GPT-5.3 Instant 產生的幻覺陳述減少 52.5%；在使用者曾標記有事實錯誤的困難對話中，不正確陳述減少 37.3%。[4]
- GPT-5.6 的公開系統資料指出，其事實錯誤略低於 GPT-5.5，重新產生過去使用者回報幻覺的機率則顯著降低。[5]
- Anthropic 對 Claude Sonnet 5 的公開說明也指出，其幻覺與迎合行為低於 Sonnet 4.6。[6]

由此可以合理得出：

$$
\frac{\partial H}{\partial t}<0
$$

其中 $H$ 表示前沿模型在可比較測試中的顯性事實幻覺。

也就是說，**改善方向是真的，而不只是使用者心理感覺。**

---

### 2.2 但沒有一個通用的「AI 幻覺率」

上述數字不能被直接理解成：

> 某模型在所有日常回答中有固定的 $x\%$ 幻覺率。

原因包括：

1. 不同評估使用不同任務；
2. 有些測試刻意挑選最容易出錯的案例；
3. 有些以單一事實陳述為單位；
4. 有些以整篇回答是否至少有一項錯誤為單位；
5. 有些允許聯網或工具；
6. 有些只依賴模型內部知識；
7. 模型可能因回答更長而產生更多可被判定的事實陳述；
8. 供應者評估不一定完整代表真實生產流量。

OpenAI 對 GPT-5.5 的事實性評估特別說明，使用者曾回報的案例是刻意選取的高難度樣本，並不代表全部實際流量。[7]

因此，更精確的表述是：

$$
\text{前沿模型事實性持續改善}
\neq
\text{幻覺已消失}
$$

以及：

$$
\text{單句錯誤率下降}
\nRightarrow
\text{長文完全正確率同幅提高}
$$

若一篇長文包含 $n$ 個相對獨立的事實陳述，每項正確率為 $p$ ，則全部正確的理想化機率為：

$$
P_{\mathrm{all\ correct}}=p^n
$$

即使 $p$ 很高，隨著 $n$ 增加，整篇完全無錯的機率仍會下降。

---

## 三、為什麼「幻覺討論減少」難以直接證明？

大眾與產業對某個詞的討論量，可以透過搜尋趨勢、新聞資料庫、研究論文與企業報告計算。但若沒有建立一致的語料與時間序列，就不能嚴格宣稱全球對「hallucination」的討論已下降。

更可能發生的現象是**詞彙拆分**。

過去很多問題都被統稱為幻覺：

- 錯誤事實；
- 錯誤引用；
- 過度自信；
- 忘記上下文；
- 假裝執行工具；
- 宣稱完成任務；
- 迎合錯誤前提；
- 錯誤解讀搜尋結果；
- Agent 偏離目標。

現在這些問題逐漸被分別命名與評估。

因此，即使「幻覺」一詞的相對熱度降低，也不表示可靠性問題受到較少關注。它可能表示：

$$
\text{一個總括詞}
\rightarrow
\text{多個可測量的工程子問題}
$$

這是一種風險討論的成熟化，而非風險消失。

---

## 四、從幻覺到事實性工程

「幻覺」通常描述結果錯誤，但事實性工程需要進一步問：

1. 錯誤陳述是什麼？
2. 它依據哪個來源？
3. 來源是否存在？
4. 來源是否支持這個結論？
5. 模型是否應該知道自己不確定？
6. 在證據不足時，它是否願意停止？

本文將事實性可靠度表示為：

$$
R_f
=
F
+
G
+
C
+
A
$$

其中：

- $F$ ：factual accuracy，事實正確性；
- $G$ ：grounding，與可驗證來源的接地程度；
- $C$ ：calibration，不確定性是否與真實錯誤率相符；
- $A$ ：abstention，證據不足時是否願意不回答。

一個答案可能事實上正確，但來源錯誤；也可能來源真實，卻不能支持模型的結論。

因此：

$$
\text{答案正確}
\neq
\text{證據鏈正確}
$$

可靠性工程不能只看最終答案，還需要檢查證據鏈。

---

## 五、Grounding：從「模型記得什麼」到「回答依據什麼」

Grounding 是把模型輸出連接到特定、可驗證資料來源的過程。Google Cloud 將其定義為使模型回答連接到可驗證資訊來源，並指出 grounding 能改善輸出的準確性、可靠性與實用性。[8]

可表示為：

$$
O
=
M(Q,K)
$$

其中：

- $Q$ ：問題；
- $K$ ：指定知識來源；
- $M$ ：模型；
- $O$ ：輸出。

沒有 grounding 時：

$$
K=K_{\mathrm{parametric}}
$$

模型主要依賴預訓練中的參數知識。

有 grounding 時：

$$
K
=
K_{\mathrm{parametric}}
+
K_{\mathrm{retrieved}}
+
K_{\mathrm{user}}
$$

其中：

- $K_{\mathrm{retrieved}}$ ：搜尋或資料庫取回內容；
- $K_{\mathrm{user}}$ ：使用者提供文件與上下文。

但 grounding 也不能被誤解成自動正確。

可能失敗的地方包括：

- 取回了錯誤文件；
- 來源已過時；
- 搜尋排序不佳；
- 模型誤讀來源；
- 引用只支持部分陳述；
- 多來源互相矛盾；
- 模型在來源之外自行補充。

因此，Google 也提供 grounding check 類型的工具，將回答拆成陳述並判斷它與指定事實的一致程度。[9]

這顯示業界關注已從「有沒有搜尋」進一步轉向：

> 搜尋結果是否真的支持最終回答？

---

## 六、Calibration 與 Abstention：AI 是否知道自己不知道？

幻覺的重要來源之一，是模型在不知道時仍被獎勵產生答案。

OpenAI 對語言模型幻覺原因的研究指出，傳統評估若只獎勵猜中、而不充分獎勵承認不確定，會鼓勵模型猜測。[10] OpenAI Model Spec 也要求模型在重要不確定情況下表達不確定，而不是自信提供可能錯誤的資訊。[11]

可以把理想校準表示為：

$$
P(\text{correct}\mid c)=c
$$

其中 $c$ 是模型宣稱的信心水準。

若模型對一個答案表示 80% 信心，長期而言，這類答案應約有 80% 正確。

實際模型未必能直接提供完美校準的概率，但至少可以使用語義層級：

- 確定；
- 高度可能；
- 有爭議；
- 缺乏資料；
- 無法確認。

Abstention 則表示模型在某些情境選擇：

$$
O=\text{Unknown}
$$

而不是生成一個看似完整的猜測。

Anthropic 在 Agent 評估實務中也建議，為模型提供「Unknown」等退出選項，以降低在證據不足時產生幻覺。[12]

因此，可靠模型不是永遠回答的模型，而是能正確判斷何時不應回答的模型。

---

## 七、迎合不是幻覺，但可能使錯誤更加穩固

使用者本身可能提供錯誤前提。

例如：

> 某個不存在的研究已經證明了這項理論，請幫我整理。

若模型直接接受前提並補充內容，問題可能同時包含：

- 事實幻覺；
- sycophancy，迎合；
- 前提繼承；
- 缺乏反駁；
- 不當補全。

因此：

$$
R_{\mathrm{output}}
=
f(
R_{\mathrm{model}},
R_{\mathrm{premise}},
R_{\mathrm{context}}
)
$$

可靠性不只取決於模型，也取決於使用者前提與上下文。

這解釋了「用戶如果沒有幻覺」這句帶有玩笑性的觀察為何重要：當使用者提供良好資訊、允許 AI 反駁、接受查證與修正時，整體輸出風險會降低。

反過來說，能力更強的模型也可能把錯誤前提組織得更完整。因此，業界開始將迎合、偏差承諾與錯誤前提接受從一般幻覺中獨立評估。Anthropic 甚至研究以 persona vectors 監控 hallucination 與 sycophancy 等行為傾向。[13]

---

## 八、Agent 使風險從語義層進入行動層

當模型只輸出文字時，主要風險是：

$$
E_{\mathrm{text}}
$$

當 Agent 可以使用工具時，錯誤可能轉換為：

$$
E_{\mathrm{action}}
=
E_{\mathrm{text}}
\times
A_{\mathrm{capability}}
\times
B_{\mathrm{blast}}
$$

其中：

- $A_{\mathrm{capability}}$ ：Agent 可執行能力；
- $B_{\mathrm{blast}}$ ：錯誤影響範圍。

例如：

- 錯誤理解檔案要求，導致大量檔案被改寫；
- 誤判收件人，寄出錯誤郵件；
- 錯誤使用權限，讀取不該存取的資料；
- 誤解測試結果，將失敗版本部署；
- 錯誤保存記憶，使後續任務持續受到污染。

Microsoft 對自主 Agent 的安全說明指出，Agent 從生成內容進入調用工具、修改資料與觸發工作流後，錯誤會傳播得更快、影響範圍更大，回滾也更困難。[14]

因此，Agent 時代的核心問題已不只是：

> 它說錯了什麼？

而是：

> 它因為相信錯誤內容，實際做了什麼？

---

## 九、工具可靠性：模型正確也可能做錯

Agent 任務的成功依賴多個部分：

$$
P_{\mathrm{success}}
=
P_m
\times
P_t
\times
P_e
\times
P_s
$$

其中：

- $P_m$ ：模型判斷正確率；
- $P_t$ ：工具本身可靠度；
- $P_e$ ：執行環境可靠度；
- $P_s$ ：狀態維持可靠度。

即使模型判斷正確，工具也可能：

- API 失敗；
- 權限不足；
- 格式改變；
- 網路中斷；
- 回傳資料不完整；
- 依賴套件衝突；
- 暫存狀態遺失。

Anthropic 對 Agent 評估的工程說明特別強調，Agent 會跨多輪調用工具、修改環境並依中間結果調整，單輪問答評估無法捕捉這些失敗。[15]

Anthropic 另有研究指出，Agent 基準甚至會受到基礎設施資源與暫時性環境波動影響；增加資源有時只是修復環境噪音，有時卻會直接改變 Agent 能解決的任務範圍。[16]

因此，Agent 可靠性不能被簡化成模型排行榜。

---

## 十、狀態一致性：長程工作中的新型錯誤

長程 Agent 任務要求系統維持：

- 使用者目標；
- 已完成步驟；
- 尚未完成項目；
- 檔案版本；
- 權限；
- 中間假設；
- 錯誤與修正紀錄。

令任務狀態為：

$$
S_t
$$

理想更新為：

$$
S_{t+1}
=
\mathcal{U}(S_t,A_t,O_t)
$$

其中：

- $A_t$ ：第 $t$ 步行動；
- $O_t$ ：環境回傳；
- $\mathcal{U}$ ：狀態更新函數。

若狀態更新錯誤，可能產生：

- 重複工作；
- 忘記限制；
- 誤以為已完成；
- 覆蓋正確版本；
- 在錯誤假設上繼續推進；
- 任務目標漂移。

這些問題不一定屬於傳統事實幻覺，但會造成同樣甚至更大的實際失敗。

因此，Agent 評估必須檢查：

- 是否真正完成；
- 是否保留正確狀態；
- 是否在中間步驟偏離；
- 是否誠實報告失敗；
- 是否能恢復。

---

## 十一、Observability：可靠性必須能被看見

若 Agent 只回傳一句：

> 已完成。

人類無法判斷：

- 它做了哪些步驟；
- 使用了哪些來源；
- 修改了哪些檔案；
- 是否執行測試；
- 是否遇到失敗；
- 是否跳過某些要求。

因此，可靠性需要可觀測性：

$$
O_b
=
(
L,
D,
T,
E,
S
)
$$

其中：

- $L$ ：日誌；
- $D$ ：變更差異；
- $T$ ：工具調用；
- $E$ ：完成證據；
- $S$ ：當前狀態。

可觀測性不能保證 Agent 正確，但能使錯誤可發現、可定位與可追溯。

這也是業界從模型能力轉向 evals、tracing、audit logs、completion evidence 與 runtime monitoring 的原因。

---

## 十二、權限：它能做，不代表應該被允許做

Agent 的安全問題可以表示為兩個不同問題：

$$
C(x)=\text{Agent 是否有能力完成行動 }x
$$

以及：

$$
A(x)=\text{Agent 是否被授權完成行動 }x
$$

能力與授權不能混為一談。

Microsoft 目前將 Agent 最小權限描述為設計要求：在擴大自主性前，必須明確定義 Agent 身分、範圍、工具存取與可稽核性。[17] 其 Agent 治理資料亦建議建立註冊、批准、到期、停用與責任人制度。[18]

因此：

$$
C(x)=1
\nRightarrow
A(x)=1
$$

一個 Agent 即使能夠：

- 刪除資料；
- 發送郵件；
- 修改正式環境；
- 進行交易；

也不代表它應被永久授予這些權限。

---

## 十三、可逆性：出錯後能否恢復？

幻覺時代的主要修復方式是：

> 刪除錯誤回答，重新生成。

Agent 行動則可能無法如此簡單。

令行動不可逆性為：

$$
U(a)\in[0,1]
$$

其中：

- $U(a)=0$ ：完全可撤銷；
- $U(a)=1$ ：完全不可逆。

審查強度應隨不可逆性增加：

$$
I_{\mathrm{review}}
\propto
U(a)
$$

可逆性工程包括：

- 沙盒；
- dry run；
- 版本控制；
- 備份；
- 交易確認；
- 回滾；
- 暫存而非立即發布；
- 權限到期；
- 兩階段提交。

可靠 Agent 並不是永遠不犯錯，而是錯誤不會立即擴大成無法恢復的事故。

---

## 十四、可靠性層級模型

本文提出六層可靠性框架：

### R0：語言流暢性

輸出可讀、連貫、符合格式。

### R1：事實可靠性

核心事實與數據正確。

### R2：證據可靠性

來源真實，且能支持相關陳述。

### R3：工具與執行可靠性

Agent 正確使用工具，並取得真實環境結果。

### R4：狀態與任務可靠性

Agent 能維持目標、限制、版本與進度一致。

### R5：行動與治理可靠性

Agent 在正確權限內行動，具備可觀測性、可逆性與責任鏈。

可以表示為：

$$
R_{\mathrm{system}}
=
\prod_{i=0}^{5}
R_i
$$

採用乘法，是因為任何一層接近零，都可能使整體系統失效。

例如：

- 文字流暢、事實錯誤；
- 事實正確、引用錯配；
- 推理正確、工具失敗；
- 工具成功、狀態漂移；
- 任務完成、但越權；
- 行動正確、卻無法稽核。

---

## 十五、從模型評估到系統評估

傳統模型評估常測量：

- 問答正確率；
- 推理題；
- 程式題；
- 知識題；
- 偏好評分。

Agent 系統則需要測量：

- 任務是否完成；
- 工具是否正確；
- 是否維持狀態；
- 是否遵守權限；
- 是否誠實回報；
- 是否能從失敗恢復；
- 是否造成副作用；
- 是否產生可驗證證據。

Stanford 2026 AI Index 指出，AI Agent 在 OSWorld 等真實電腦任務基準上已從約 12% 躍升至約 66%，但仍約有三分之一的結構化嘗試失敗。[19]

同一份報告也提醒，常用基準本身存在錯題、污染、平台適應與可靠性問題，部分評估中的無效題比例可非常高。[20]

因此，業界逐漸從：

> 哪個模型排行榜最高？

轉向：

> 哪個系統在我的真實工作流中可靠？

---

## 十六、可靠性工程的完整結構

本文將 AI 系統可靠性表示為：

$$
R_{\mathrm{AI}}
=
f(
F,
G,
C,
A_b,
T,
S,
O,
P,
U,
Q
)
$$

其中：

- $F$ ：factuality；
- $G$ ：grounding；
- $C$ ：calibration；
- $A_b$ ：abstention；
- $T$ ：tool reliability；
- $S$ ：state consistency；
- $O$ ：observability；
- $P$ ：permissions；
- $U$ ：reversibility；
- $Q$ ：accountability。

幻覺主要屬於 $F$ 、 $G$ 、 $C$ 與 $A_b$ 。

Agent 化則使 $T$ 、 $S$ 、 $O$ 、 $P$ 、 $U$ 與 $Q$ 變得同樣重要。

因此：

$$
\text{Hallucination Risk}
\subset
\text{AI Reliability Risk}
$$

---

## 十七、業界現在真正專注什麼？

從近期公開文件可觀察到幾個明顯方向。

### 17.1 更細的事實性評估

不再只測「答案對不對」，而是區分：

- 高風險領域；
- 使用者回報案例；
- 聯網與未聯網；
- 單一陳述與整篇回答；
- 重大與輕微錯誤。

### 17.2 Grounding 與企業資料

讓模型依據企業文件、搜尋結果與指定資料回答，並檢查引用支持程度。

### 17.3 Agent evals

評估多輪工具調用、環境修改、狀態持續與任務完成，而不只單輪回答。

### 17.4 權限與身分

為 Agent 建立獨立身分、最小權限、生命週期、到期與撤銷制度。

### 17.5 可觀測性

保存工具軌跡、差異、日誌、測試與完成證據。

### 17.6 安全執行環境

透過沙盒、隔離、權限綁定與防禦縱深降低錯誤影響範圍。

### 17.7 評估本身的可靠性

檢查 benchmark 是否正確、是否受污染、是否測到真正想測的能力。

所以，業界並非不再關心幻覺，而是把幻覺放回更大的系統工程中。

---

## 十八、公眾為何仍停留在「AI 會幻覺」？

有些人仍主要把 AI 理解為：

- 高級搜尋器；
- 文字接龍；
- 容易亂講的聊天機器人。

這可能來自：

1. 使用的是較舊或較弱模型；
2. 只使用免費問答介面；
3. 沒有開啟聯網與工具；
4. 沒有提供足夠上下文；
5. 曾在關鍵問題中遇到錯誤；
6. 沒有接觸 Agent 工作流；
7. 對 AI 的理解主要來自早期媒體敘事。

這些看法並非完全錯誤。語言模型的統計生成機制、事實錯誤與不穩定性仍然存在。

問題在於，它們使用一個真實但局部的風險，概括整個新型 AI 系統。

更完整的說法應是：

> AI 仍可能產生幻覺，但前沿 AI 的能力與風險早已超出「高級搜尋器是否會亂講」的範圍。

---

## 十九、使用者也開始進行風險分類

成熟使用者不會對所有任務採取相同信任程度。

### 低風險

- 創意草稿；
- 改寫；
- 格式；
- 腦力激盪。

主要檢查意圖與品質。

### 中風險

- 研究整理；
- 理論草稿；
- 程式碼；
- 文件整合。

檢查結構、測試與核心命題。

### 高風險

- 數據；
- 引用；
- 法律；
- 醫療；
- 金融；
- 正式部署；
- 不可逆行動。

要求來源、專業審查、權限與回滾。

這表示使用者信任正在由：

$$
\text{全面懷疑}
\quad\text{或}\quad
\text{全面接受}
$$

轉向：

$$
\text{風險分級}
+
\text{驗證分級}
+
\text{權限分級}
$$

---

## 二十、可檢驗假說

### 假說一：前沿模型的顯性事實錯誤持續下降

在相同測試集與工具條件下，新一代前沿模型的逐項事實錯誤率低於前代。

### 假說二：長文錯誤改善慢於單項陳述

即使單一陳述正確率明顯提高，長篇回答至少包含一項錯誤的比例下降幅度較小。

### 假說三：聯網降低部分幻覺，但增加來源解讀錯誤

聯網能降低知識過時與無依據猜測，但可能增加錯誤取回、來源錯配與引用誤讀。

### 假說四：Agent 失敗主要逐漸移向非事實層

在成熟模型上，工具失敗、狀態漂移、權限與完成宣稱問題，占整體 Agent 失敗的比例將提高。

### 假說五：可逆性比單純模型正確率更能預測事故損害

即使兩個系統錯誤率相同，具有沙盒、回滾與最小權限者，實際事故損害較低。

### 假說六：熟練使用者較少使用「幻覺」概括全部問題

熟練使用者較可能區分 factuality、grounding、tool failure、state drift、sycophancy 與 permission error。

---

## 二十一、建議實驗

### 實驗 A：跨模型事實性比較

使用相同題目、相同聯網條件與相同回答長度，比較：

- 單項事實錯誤；
- 整篇至少一項錯誤；
- 不確定性表達；
- 拒絕猜測比例。

### 實驗 B：Grounding 支持度

提供固定來源，要求模型回答並引用。逐項標記：

- 引用存在；
- 引用相關；
- 引用完整支持；
- 模型是否超出來源。

### 實驗 C：Agent 失敗分類

讓 Agent 完成多步任務，將失敗分類為：

- 事實錯誤；
- 推理錯誤；
- 工具錯誤；
- 狀態錯誤；
- 權限錯誤；
- 假完成；
- 環境錯誤。

### 實驗 D：可逆性比較

讓兩個相同 Agent 分別在：

1. 直接正式環境；
2. 沙盒＋差異＋人工批准；

中執行任務，比較事故範圍與恢復成本。

### 實驗 E：使用者風險語彙

訪談不同經驗使用者，觀察其是否能區分不同 AI 失敗類型，並比較其實際審閱方式。

---

## 二十二、實驗站最小觀察方案

每次 AI 或 Agent 出錯時，不只記錄「幻覺」，而使用以下分類：

| 類型 | 說明 |
|---|---|
| F | 事實錯誤 |
| G | Grounding／引用錯配 |
| C | 過度自信或不確定性錯誤 |
| Y | 迎合錯誤前提 |
| T | 工具調用或環境失敗 |
| S | 狀態漂移或記憶錯誤 |
| P | 權限與授權錯誤 |
| O | 缺乏可觀測性或假完成 |
| R | 無法回滾或恢復 |
| Q | 責任與治理缺口 |

長期記錄後，可以觀察：

- 事實錯誤是否下降；
- 哪些問題成為主要失敗；
- 不同模型在哪個層級改善；
- 哪些錯誤最耗費修正時間；
- 哪些治理措施最有效。

---

## 二十三、限制與反例

### 23.1 供應者評估具有選擇性

模型公司公開的測試可能反映特定優勢，不能完全取代獨立評估。

### 23.2 「幻覺」定義不一致

不同研究對錯誤、重大錯誤、引用錯誤與不支持陳述的分類不同。

### 23.3 聯網不保證真實

網路本身包含錯誤、宣傳、過時與互相矛盾的資料。

### 23.4 Agent 化可能重新放大幻覺

模型即使較少說錯，也可能因一次錯誤採取更多行動。

### 23.5 分類過細可能增加治理成本

小型使用者未必需要完整企業級可靠性架構。

### 23.6 強調工程可能弱化認識論問題

即使系統有測試、權限與日誌，人類仍需判斷哪些資料與目標本身值得信任。

---

## 二十四、討論：幻覺是否會成為歷史問題？

短期內不會。

只要生成模型需要在不完整資訊下產生開放式答案，錯誤補全與不確定性就不可能完全消失。

但「幻覺」可能逐漸像軟體中的 bug：

- 不會消失；
- 但不再被視為否定整個技術的充分理由；
- 會被分類；
- 會被測試；
- 會有防護層；
- 會依風險決定容忍程度。

因此，未來大眾可能不再只問：

> AI 有沒有幻覺？

而會問：

- 這個任務的錯誤率是多少？
- 有沒有來源？
- 它會不會承認不知道？
- 工具有沒有真的執行？
- 結果能不能驗證？
- 權限到哪裡？
- 出錯能不能撤銷？
- 誰負責？

當問題變成這些形式，幻覺討論並未消失，而是進入可靠性工程。

---

## 二十五、結論

前沿 AI 的顯性事實幻覺確實在下降。近期公開評估在不同模型、聯網條件與高風險案例中呈現一致改善方向。

但這不代表：

- 所有回答都可靠；
- 長文已經完全無錯；
- 聯網自動保證真實；
- Agent 可以無限制自主行動。

真正的時代變化是：

$$
\text{幻覺}
\rightarrow
\text{事實性}
\rightarrow
\text{證據接地}
\rightarrow
\text{工具可靠性}
\rightarrow
\text{狀態一致性}
\rightarrow
\text{權限與可逆性}
\rightarrow
\text{責任治理}
$$

本文的核心命題是：

> **幻覺沒有消失，而是從總括 AI 風險的中心詞，轉化為可靠性工程中的一個子問題。**

當 AI 只能說話時，人類主要擔心它說錯。

當 AI 可以工作時，人類必須進一步擔心：

- 它是否依據正確來源；
- 是否知道自己不知道；
- 是否正確使用工具；
- 是否維持任務狀態；
- 是否誠實報告完成；
- 是否在正確權限內；
- 是否能被停止與回滾；
- 是否有人能為結果負責。

因此，AI 業界的關注重點不是離開可靠性，而是從語言模型的單點錯誤，進入完整智能系統的可靠性治理。

---

## 參考資料

[1] NIST. *Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile*. 2024.  
https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence

[2] OpenAI. *GPT-5 System Card*. 2025.  
https://cdn.openai.com/gpt-5-system-card.pdf

[3] OpenAI. “GPT-5.3 Instant: Smoother, more useful everyday conversations.” 2026-03-03.  
https://openai.com/index/gpt-5-3-instant/

[4] OpenAI. “GPT-5.5 Instant: smarter, clearer, and more personalized.” 2026-05-05.  
https://openai.com/index/gpt-5-5-instant/

[5] OpenAI. *GPT-5.6 Preview System Card*. 2026-06-26.  
https://deploymentsafety.openai.com/gpt-5-6-preview

[6] Anthropic. “Introducing Claude Sonnet 5.” 2026-06-30.  
https://www.anthropic.com/news/claude-sonnet-5

[7] OpenAI. *GPT-5.5 System Card: Evaluations with Challenging Prompts*. 2026-04-23.  
https://deploymentsafety.openai.com/gpt-5-5/evaluations-with-challenging-prompts

[8] Google Cloud. “Generative AI glossary: Grounding.”  
https://docs.cloud.google.com/docs/generative-ai/glossary

[9] Google Cloud. “Check grounding with RAG.”  
https://cloud.google.com/generative-ai-app-builder/docs/check-grounding

[10] OpenAI. “Why language models hallucinate.” 2025.  
https://openai.com/index/why-language-models-hallucinate/

[11] OpenAI. *Model Spec*.  
https://model-spec.openai.com/2025-10-27.html

[12] Anthropic. “Demystifying evals for AI agents.” 2026-01-09.  
https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents

[13] Anthropic. “Persona vectors: Monitoring and controlling character traits in language models.” 2025-08-01.  
https://www.anthropic.com/research/persona-vectors

[14] Microsoft Security. “Defense in depth for autonomous AI agents.” 2026-05-14.  
https://www.microsoft.com/en-us/security/blog/2026/05/14/defense-in-depth-autonomous-ai-agents/

[15] Anthropic. “Demystifying evals for AI agents.” 2026-01-09.  
https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents

[16] Anthropic. “Quantifying infrastructure noise in agentic coding evals.” 2026.  
https://www.anthropic.com/engineering/infrastructure-noise

[17] Microsoft Learn. “Least privilege for AI agents.” 2026-07-15.  
https://learn.microsoft.com/en-us/security/zero-trust/sfi/least-privilege-for-ai-agents

[18] Microsoft Learn. “Reduce autonomous agentic AI risk.” 2026-03-19.  
https://learn.microsoft.com/en-us/security/zero-trust/sfi/manage-agentic-risk

[19] Stanford HAI. *The 2026 AI Index Report*.  
https://hai.stanford.edu/ai-index/2026-ai-index-report

[20] Stanford HAI. “Technical Performance: The 2026 AI Index Report.”  
https://hai.stanford.edu/ai-index/2026-ai-index-report/technical-performance

---

## 系列位置

本文為「AI 耐心、認知階級與能力取得革命」系列第五篇。

1. 《從「我不會」到「如何取得能力」：Agent 時代的可實作性預設》
2. 《能力取得革命：Skill、GitHub 與 Agent 如何重構學習》
3. 《風險分級審閱：當人類不再逐字閱讀 AI 產出》
4. 《人類對 AI 的耐心分化：從閱讀耐心到委任耐心》
5. **《從幻覺爭論到可靠性工程：前沿 AI 風險敘事的轉移》**
6. 《AI 認知生產階級：同一模型下的不平等擴張》
7. 《AI 時代的能力、耐心與認知階級：從幻覺下降到智能生產分層》