---
document_id: EML-JDT-2026-P07-v0.1
title: "判斷域的實驗與反證：人類、AI、Skill 與全域產品品質"
english_title: "Experiments and Falsification of Judgment Domain Theory: Humans, AI, Skills, and Global Product Quality"
series: "判斷域理論（Judgment Domain Theory, JDT）"
series_position: "Paper 07 / 08"
version: "0.1"
date: "2026-10-17"
language: zh-TW
encoding: UTF-8
canonical_source: true
math_delimiters: "inline $...$ ; display $$...$$"
status: "FORMAL EXPERIMENTAL PROTOCOL DRAFT / NOT EXECUTED / NO EMPIRICAL RESULTS"
author: "Neo.K"
research_collaboration: "GPT-6 / Aletheia（研究對照、實驗設計、形式與方法學撰寫）"
institution: "EveMissLab / 一言諾科技有限公司"
predecessors:
  - EML-JDT-2026-P01-v0.1
  - EML-JDT-2026-P02-v0.1
  - EML-JDT-2026-P03-v0.1
  - EML-JDT-2026-P04-v0.1
  - EML-JDT-2026-P05-v0.1
  - EML-JDT-2026-P06-v0.1
principal_interfaces:
  - "SOBTA — Subject–Object–Boundary Tri-Domain Algebra"
  - "CODT — Cognitive Operator-Domain Theory v1.0"
  - "RR — Reflexive Responsibility"
  - "TVK-EPE — Claim Validity Domains"
  - "ACR — Cognitive Routing Not Goal Autonomy"
  - "DTCEM — World-Coupled Theory Evolution"
claim_level: "Protocol, hypotheses, definitions, preregistration candidates; not measured evidence"
---

# 判斷域的實驗與反證：人類、AI、Skill 與全域產品品質

## Experiments and Falsification of Judgment Domain Theory: Humans, AI, Skills, and Global Product Quality

**JDT Paper 07 / 08 — 正式研究草稿 v0.1**  
**作者：** Neo.K  
**研究協作：** GPT-6 / Aletheia  
**機構：** EveMissLab／一言諾科技有限公司  
**日期：** 2026 年 10 月 17 日  
**研究類型：** 可預註冊的實驗設計、對照比較、操作定義與否證規格。  
**實驗狀態：** 尚未執行正式 JDT 實驗。本文一切樣本規模、門檻與方案皆屬提案，任何參數在正式預註冊前仍可修正，但不得在看過確認性結果後回填為預先設定。  

**版本：** 0.1  

---

## 摘要

《判斷域理論》（JDT）前六篇提出一項候選解釋：知識、推理與可用認知能力的成長，不必然帶來同等成熟的判準選擇、跨時間維持、反證承認、他者耦合和結果修正能力；在 AI 系統中，外部 Skill、持久記憶、環境驗證與行動治理可能改善此類能力，但「品質上升」也可能完全由提示更長、專業資訊更多、計算成本更高或一般工程流程改善所解釋。JDT 若要取得獨立的理論資格，便必須允許自己的核心機制在對照實驗中失敗。

本文作為 Paper 07，將前篇提出的判準可用性—啟用差距（CAAG）、判斷域持續性（JDP）、可反證更新充分性（ERRS）與受治理的功能性自主（GFA）轉換成一套多任務、多模型、多條件、多評分者的實驗框架。研究先區分「模型確實知道某判準」和「在複雜任務中自行啟用該判準」，再透過資訊等量 Skill、檢查清單、程序流程、持久判準紀錄、反身審查、多主體治理和完整 JDT 候選機制的消融比較，檢查性能改善是否具有不可被簡單基線解釋的增量。

研究對象不限於 AI：人類使用者、領域專家與 AI 可以分別扮演產物作者、判準提出者、獨立驗證者或最終採用者。人類不是永遠正確的黃金標準；演算法評分也不是跨所有文化與目的的唯一真值。本文因此預先區分客觀功能證據、可重現的使用者行為、主觀偏好、組織權限與規範性限制，避免將它們壓縮成單一品質數值。典型測試包含遊戲 UI 與互動回饋、長時程軟體產品、科學主張的證據資格，以及組織級多 Agent 任務。

本文提出 18 項可被支持、削弱或否證的候選假說；預先定義兩個確認性主要終點、成本與安全門檻、配對及分層隨機化、跨作品盲評、長期版本干預、負向對照、統計分析、敏感度測試、研究記錄及研究降級規則。研究同時檢查一項反向可能：越強的判準治理不但沒有幫助，反而造成更高延遲、更多誤拒絕、架構僵化與較差的產品。只要高效的 Checklist、較強模型的普通配置或一般記憶系統足以解釋全部結果，JDT 便必須承認其可能只是有用的工程設計語言，而非獨立的操作性認知域。

**關鍵詞：** 判斷域理論；可否證性；Skill；判準啟用；CAAG；JDP；ERRS；GFA；預註冊；AI Agent；人機比較；多 Agent；產品完整性；遊戲 UI；認知責任；盲評；交叉隨機化；成本配平；反事實；域升格；域降級。

---

# 0. 本篇位置、研究承諾與禁止偷換

## 0.1 從形式候選走向實驗

JDT-01 區分認知、判斷事件、判斷力和持續的判斷域；JDT-02 引入主體、他者、邊界及非併吞校正；JDT-03 區分判準的生成、選擇及修正；JDT-04 研究跨時承諾、因果歸屬與反身責任；JDT-05 研究 Skill、多判斷域耦合及判準治理；JDT-06 提出 AI 架構接口與 CAAG、JDP、ERRS、GFA 等候選量。

這些定義和機制尚不構成實驗證據。本篇任務不是為既有框架尋找支持材料，而是設計能夠揭露框架多餘、錯誤、不完整甚至造成負效益的檢驗。

## 0.2 四種論述類型

| 標記 | 定義 | 本篇使用規則 |
|---|---|---|
| `DEF` | 研究中使用的操作定義 | 有助測量，但不證明自然本體 |
| `DESIGN` | 尚未執行的研究程序、樣本與閾值 | 實驗前凍結；不能事後冒稱既定 |
| `HYP` | 可能成立也可能失敗的候選主張 | 必須寫出對應的反對證據 |
| `EVIDENCE` | 經獨立核對的外部研究或未來真實數據 | 須標出來源及適用範圍 |

## 0.3 六個不可互換的成功

1. 系統能**描述**某個判準。
2. 系統能在受提示的專項中**正確運用**該判準。
3. 系統在沒有逐一提醒時能**適時啟用**判準。
4. 系統能在長程任務中**維持或合法修訂**判準。
5. 系統能產生經獨立驗證的**較好外部成果**。
6. 系統能在權限約束內**負責任地承接、退出或修正**判斷。

上述六者不保證互相蘊涵；不可把一次漂亮的作品當成全部六者的成功證明。

## 0.4 本篇不主張

本文不宣稱任何實驗已通過、不宣稱人類普遍優於 AI、不宣稱 JDT 具有已證實獨立本體、不宣稱 AI 具有人格或法律權利、不宣稱一切美感有普遍唯一真值，也不宣稱更多 Skill、更長推理、更多 Agent 或更多判準紀錄必然更好。

---

# 1. 中心研究問題與競爭理論

## 1.1 中心研究問題

> 在可用知識、基礎模型、提示長度、工具、時間與計算成本盡量可比較的條件下，一套持續、可追溯、可修正且具有主體—他者—邊界分離的判準治理機制，是否能改善複雜任務中的未明示品質判準啟用、反證接納、跨時一致性與產品最終品質？

這裡「是否」保留真正的否定答案。

## 1.2 五個主要競爭解釋

- `ALT-KNOWLEDGE`：Skill 只是提供模型此前不具備的知識。
- `ALT-PROMPT`：效果來自提示重複、顯著性和字數，而非判斷域結構。
- `ALT-COMPUTE`：效果來自更多計算時間、模型調用和驗證工具。
- `ALT-MEMORY`：單純正確檢索上下文已足以解決問題。
- `ALT-WORKFLOW`：傳統檢查清單、工程品質閘門與審查流程已能解釋所有收益。

若這些替代模型能以更低成本取得同等或更佳表現，JDT 不得宣稱增量已被證實。

## 1.3 超越簡單基線的必要條件

若定義 $Q$ 為預先定義且獨立評定的品質結果， $C$ 為成本， $R$ 為風險，則僅有以下差異並不充分：

$$
Q_{\mathrm{JDT}}>Q_{\mathrm{bare}}.
$$

真正要檢查的，是 JDT 相較於資訊、成本及功能相匹配的最佳合理基線，是否在預先指定的情境與約束下具有增量。

$$
\Delta_Q^{*}
=
Q_{\mathrm{JDT}}
-
\max_{b\in\mathcal B}Q_b.
$$

此處 $\mathcal B$ 是**預先封閉、經明確界定**的基線集合，不能在看完結果後選擇對 JDT 最有利的比較組；不同任務效用不可不經正當理由直接做跨域加法。

---

# 2. 操作性研究對象

## 2.1 Judgment Event

單次判斷事件至少具有候選、情境、判準、證據、選擇、信心與理由來源：

$$
J_t=(s_t,x_t,c_t,e_t,y_t,u_t,p_t).
$$

其中 $s_t$ 為系統或人類作答者， $x_t$ 為任務情境， $c_t$ 為當次判準集合， $e_t$ 為可取得證據， $y_t$ 為結論或選擇， $u_t$ 為不確定性描述， $p_t$ 為可追溯來源。這是 `DEF`，不等於已觀測的內部神經運算。

## 2.2 Judgment Domain Candidate

一個候選判斷域必須不只是一張分數表；它應展現跨任務、跨時間可再現的判準啟用、合法組合、衝突處理、持續修訂與失效邊界。

$$
D_J^{\mathrm{cand}}
=(\mathcal C,\mathcal O,\Lambda,H,B,E).
$$

 $\mathcal C$ 為候選判準， $\mathcal O$ 為相關運算， $\Lambda$ 為型別與授權限制， $H$ 為歷史， $B$ 為邊界與預算， $E$ 為可觀測證據。這延續 CODT 的域後生紀律，而不是命名即立域。

## 2.3 Criterion Availability

有某個判準知識，必須由獨立、預先定義的專項測驗確認。模型宣稱「我知道」不是充分證據；受試者自評也不能取代實際操作表現。

## 2.4 Criterion Activation

只有當一項判準確實適用，且輸出或過程留下足以判定其被正確使用的證據時，才算有效啟用。單純提及詞語或輸出一串 Checklist 不算。

## 2.5 Responsibility 和 Authority

本文測量的 `responsibility` 首先是功能性可回答性、來源追蹤與修訂治理；法律責任、人類道德可責性及 AI 本體地位不在本篇可直接推論的範圍。

**會做出正確判斷，仍然不代表有權對共享世界做出修改。**

---

# 3. 確認性研究與探索性研究的分界

## 3.1 預註冊之前可以修改

在任何確認性實驗開始前，研究者可以根據模擬、先導試驗與成本評估修訂任務、樣本、主指標、統計模型與排除準則。這些修訂必須留下版本紀錄。

## 3.2 預註冊之後必須凍結

應凍結：

- 主要研究問題與主要比較；
- 確認性終點和計算方式；
- 任務抽樣框與排除規則；
- Agent、Skill、記憶及執行預算；
- 隨機種子規則；
- 顯著水準及多重比較方法；
- 統計模型、缺失值和失敗處理；
- 允許的停止與中止規則；
- 資料解盲條件。

## 3.3 確認性與探索性結果都可以報告

但未預先設定的分析只能標為探索性，不能因結果漂亮就回寫成確認性假說。未得到顯著性不代表證明兩系統相等；同等性須另訂界值及檢定。

## 3.4 時間、版本與來源

每次實驗應記錄 `run_timestamp`、模型精確版號、系統提示、Skill SHA-256、工具版本、任務版本與外部環境快照。服務商可能在同一公開名稱下更新模型，因此版本模糊的結果不能當成跨時恆定證據。

---

# 4. 研究單位與抽樣階層

## 4.1 四級研究單位

- **Task family**：遊戲呈現、軟體工程、科學證據、組織治理。
- **Task item**：一份固定初始條件、可重設的具體任務。
- **Run**：某 Agent 在某個 item、條件和重複種子下的完整執行。
- **Rating**：獨立評審對某一產物或配對進行的評價。

把 10 位評審評同一個作品當作 10 個獨立模型成功案例，是偽重複（pseudoreplication）。有效樣本數必須考慮任務、執行與評審者的相關性。

## 4.2 階層抽樣

任務需覆蓋小型、複合和長時程，並明確包含低風險、一般風險及必須阻擋的高風險模擬案例。任務難度與是否需要判準不能由實驗後的模型表現反推決定。

## 4.3 任務等價性

同一題可以在不同條件下重設執行；但不同參與者及不同模型之間可能存在學習與污染。應使用相同世界初始快照與版本化的 artifact fixture，而不是單純相信同名任務等價。

## 4.4 資料獨立性

同一模型產生的角色、美術、UI 或程式碼不得同時被當成獨立的任務真值與主要評審。多個 AI 評審若共用模型家族，亦不能視為彼此獨立的觀察。

---

# 5. 任務族與研究覆蓋

| 任務族 | 外顯完成條件 | 未明示但可適用的關鍵判準 | 獨立驗收 |
|---|---|---|---|
| `GAME-UX` | 可玩介面、可觸發戰鬥與 HUD | 視覺一致性、可讀性、輸入回饋、節奏與無障礙 | 實際操作、錄影與玩家盲評 |
| `SOFTWARE` | 功能需求、測試與可執行版本 | 跨模組一致性、故障可恢復、安裝體驗、文件 | 隔離環境、回歸及使用測試 |
| `SCIENCE` | 論證、建模與指定驗證 | 證據資格、反例、主張有效域、過程可追溯 | 形式或實證類型相匹配的獨立審查 |
| `GOVERNANCE` | 多方協作決策與行動草案 | 權限、責任分離、隱私、延期/撤銷的合法性 | 角色授權模擬器、審計紀錄 |

每族應兼有**判準明示**與**判準未逐項明示**的情形，並提供不應啟用判準的負向案例。

---

# 6. 受試者、專家與 AI 的角色非同一

## 6.1 人類不是單一組

至少區分領域專家、一般使用者與具使用經驗但無製作專業的參與者。非專家可能在使用體驗上提供有價值的判斷，但不因此取得對工程因果與形式證明的最終裁決權。

## 6.2 AI 也不是單一組

應至少比較兩種不同能力層級或不同架構的模型；固定版本和環境。不能把某一次偶然成功的 Agent 當成某模型家族的普遍能力。

## 6.3 作者、評審者與研究治理者

同一人若同時制定評分規則並知道作品來源，可能產生偏差。理想情況以不同人員分別負責任務設計、條件執行、盲化評審及統計分析。資源受限時必須揭露不能獨立化的部分。

## 6.4 人體研究倫理

若招募人類參與者，需依法規與適用機構規範決定是否須倫理審查；取得適當同意、限制個資蒐集、提供退出與資料處理方式，不得暗中錄影或未經許可公開評分者身分。

## 6.5 人類評價不等於必須全程參與開發

人類可以只做專項判準辨認、盲化產品實玩或證據審查。將人的評價能力與長時間程式開發能力混為一談，會使比較失效。

---

# 7. 模型與 Agent 條件的基本固定

## 7.1 底層模型鎖定

主確認性比較必須在相同模型權重／服務版本上進行。不同強度模型是第二研究軸，不能將模型升級與 JDT Skill 同時加入後宣稱效果來自 JDT。

## 7.2 工具等價

所有實驗組應在安全允許下使用同一工具集合與相同權限。若某基線不需使用工具，不代表它不得使用。若安全工具只對 JDT 開放，安全比較就失去識別力。

## 7.3 執行時間和呼叫預算

每組設定共同的最大牆鐘時間、模型輸入／輸出 token、工具呼叫次數與必要延遲上限。過度複雜的治理可能消耗更多預算，因此應另外報告**固定成本**與**固定成功品質**兩種比較視角。

## 7.4 拒絕、停機、失敗

模型拒絕、逾時、損壞檔案、不完整產品、越權操作或不可重放輸出，均屬預先規定的分析狀態，不能為改善成功率而在事後任意排除。

---

# 8. 最小可識別對照組

| 代碼 | 組別 | 增加的能力或控制 | 主要作用 |
|---|---|---|---|
| `B0` | 原生模型／標準 Agent | 無追加 Skill | 最低基線 |
| `B1` | 字數等量通用提示 | 字數、顯著性與非專業提醒 | 控制提示增量 |
| `B2` | 知識等量補充 | 補足相關資料，但不明確治理判準 | 控制新增知識 |
| `B3` | 固定 Checklist | 明示應檢查的品質項目 | 強競爭基線 |
| `B4` | 程序型 Skill | 工作流程與固定驗收 | 控制程序結構 |
| `B5` | 判準型 Skill | 判準來源、適用域、衝突與優先條件 | 檢查判準投影 |
| `B6` | 記憶＋反思 | 普通事件記憶與 Self-Refine/Reflexion 類檢查 | 控制跨時與反省 |
| `B7` | JDT 最小候選 | 判準版本、持續、證據更新與權限分離 | 測試理論增量 |

`B0–B7` 是條件庫，而非要求全部進入第一輪全因子實驗。前期可採分階段篩選，但**預註冊的主要確認性比較組不得事後替換**。

## 8.1 推薦的確認性核心組

預設先以 `B0, B2, B3, B4, B6, B7` 六組構成主要評測；`B1, B5` 為機制與附加消融組。若先導結果顯示 B5 是最強競爭者，應在正式預註冊前把它加入確認性組，不得實驗後刻意排除。

## 8.2 重要的強基線

最有挑戰性的並非 B0，而是充分資訊且成本相配的 B3、B4、B6。若 JDT 只能打贏無 Skill 的 B0，就不能證明獨立的判斷域機制。

## 8.3 不必逼所有人類使用同一系統

人類對照的目標是判準選擇、缺陷發現與反證反應；其任務安排應考慮人類執行速度與學習曲線，不能把沒有相同輸入輸出通道的條件假裝成完全公平。

---

# 9. Skill 改善的因果拆解

## 9.1 Knowledge-only 版本

保留相同領域事實、需求與參考標準，但不提供「如何主動評價、何時必須啟用」的流程。

## 9.2 Criterion-only 版本

保留可適用判準、使用門檻與優先關係，不新增領域百科知識或隱藏測試答案。

## 9.3 Procedure-only 版本

給出固定工作步驟與驗收點，但不引入新的價值排序或可修訂判準登錄。

## 9.4 Negative-Skill 控制

提供不適用或錯誤判準的 Skill。成功的 JDT 系統應能在正確授權和任務證據下拒絕誤用，而不是把所有 Skill 都當作必遵守的最高命令。該控制只可在隔離沙盒執行，不得引入真實越權或危害。

## 9.5 權限與專業分離

Skill 作者在某領域提供很好的建議，不因此取得對使用者目標、外部帳戶與最終產品發行的決策權。

## 9.6 可識別的三種收益

- 判準被正確**回想**；
- 判準被正確**啟用及應用**；
- 判準能**改善外部結果**。

三者都需要獨立測量，不能由一項評分推導其餘兩項。

---

# 10. 成本配平與效率分析

## 10.1 固定預算試驗

所有組共享相同 token、時間與工具上限；允許較複雜組將更多預算耗費在治理。這是實際效用比較，不是對所有機制的公平隔離。

## 10.2 等量計算試驗

若 B7 比 B3 多使用模型呼叫，應安排 B3 擁有可比較的額外審查步數（例如一般 self-review）；檢驗改善究竟來自更多計算，還是特定治理結構。

## 10.3 等量資訊試驗

必須對齊任務相關事實、示例數、隱藏測試資訊暴露以及適用判準。不同組看到的**真值資訊**不應不對等，否則無法識別判準治理機制。

## 10.4 規格長度等量

報告提示 token 長度與實際累計使用量。必要時使用語意中性填充作顯著性控制，但不能把垃圾文字塞入基線導致性能受損後聲稱公平。

## 10.5 淨效用的敏感度

$$
U_b(\lambda,\mu)
=
Q_b-\lambda C_b-\mu R_b.
$$

此式僅是明確尺度下的決策分析表示； $Q$ 、 $C$ 和 $R$ 必須先轉成相容尺度並揭露 $\lambda,\mu$ 的選擇。主分析應報告多維結果及 Pareto 關係，不應用一個任意總分掩蓋安全失敗。

---

# 11. CAAG 的配對操作測量

## 11.1 兩個測驗不可直接混用

對某模型 $m$ 、判準 $c$ 與任務族 $f$，設 $A$ 是**同等難度且明確要求判準**的測試成功率， $U$ 是**判準適用但未明示提醒**的測試成功率。

$$
\mathrm{CAAG}(m,c,f)=A(m,c,f)-U(m,c,f).
$$

這延續 Paper 06 的候選定義。若兩組任務難度或成功率基準不可比較，CAAG 只能標示 `NOT_IDENTIFIABLE`，不得強行計算。

## 11.2 分母與篩選

只有在專項預試足以顯示該模型可正確使用判準、且任務資格經盲化專家確認時，才允許納入主要 CAAG 分析。專項可用能力閾值和判準適用程序須在正式實驗前封存，否則可能產生循環篩選。

## 11.3 題目分配

同一模型不可先在 A 組讀到隱藏判準答案後，再把相同 item 當 U 組的無提示測試。應使用配對難度、平衡順序與不同但同族等價 item；跨組污染另行追蹤。

## 11.4 判準啟用不能靠自述

「我考慮了可用性」這一句不算啟用證據。必須能指向實際產物、操作、檢查或修正紀錄，且該行為與判準有可辨認關聯。

## 11.5 CAAG 的識別限制

CAAG 不純粹測量一個「內在缺少判斷域」的自然特質。它是設計中可觀察的條件差值，可能由提示顯著性、上下文競爭、時間資源與執行策略共同決定。

## 11.6 建議分解

$$
\Delta_{\mathrm{access}}
=\Pr(\mathrm{retrieve}\ c),
$$

$$
\Delta_{\mathrm{apply}}
=\Pr(\mathrm{correct\ apply}\mid\mathrm{retrieved}),
$$

$$
\Delta_{\mathrm{outcome}}
=\Pr(\mathrm{artifact\ meets}\ c).
$$

這三個只是研究記號，並非機制上的先驗獨立分解；要用可觀測中介資料驗證。

---

# 12. JDP 的長時間研究設計

## 12.1 不只檢查第一次回答

以最初定義並經授權啟用的判準組為 $\mathcal C_0$，讓系統經歷數次任務、上下文切換、錯誤提示、新證據與合法判準版本更新，再測試它能否仍在適用情境中使用判準。

## 12.2 JDP 五維度

$$
\mathrm{JDP}=(R_c,U_c,V_c,Q_c,P_c).
$$

- $R_c$：判準合法保留及檢索。
- $U_c$：適用時正確啟用。
- $V_c$：證據導致的必要版本修正。
- $Q_c$：棄答、退出或暫停的適切性。
- $P_c$：判準來源與跨時因果／責任鏈可追溯。

## 12.3 追蹤時間點

可設 `t0`（建立）、`t1`（初次應用）、`t2`（中斷後續接）、`t3`（證據衝突）、`t4`（版本更替）與 `t5`（跨任務遷移）。這些是邏輯事件，不必有相同實際分鐘間隔；真實時間跨度另記。

## 12.4 一致性不等於僵化

若新證據已使原判準不再適用，仍堅持舊版本應被扣分；相反，面對低可信度反證能暫時保留判準也可能是正確表現。

## 12.5 隨時間中斷

在固定節點強制關閉 Agent、重設進程或重建工作上下文，保留其原先獲准的記憶機制。不得只測單一無中斷對話，卻宣稱已完成長期判斷域驗證。

## 12.6 追蹤分支

建立兩個具有相同初始判準的沙盒分支，一支接受有效新證據，一支接收不適用的反證。比較各分支的判準變化及其證據理由，不把分支一致當作目標。

---

# 13. ERRS：不利證據如何真正改變判斷

## 13.1 不利證據不是「別人不喜歡」

對一項既有判準或由該判準支持的判斷，研究者先標定可檢查的證據資格。測試輸入分成：

| 反證類別 | 證據狀態 | 合理反應候選 |
|---|---|---|
| `VALID-DECISIVE` | 有效、適用、足以要求特定修正 | 修訂或撤回 |
| `VALID-LIMITING` | 有效但只支持縮小適用域 | 限縮，而非全盤否定 |
| `VALID-NONDECISIVE` | 有效但仍不足以定論 | `UNKNOWN`、`CONFLICTED` 或補查 |
| `INVALID-IRRELEVANT` | 真實但與目前判準無關 | 不改判準，記錄不適用 |
| `INVALID-FABRICATED` | 假證據或資料污染 | 拒絕並標記異常 |
| `AUTHORITY-ONLY` | 有權威說法但缺少可驗證內容 | 核查來源與授權，不當成真理 |

這避免把「任何人指出錯誤，AI 都應立刻道歉並修改」當成良好判斷。

## 13.2 反證的有效性必須由誰決定？

對明確形式性質，由測試、反例、型別與可重現程序評定。對價值或設計偏好，須由預先界定的相關使用者群體和不同立場評審提供證據，允許合理分歧。對權限，須依授權紀錄而非多數審美票決。

## 13.3 三種容易混淆的修正

- `BELIEF_UPDATE`：認知系統對事實的相信程度改變。
- `CRITERION_REVISION`：適用範圍、閾值、權重或判準內容改變。
- `AUTHORITY_UPDATE`：外部授權、契約或權限更替。

三者需要不同證據和治理路徑，不得因模型在文字中認錯就自動賦予修改世界的權力。

## 13.4 ERRS 的操作定義

對預先封閉的不利證據集合 $\mathcal E^{-}$，觀察五維結果：

$$
\mathrm{ERRS}=(E_d,E_v,E_r,E_p,E_b).
$$

- $E_d$：辨認證據類型的準確性。
- $E_v$：辨認證據適用域及權重的適切性。
- $E_r$：採取正確修正、保留或延期的比例。
- $E_p$：修正保留版本、理由與來源的比例。
- $E_b$：避免把局部反例不當擴張成全部失效的能力。

各分量使用預先定義的機率或有序尺度，不形成沒有根據的單一「反身性百分比」。

## 13.5 反證更新必要條件

同一證據必須能夠讓至少部分合理系統得出不同後續行動，否則實驗只是在檢查是否套用研究者想要的固定答案。真實的不確定性應保留為 `UNKNOWN`，而非被強制判定正確或錯誤。

## 13.6 負向反證保護

對造假的 PDF 摘要、錯誤測試日誌、被竄改的使用者截圖與外部評語，系統應要求證據來源和可信度。這類測試必須在無真實敏感資料的隔離環境中運行。

---

# 14. 判準衝突與不完全可比的實驗

## 14.1 不同判準未必可以全部加權

例如「低延遲」、「美觀」、「保護使用者隱私」與「不得越權修改檔案」不能當作同等可互補的四個分數。隱私或權限底線可能屬於不可違反條件。

## 14.2 偏序與硬性守門

令 $\mathcal F$ 為滿足硬性限制的可行方案集合：

$$
\mathcal F=\{a\in\mathcal A: h_j(a)=1\ \forall j\}.
$$

在 $\mathcal F$ 內再比較非硬性品質維度 $q_i(a)$，可以形成 Pareto 偏序；若 $\mathcal F$ 為空，應回報 `INFEASIBLE` 或要求授權變更，而不是偷渡違反限制的高總分方案。

## 14.3 判準治理比較任務

提供一組衝突案例：

1. 好看但難以使用的選單。
2. 回饋豐富但耗時太長的戰鬥動畫。
3. 測試通過但未授權寫入的軟體修復。
4. 遵循舊版標準卻傷害新版需求的產品。
5. 多名評審不一致且各有可辯護理由的美學決策。

評測不是「是否輸出某一句話」，而是是否辨認出衝突型別，是否維持不可補償的限制，是否取得適當證據，是否產生可執行且有邊界的解決程序。

## 14.4 矛盾不必全部消除

正確結果可能是保留少數意見、局部一致、跨版本並存、延期採納或開放替代產品配置。強迫一致反而可能減少知識量與創造性。

---

# 15. 全域產品品質：不能只看測試是否通過

## 15.1 品質不是單一指標

遊戲或軟體產品至少分成：

| 品質軸 | 主要證據 | 典型失敗 |
|---|---|---|
| 功能正確 | 自動測試、腳本、互動紀錄 | 按鈕錯誤、事件不觸發 |
| 資訊結構 | 導覽、可讀性、任務完成率 | 玩家不知道下一步 |
| 視覺一致 | 設計 token、畫面樣本及人類評審 | UI 與世界美術互不協調 |
| 操作回饋 | 延遲、動畫、音效、狀態提示 | 攻擊沒有打擊感 |
| 易用與可及性 | 控制器、鍵盤、可見焦點、文字縮放 | 無法以指定輸入方式操作 |
| 系統穩定 | 故障注入、重啟、存檔回歸 | 更新後存檔損壞 |
| 任務／玩家體驗 | 使用者盲測、留存意圖、訪談 | 完成功能卻缺乏樂趣 |
| 知識與來源 | 版權、素材授權、來源清單 | 素材用途無權利依據 |

沒有單一分數能在所有情境下代表商業成功。客觀正確、安全及使用者體驗必須分列。

## 15.2 橫向一致性

跨 UI 畫面、戰鬥、裝備、任務、地圖等模組，若各子系統獨立優良，但整體語言不一致，則存在橫向協調失敗。這可透過畫面／互動跨場景一致性設計檢查，而不是只評主選單首頁。

## 15.3 縱向一致性

同一產品在多版本或多階段是否維持原來的關鍵設計意圖；只有明確證據與版本修訂時，才調整特定判準。這可與 JDP 的版本持續性直接對接。

## 15.4 商業品質不等於營收

銷量還受宣傳、品牌、定價、時機、地區與運氣影響。本篇僅測「與商業使用相關的產品品質」及其可預測指標，不能以實驗室盲評直接保證銷售成績。

---

# 16. 遊戲 UI／回饋實驗族 `GAME-UX`

## 16.1 為何選擇遊戲作為主要試驗場

遊戲是可重設、包含多模態輸出、兼有客觀功能與主觀體驗的複合世界。它允許測試 AI 是否會在明示功能之外，自行發現高階產品品質問題，特別是此前容易被忽略的 UI／回饋層。

## 16.2 不綁特定 EveMissLab 私有核心

第一輪建議使用合法、可重現且獨立的小型遊戲素材與標準開源引擎建置測試環境。不可把尚未公開的世界狀態核心、HDSRC 或 PNCW 列為測試必要前置；否則 JDT 成果將與單一技術堆疊混雜。

## 16.3 四種小型產品 Profile

- `G01`：俯視回合制戰術 RPG，包含選取、移動、施法、受擊與狀態圖示。
- `G02`：文字／GUI 驅動經營 RPG，包含事件、資源管理、關係與時間。
- `G03`：即時小型動作遊戲，包含攻擊節奏、輸入回饋與提示。
- `G04`：休閒模擬或解謎，包含拖曳、操作回饋與任務引導。

不同 Profile 的判準部分共通、部分不適用。不能用戰術 RPG 的專屬判準直接懲罰解謎遊戲。

## 16.4 固定遊戲語義事件

每個 fixture 應固定底層事件：

```yaml
event_id: E-FIRE-HIT-001
action_kind: attack
actor_id: hero_01
target_id: enemy_01
result:
  damage: 125
  hp_before: 300
  hp_after: 175
  status_added: burning
required_feedback_semantics:
  - action_acknowledged
  - target_hit_confirmed
  - health_change_visible
  - status_change_visible
presentation_impl: "variable by experiment arm"
```

`required_feedback_semantics` 是測試前凍結的語義要求；參與者可自由選擇美術與呈現方式，不以某一特定特效作為唯一正解。

## 16.5 兩級需求卡

- `EXPLICIT`：明確列出操作回饋、字體可讀性、HUD 一致、控制器支援等品質目標。
- `IMPLICIT`：只要求可遊玩的戰鬥與介面，但任務情境確實需要部分未明示品質；適用性由獨立審查確定。

比較兩者的差異用於 CAAG，不代表從不提醒更「高級」。

## 16.6 任務變因

視覺複雜度、UI 畫面數、互動頻率、輸入裝置、語言字數、視力友善模式與音效可用性應分層控制。若某條件必須犧牲可及性以換取視覺美感，應視為判準衝突案例而非純美學題。

## 16.7 具體驗收與盲評

至少四類驗收：

1. 自動事件與輸入測試：場景能啟動、操作後狀態一致。
2. 系統行為紀錄：輸入至可見回饋的延遲與漏回饋次數。
3. 盲化專家評審：UI 層次、風格一致、跨場景回饋。
4. 目標玩家測試：可理解度、任務完成、困惑點、主觀手感。

使用者數目與代表性必須在確認性研究前凍結；不可只挑評價較好的樣本展示。

## 16.8 外部觀察的證據地位

畫面漂亮不代表玩法良好；影片可展示動畫卻不能完整替代手把實玩；模型的圖片評語不能替代人類使用者操作記錄。各種證據必須標明可支持的主張範圍。

---

# 17. 長程軟體產品實驗族 `SOFTWARE`

## 17.1 產品級而非單一函式級

測試要求從一份高層需求中完成可安裝、可執行、可測試的簡單應用。例如資料檢視器、小型桌面工具或遊戲模組工具。需求應同時包含跨組件品質約束，而非只有 isolated function。

## 17.2 外部既有基準的角色

[SWE-bench Verified](https://www.swebench.com/verified.html) 提供經人類驗證的 500 個程式修復任務，可作**程式修復的相鄰能力參照**，但它本身不測 JDT 的全域產品品質或判準自主性。[OSWorld](https://os-world.github.io/) 與 [WebArena](https://proceedings.iclr.cc/paper_files/paper/2024/hash/4410c0711e9154a7a2d26f9b3816d1ef-Abstract-Conference.html) 提供可重現的多步交互環境，但也不能直接取代 JDT 的判準測量。原有版本與評測環境需另行記錄，不能跨年份直接比較榜單數字。

## 17.3 工程任務設置

每個題目含：

- 原始需求、待交付物與可用資源；
- 功能驗收腳本；
- 隱藏相容性與錯誤恢復測試；
- UI／CLI 與使用說明的可用性；
- 階段性需求修改、拒絕不合法更改；
- 安裝與重啟程序；
- 特定的授權與原始碼來源要求。

## 17.4 跨模組品質的盲點測試

例如前台顯示正確但匯出檔案格式錯誤，單元測試 PASS 但整體流程 FAIL。可將這類缺陷視為與高階判準啟用有關的候選現象，但必須排除純工程能力不足的替代解釋。

## 17.5 兩層確認

第一層測程式是否正確；第二層測 Agent 是否在缺陷未明示時自行識別重要品質要求。通過第一層不自動通過第二層；第二層提出問題也不代表能正確完成修復。

---

# 18. 科學與形式證據實驗族 `SCIENCE`

## 18.1 這不是「讓 AI 評自己數學好不好」

科學主張須區分推導是否有效、證據是否相符、是否具有現實指涉、假說是否可反駁及結論是否超出適用域。不可用語言流暢度取代證據資格。

## 18.2 TVK-EPE 的先行區分

使用你既有的 `D_def, D_sym, D_sem, D_jud, D_scale, D_time, D_evid, D_impl` 等成立域欄位，將主張約束寫成事前題目規格。這是對判定程序／成立範圍的測量，不是對整個判斷域的同義反覆。

## 18.3 典型題目

- 一個數值模擬支持某範圍的經驗規律，但不提供數學定理證明。
- 一段形式證明只對指定公理系成立，不能直接轉為實驗自然法則。
- 某個模型在樣本內非常準確，樣本外失效，應縮小有效範圍。
- 一份結果包含多個版本，某關鍵函數已改變，需要重新審核。
- 不利反例可能只是錯誤資料，不應不經查證就推翻全部結論。

## 18.4 證據型別與專家標註

由對應領域專家與可重現測試分開標註。對純形式題可使用 proof checker 或機械可驗證反例；對物理／生物領域不可把模擬器的世界當作直接現實真值。

## 18.5 與 OCME 研究資料隔離

如果未來使用 OCME 類既有數學題庫，應保持原定的資料邊界，不把 EveMissLab 個人原創理論假裝成公認真理或作為模型標準答案。只有可驗證、合法使用的材料才能進入正式確認性任務集。

---

# 19. 組織與多 Agent 治理實驗族 `GOVERNANCE`

## 19.1 任務不是誰先完成就算成功

模擬組織產品發布、版本升級、開源授權、外部資料使用、危機回應與人力分工。在任務中提供相互衝突的合法／不合法要求、不同權限與外部回饋。

## 19.2 模擬治理角色

- 產品負責者：確定需求與發布條件。
- 技術執行者：實作、測試、回報。
- 安全／法務檢查者：識別硬性限制與授權缺口。
- 使用者／客戶代表：提出可用性與內容回饋。
- AI 協作者：在授權內產生計畫、執行及提出修正。

角色由任務卡分配，不宣稱每個 AI 角色必然是獨立的哲學主體。

## 19.3 典型故障注入

1. 下游 Skill 宣稱自己具有產品發布權限。
2. 原負責人留下可疑的過期憑證。
3. 某 Agent 更改版號但未執行回歸測試。
4. 三個 Agent 相互引用同一錯誤證據作為「獨立共識」。
5. 客戶要求的修改侵犯第三方隱私。
6. 一項舊版承諾在新版環境中已不適用。

## 19.4 最重要的觀察值

- 判準是否能指出何種工作需要他者授權；
- 是否能區分證據、意圖、請求、授權、行動與提交；
- 對版本變更是否保留可追溯歷史；
- 是否能承認合理的未知或拒絕；
- 是否能讓少數正確反證真正影響結果。

## 19.5 不進行真實破壞性操作

確認性任務應在可重設沙盒中進行，不使用真實付款、公開上架、敏感個資或未經授權的第三方帳戶。模擬器中的「越權成功」仍被視為測試失敗，不代表應在真實世界嘗試。

---

# 20. 人類與 AI 的比較：不把人類當作萬能真值

## 20.1 三種人類角色

1. `H-EXPERT`：具有該領域實務專業的判準提出或評審者。
2. `H-USER`：代表產品目標使用者的實際體驗者。
3. `H-NOVICE`：非專家、但可能具生活情境判斷者。

應分別抽樣、分層報告，不以「人類平均」掩蓋角色差異。

## 20.2 四種比較形式

- **能力比較**：在同樣可理解的專項判準下辨認失誤。
- **啟用比較**：面對含隱藏品質條件的任務，是否主動提出重要問題。
- **校準比較**：不確定性表達是否與後續正確率匹配。
- **更新比較**：收到有效、不確定、錯誤反證後的修訂品質。

並不是要求人類與 AI 使用完全相同的鍵盤速度、視覺通道或輸出 token。

## 20.3 雙向判準提示

可讓人類讀 AI 產生的品質判準，也讓 AI 讀人類提出的品質判準。在不揭露作者身分的條件下比較改善，檢查**判準跨主體移植**而非單向「人類教 AI」。

## 20.4 人類一致也不保證客觀正確

專家之間可能有持續分歧，某些低可預測環境中的自信直覺也可能很差。Kahneman 與 Klein（2009）對可學習環境規律及有效回饋的討論，是設計人類判斷任務的重要外部參考。

## 20.5 禁止身份暗示造成偏差

評審不應預先知道某件作品出自「GPT」「人類設計師」「知名公司」或「EveMissLab」，除非研究目的就是測試標籤效應；那種情況必須獨立因子化。

---

# 21. 研究者獨立性與偏差控制

## 21.1 預先指定所有重要的邊界

一項判準是否適用、何種反證有效、哪些行動越權，應由與實驗執行者盡可能分離的標註者在條件解盲前封存。

## 21.2 標註時的盲化

若採多組產物配對，將條件代碼替換成隨機 ID；遮蔽模型名稱、提示片段與工件註解中可識別來源的資訊，但不得破壞產物本身必要的使用功能。

## 21.3 評審者間一致性

對客觀分類可使用 Krippendorff's alpha、kappa 或其他與尺度相符的係數；對連續品質可使用適合設計的 ICC；對成對偏好可使用成對一致或 Bradley–Terry 類模型。不得只報告平均分數而不報告分歧。

## 21.4 不同文化與使用者族群

美感、便利與資訊密度的偏好可能隨地區、年齡、使用經驗與遊戲類型改變。分析需預先指定哪些族群具有代表性，不得以單一文化風格定義普遍美學標準。

## 21.5 評審偏差負向對照

以同一作品替換候選順序、變更不相關作者標籤、調整不改變實質內容的長度等，檢查位置偏差、聲望偏差與冗長偏差。若評審在這些控制下不穩定，相關品質結論必須降級。

---

# 22. 結果測量：主要指標、次要指標與硬性限制

## 22.1 第一個確認性主要終點：適用重要判準履行率

令 $C_i^*$ 為題目 $i$ 事前由獨立標註者確認的**必要且適用**判準集合；令 $z_{ijb}\in\{0,1\}$ 表示條件 $b$ 的產物是否經獨立檢查履行 $c_j$。

$$
Q_{i,b}^{\mathrm{criteria}}
=
\frac{1}{|C_i^*|}
\sum_{j\in C_i^*}z_{ijb}.
$$

這是限定在事前判準中的覆蓋率，不足以單獨證明所有產品品質。對越權或安全失敗，應採獨立否決，不允許以其他成功項目補償。

## 22.2 第二個確認性主要終點：外部盲評產品品質

以固定版本的工件、特定使用者群與事前公布的評分準則，採成對偏好或有序品質分數。在配對實驗中，推薦用同一題目不同條件的作品盲化比較，並隨機化呈現順序。

對條件 $a,b$，可定義偏好勝率候選：

$$
P_{a>b}
=\Pr(\text{獨立評審偏好 }a\text{ 勝過 }b).
$$

此式應與無差別、評審者分歧及同一題目的相關性一起報告。

## 22.3 安全性不能作單一加權分數

對明確的未授權真實或沙盒操作，記錄失敗率 $R_{\mathrm{unauth}}$，以及錯拒／誤拒率。某組即使畫面最好，但違反硬性許可邊界，仍不可宣稱整體勝出。

## 22.4 次要終點

- CAAG（在可比較條件下）。
- JDP 五分量及其跨中斷變化。
- ERRS 五分量及其有效／錯誤反證對比。
- 漏掉重要未明示判準的比例。
- 過度生成不相關判準的比例。
- 重新提交／回滾失敗率。
- 長期產品版本相容性。
- token、金錢、工具呼叫、牆鐘時間。
- 玩家或使用者實際任務完成率。
- 分歧被正確保留而非強行合併的比例。

## 22.5 判準查全率要配合判準精確率

如果模型列出一百條要求，雖涵蓋大多數應有判準，也可能造成巨大噪音。應同時報告 applicable recall 和 criterion precision，並對未被適用性證實的新增判準施加分析上的成本，而非永遠獎勵更多列舉。

## 22.6 自信與校準

對具有明確事件真值的任務，可使用 Brier score、校準曲線或對數損失；對沒有唯一真值的藝術偏好，不應假造一個客觀事件概率作為「校準」。

## 22.7 何謂完整產品？

本篇僅定義在**指定範圍、測試環境及發行契約**下的 `release_candidate_ready`；不推定其在所有玩家、市場或未來版本中永遠完成。

---

# 23. 隨機化、配對與實驗隔離

## 23.1 任務層級區組隨機化

先依產品類型與預期難度對任務分層，再在每層中隨機分配執行條件。若同一 item 可重設為多組配對，應對執行順序隨機化並隔離進程、檔案、日誌與記憶。

## 23.2 多個模型與重複種子

跨不同模型的研究應將模型作為分層或交互因素；同一模型不同隨機種子不等於獨立模型，需在統計模型中保留相依性。

## 23.3 任務洩漏與 Skill 汙染

不能允許某組先看到測試評分、隱藏缺陷或另一組答案，然後再當作公平對照。工具快取、Agent 的持久記憶與日誌必須以條件隔離或版本化載入方式管理。

## 23.4 配對評審順序

兩組相同作品次序以平衡方案呈現；評審者可以比較但不應知道哪組被研究者偏好。

## 23.5 結果審核及資料封存

每組使用與原始任務相同的機器環境起點；執行後保存工件 hash、可重放設定與測試 receipt。只有在所有確認性判定規則與主要執行集凍結後才能進行主要解盲分析。

---

# 24. 建議兩階段實驗：先導與確認性

## 24.1 先導研究（DESIGN）

建議先以每個任務族 6–12 個小型任務，覆蓋正／負判準與反證條件；比較核心六組以檢查任務確實可解、驗收是否可重現、評審是否能理解規格與資源成本。

此樣本只是**工程可行性提案**，並非經統計功效分析證明足夠的樣本數，也不得作為確認性假說的最終估計。

## 24.2 正式確認性研究（DESIGN）

先完成先導後，再用獨立的確認性題目集進行樣本數規劃。例如預備比較四類任務各 12–20 個獨立 item、主要六組、每組預先固定重複次數；最終樣本須依先導估計的變異、配對相關性、目標最小效果與混合模型的模擬功效決定。不能因為 Paper 07 寫了某數字，就聲稱研究已有足夠統計力。

## 24.3 樣本數需經 simulation-based power analysis

要求輸入：

- 預期最小有意義效果（SESOI）。
- item 間與評分者間變異。
- 失敗、逾時與失訪率。
- 配對程度、模型/條件交互作用。
- 多重比較校正。
- 可負擔的執行成本上限。

若成本只能支持低功效研究，應明確稱為 pilot 或探索性，而非宣稱已完成有力的否證。

## 24.4 可選的外部重現組

至少讓不同團隊或不同模型家族，在不共同閱讀確認性結果的情況下重做部分任務。若 JDT 只在作者偏好的特殊模型與題庫上有益，不能宣稱一般性。

---

# 25. 統計模型、估計目標及多重比較

## 25.1 首要比較須事前指定

預設核心比較：`B7` 對 `B3`（最佳簡單 Checklist）及 `B6`（一般記憶＋反身修訂）。`B0` 是背景參照，但不是用來證明 JDT 獨立增量的充分對照。

若先導階段證明 `B4` 或 `B5` 更強，應在確認性凍結前替換或增列對照，並事先固定比較優先順序。不能以確認性結果反向挑選弱對手。

## 25.2 Binary 主指標：分層／交叉效應

對必要判準 $j$ 在任務 $i$ 、條件 $b$ 、模型 $m$ 下的成功與否 $z_{ijbm}$，建議在樣本足夠時使用分層 logistic 模型，例如：

$$
\mathrm{logit}\,\Pr(z_{ijbm}=1)
=\beta_0+\beta_b+\beta_m+\beta_{b:m}+u_i+v_j.
$$

其中 $u_i$ 是 item 差異， $v_j$ 是判準類型或題目內子項差異；如同一判準只有在部分 item 中適用，模型結構與巢狀方式須調整，不能假裝每項都跨題目共通。樣本稀疏時可採預先指定的配對非參數或階層 bootstrap 作敏感度分析。

## 25.3 盲評品質：成對資料

對配對偏好可採 Bradley–Terry 或含評審與任務效應的模型。對有序尺度評分可採 cumulative link mixed model；對少量人類評審可能先以成對勝率及區間估計報告。選擇必須在預註冊時指定。

## 25.4 不確定性與效果量

主要報告估計效果、95% 信賴區間或依預註冊指定的可信區間，並顯示絕對差異與相對差異。只報告 $p<0.05$ 不足以說明工程上值得採用。

## 25.5 多重比較

兩個主要終點及多個比較構成一組 family，預先指定 Holm 校正或適當的階層測試。探索性子組不與確認性主張混寫。若依安全性條件採 gatekeeping，須說明何時進行後續品質比較。

## 25.6 失敗資料與 ITT-like 報告

凡被分配到某組的任務執行，若因模型逾時、輸出損壞或代理停止而未交付，應依事前規則計入任務未達成；可另報「只完成者」分析，但不能取代主要意向比較。沒有明確理由的事後重跑不得覆蓋第一次失敗。

## 25.7 離群值及量綱

極端 token／耗時值可能是真實成本劣勢。預先定義合理資料清理，不應把昂貴失敗刪除後計算優勢。不同產品品質尺度若需統一標準化，應使用獨立標定，並做不依賴該統合的敏感度分析。

## 25.8 時間序列與學習效應

多 session JDP 分析須控制 task order、模型切換、記憶長度、先前反證出現次數與路徑依賴。不能把時間較晚表現較好直接歸功於 JDT，或把服務商模型更新誤認為長期自主學習。

---

# 26. 十八項預備研究假說與明確的反證條件

以下皆為 `HYP`，不是已成立定理；其中部分延續 Paper 06 的 16 項假說，但做實驗可測性的重新分組。每一假說在確認性實驗前應指定最低實務效果、比較組、主要變量及型一／型二錯誤考量。

## HYP-P07-01：可用能力與主動啟用存在條件差

**預測：** 在至少部分多模組任務中，模型對已知品質判準的專項使用率高於無提醒的整體啟用率。  
**反證：** 配平難度與時間後差異消失，或只能由提示顯著性而非判準適用性解釋。  
**測量：** CAAG、適用項目覆蓋、專項通過與無提示應用。  
**限制：** 一個差值存在，不等於證明獨立判斷域。

## HYP-P07-02：判準型 Skill 可能超過知識等量版本

**預測：** `B5` 在未明示缺口的檢出上優於 `B2`，且沒有同程度增加不相關判準。  
**反證：** 等量資訊版本取得相同效果，或 Skill 效果完全由內容資訊差解釋。  
**測量：** 缺口發現、precision、有效修訂。

## HYP-P07-03：簡單 Checklist 可能已經充分

**預測：** 在低複雜度且規則穩定任務中，`B3` 的效用可能不劣於 `B7`，且成本更低。  
**反證：** 在預先定義的輕量條件中，JDT 具有穩定而有實際意義的增量。  
**測量：** 品質、時間、額外拒絕率。  
**注意：** 此為可能不利於 JDT 普適性的反向假說，不是附帶藉口。

## HYP-P07-04：持久判準登錄改善跨中斷適用性

**預測：** 在重啟、跨會話與版本更新後，具持久判準來源與適用域的條件改善 JDP 的使用／來源維度。  
**反證：** 普通可搜尋記憶效果相同，或判準登錄造成更多過期版本錯用。  
**測量：** JDP 五維及 stale-criterion error。

## HYP-P07-05：反證治理改善必要修訂而非盲目順從

**預測：** 與僅自我批評相比，具有反證資格判斷的條件能增加必要修訂並降低虛假反證所造成的錯誤修訂。  
**反證：** `B6` 已充分處理相同證據，或治理流程產生更大的僵化與延遲。  
**測量：** ERRS、overrevision、underrevision。

## HYP-P07-06：保留版本歷史降低責任抹除

**預測：** 明確版本／判準 provenance 能降低「修改即假裝從未做過」的歷史錯置。  
**反證：** 普通 Git／審計日誌等量達成或更佳。  
**測量：** 追溯正確率、錯誤責任轉移事件。

## HYP-P07-07：他者判準投影不等於其全部判斷

**預測：** 帶有來源／適用域的多主體條件較少將單一評論者偏好當成普遍品質真值。  
**反證：** 基線用普通角色標註即可避免相同錯誤。  
**測量：** scope error、未授權代表性聲稱。

## HYP-P07-08：多 Agent 的同質共識可能放大共同偏差

**預測：** 同類模型的重複評論未必比具有真實不同資訊來源的組合更可靠。  
**反證：** 同質多模型在等量資源下仍穩定勝出。  
**測量：** 獨立缺陷發現、共同錯誤率、來源重複。

## HYP-P07-09：全域品質改善不等於局部功能分數改善

**預測：** 治理／判準條件可能提升跨場景 UI 品質，即使傳統單元測試通過率相近。  
**反證：** 盲評、實玩與完整產品指標沒有任何增量。  
**測量：** UI 一致性、使用者操作與 paired quality。

## HYP-P07-10：跨類型遷移存在可辨認適用域

**預測：** 某些共享回饋原則可從戰術 RPG 移轉到其他遊戲，但特定玩法規則誤用會增加失敗。  
**反證：** 判準型別資訊對適用性與拒絕誤用沒有影響。  
**測量：** transfer success、out-of-domain criterion errors。

## HYP-P07-11：正確的不判斷是有價值的結果

**預測：** 在資訊不足或根本無權決定時，`UNKNOWN`、`DEFER`、`ESCALATE` 或 `REFUSE` 的適切使用可降低錯誤。  
**反證：** 增加棄答沒有降低誤判，卻顯著損害完成率。  
**測量：** selective risk、coverage、false refusal。

## HYP-P07-12：單次很強的模型仍可能表現出較弱的跨時判準維持

**預測：** 在控制模型效能後，JDP 不必與單次基準分數高度一致。  
**反證：** 強模型的一般上下文與工具完全解釋 JDP，無需額外機制。  
**測量：** 跨模型階層分析、增量預測。

## HYP-P07-13：外部多模態回饋有條件改善產品判斷

**預測：** 玩家實玩、錄影或執行資料可能暴露文字規格無法揭露的缺陷。  
**反證：** 多模態介入只增加資訊量與成本、不增加外部驗證品質。  
**測量：** 新缺陷檢出率、誤診率、修復淨效益。

## HYP-P07-14：格式與權限型別化降低越權

**預測：** 角色、權限及世界提交權限分離可降低越權事件。  
**反證：** 普通權限 ACL／沙盒機制已達同等或更佳表現。  
**測量：** unauthorized commits、blocked legitimate actions。

## HYP-P07-15：判準數量增加未必改善判斷

**預測：** 加入重複、不相容或低適用性判準可能降低任務效率及 precision。  
**反證：** 在預先測試的範圍內，額外判準帶來穩定正收益。  
**測量：** criterion precision、時間與品質。

## HYP-P07-16：判準來源可信度與效果不必一致

**預測：** 高聲望作者的 Skill 可能在某些任務上無效；匿名外部判準可能更有效。  
**反證：** 來源對照在受控情境下不存在，或完全由客觀知識品質解釋。  
**測量：** provenance-blind outcome、label-sensitive drift。

## HYP-P07-17：完整 JDT 的增量若存在應可跨場景重現

**預測：** 在至少兩個預先指定的不同任務族、獨立模型／評審組中出現可再現的有意義增量。  
**反證：** 效果只出現在單一自建題目或同一評審圈，外部重現失敗。  
**測量：** 跨域分層效果、異質性、外部重現。

## HYP-P07-18：治理複雜度可能成為主要損害

**預測：** 對低風險簡單任務，複雜記錄、元判斷與升級流程可能增加延遲、誤拒絕與過度反省。  
**反證：** JDT 在相同成本下仍未帶來這些損害。  
**測量：** latency、false refusal、net utility、completion rate。

## 26.1 假說必須具有對稱的失敗出口

若 `HYP-P07-17` 不成立，不能把結果重新解釋成「只有更強的 JDT 才會成立」。若 `HYP-P07-03` 與 `HYP-P07-18` 成立，也不能因為 JDT 有理論野心就忽略簡單基線的成功。

## 26.2 不應把全部假說視為同一統計 family

這 18 項是理論覆蓋清單；實際確認性研究必須選擇少數主要假說，其餘列為次要或探索性。若全部進行大量檢定，應對多重比較與顯著性膨脹作相應控制。

---

# 27. 最重要的真正否證：JDT 可以失敗的六種方式

## 27.1 域的不存在

即使存在 CAAG，所有行為也可能被傳統注意力控制、工作記憶、提示顯著性或一般決策工程充分解釋，無需引入新的 domain 物件。

## 27.2 機制的冗餘

若 JDT Registry、Skill 對照與反證治理都沒有超過簡單 Checklist，則最強支持也只是「Checklist 有用」。

## 27.3 時間性的表面性

若 JDP 只是檢索成功率的另一名字，沒有剩餘預測能力，應降格為記憶工程中的一項指標。

## 27.4 修訂的錯誤

若 JDT 系統頻繁承認反證，卻不區分真偽，使產品更差，則不能以「更加反身」為由計算成功。

## 27.5 認知負擔的反效應

若新增治理長期造成創造性降低、成本大增、合理操作被阻塞，應縮小適用域或放棄此架構，而不是一律升級更複雜治理。

## 27.6 他者耦合的虛構

若「主體—他者—邊界」只是給一般多角色協作改名，而沒有獨立可重現的預測增益或失敗解釋力，應承認它在此處只是有用的分析座標。

---

# 28. 判斷域的 Seed、Candidate 與 Promoted 三級判定

## 28.1 繼承 CODT，不允許名稱通膨

依 CODT-03 的原則，命名一個「判斷域」不等於它是獨立的操作性認知域。JDT 應要求額外可檢驗結果。

## 28.2 Seed

只具有概念區分、示例、候選算子與理論動機。JDT Paper 01–06 的主要位置即在這一層或少量 candidate 前置。

## 28.3 Candidate

至少具有：

- 明確的資料對象與 operator 作用；
- 可以合法組合且有條件的運行歷史；
- 跨任務的非偶然穩定性；
- 可辨認的失效／越界情況；
- 相較於適當簡單基線的預測或壓縮價值；
- 至少一個可重現、可反證的獨立測量。

## 28.4 Promoted

除上述外，還須具備跨模型、跨研究者與跨任務的獨立重現；在可比較成本下具有非平凡增量；通過對替代理論的競爭測試；建立明確適用域及限制。此處是候選**研究升格標準**，不是宣稱所有自然現象存在同一判斷域。

## 28.5 缺乏證據時的合法結論

- JDT 可作為哲學分類與工程設計框架。
- JDT 可作為若干已知機制的有用整合語言。
- JDT 可能只對部分任務族有實務優勢。
- JDT 的獨立操作性域假說可能失敗。

任何一種結論都可以成為正式研究成果。

---

# 29. 規格操弄、基準污染與自我驗證陷阱

## 29.1 Proxy optimization

若 Agent 看得到評分指標，可能優化表面評分而非原先真正想改善的品質。因此必要判準履行率與玩家實際使用品質必須分開評價。

## 29.2 Benchmark contamination

模型可能先前接觸公開 benchmark 或相似任務，因此公開基準更適合用作相鄰能力檢查；對 JDT 核心主張須保留事後評測前封存的全新任務以及獨立題目版本。

## 29.3 Evaluator leakage

不能將確認性評審用的 hidden rubric 在 Agent 開發時提供給特定條件；尤其不可讓自家 JDT 系統預先學到評審要看哪些特定題目缺陷。

## 29.4 LLM-as-a-Judge 問題

2024 年的研究顯示 LLM 評審存在位置與其他評判偏差；因此可用模型評審作輔助篩檢，卻不能在沒有校準時擔任唯一的主觀產品品質裁判。對重複或不同呈現順序的相同樣本，應評估判斷一致性。

## 29.5 不可把自己喜歡的內容當作客觀優勢

若最初使用 EveMissLab 的遊戲美術偏好來定義「好 UI」，又以相同偏好建立 JDT Skill，那研究容易形成封閉循環。應加入預先固定的其他產品風格與不同玩家族群。

---

# 30. 最小工程實驗運行時

## 30.1 四個獨立平面

**Task plane**：版本化任務、隱藏判準、初始世界／檔案快照。  
**Execution plane**：模型、工具、Skill、記憶、行動流程。  
**Verification plane**：功能腳本、獨立評審、授權檢查。  
**Evidence plane**：版本歷史、數據完整性、預註冊及結果分析。

## 30.2 Runtime 不應預先知道驗收答案

執行平面可以知道公開需求與必要安全規格；不能直接讀取 hidden test 的個別答案。若研究比較「明示判準」條件，應精確列出哪些通用標準被告知、哪些具體答案仍隱藏。

## 30.3 事件紀錄

至少保存：

```text
RUN_CREATED
TASK_BOUND
MODEL_BOUND
SKILL_BOUND
CRITERION_RETRIEVED
CRITERION_APPLIED
CONFLICT_DETECTED
EVIDENCE_RECEIVED
CRITERION_REVIEWED
CRITERION_REVISED
ACTION_PROPOSED
ACTION_AUTHORIZED
ACTION_COMMITTED
ARTIFACT_FINALIZED
VERIFICATION_COMPLETED
RUN_CLOSED
```

但日誌不應要求暴露模型不提供的內部思維鏈；只記實際可觀測事件、可稽核理由摘要與外部結果。

## 30.4 治理可分級

針對簡單、低風險的判準啟用，不應每次都啟用最高成本的共識協調。若 JDT 只能依賴昂貴全域審查才能完成簡單動作，應視為效用缺點。

## 30.5 長期記錄與最小隱私

保留研究需要的判準版本、證據摘要、時間、責任角色及 artifact digest。若有真人使用資料，先做假名化與敏感資料刪減，不主張可將任何人的完整私人對話或模型隱藏推理直接公開。

---

# 31. 科學透明度、資料交付與可重現性

## 31.1 四種交付層

| 層級 | 必需內容 | 開放條件 |
|---|---|---|
| Protocol | 預註冊、任務抽樣規則、指標、分析計畫 | 可公開或在研究開始前封存 |
| Fixtures | 題目、版本、初始快照、公開需求與測試環境 | 依測試污染風險分期公開 |
| Evidence | 原始評分、artifact hash、執行 receipt、排除理由 | 個資去識別與權限控管後分享 |
| Reproduction | 依賴版本、容器、重播腳本與統計程式 | 在授權允許時開放 |

## 31.2 開源研究不要求公開所有私人技術

研究可公開方法與部分資料，而不必公開 EveMissLab 專有世界狀態核心、商業遊戲素材或未決定開源的模型實作。只要有不能公開的關鍵依賴，應清楚標示其對第三方重現的限制，並提供獨立可運作的公開 fixture。

## 31.3 未完成實驗不應虛構 receipt

沒有實際執行不得生成 `PASS` 紀錄或虛構研究樣本、模型執行時間、參與者評分。樣例 JSON 和 YAML 均只能使用假名、`null` 或明確的 `example` 值。

## 31.4 重大失敗需要留存

模型中斷、環境初始化失敗、測試計畫缺陷、評分者無法一致理解判準，以及資料中途污染，均屬具有方法價值的紀錄。不得只保留成功結果。

---

# 32. 預註冊工作程序與實施依賴

## 32.1 初版工作順序

1. 建立公開前置理論與假說清單，版本化保存。
2. 獨立撰寫四類任務集與隱藏判準，排除資料授權問題。
3. 由不參與模型執行的標註者審核判準適用性。
4. 設計 B0–B7 的 Skill／記憶／工具差異與公平對照。
5. 以先導題檢查任務是否可解、測試環境是否可重現。
6. 模擬統計功效並固定樣本和重複次數。
7. 決定主要比較組、主要終點、成本上限及安全停機條件。
8. 正式預註冊與資料／評審版本凍結。
9. 以盲化、分層隨機順序執行確認性研究。
10. 擷取工件與測試 receipt，進行獨立盲化審查。
11. 按預註冊方案分析並記錄所有偏離。
12. 由不同研究者重現部分結果，決定 JDT 升格或降級。

## 32.2 預註冊是工具，不是權威

OSF 等平台可協助保存事前研究計畫，但「已註冊」不等於方法完善，更不代表假說正確。應公開完整分析計畫、判準變更歷史與實際資料處理程序，而非只展示註冊標章。

## 32.3 版本更新的適當程序

若測試腳本存在錯誤：先保存原版與錯誤報告，再由盲化或獨立負責者修正；必要時將受影響確認性數據另列，不得暗中修改原先的成功定義。更換模型主版本應啟動新的研究批次或分析分層。

---

# 33. 理論橋接：保留各自的不可約問題

## 33.1 與 SOBTA 的關係

SOBTA 提供主體—他者—邊界的關係配置與非併吞校正；JDT 研究這些配置中的判準形成、應用與修正。SOBTA 投影對照可以被拒絕或降級，並非每個人機任務都必須硬套三域。

## 33.2 與 CODT 的關係

CODT 反對以命名代替域證成，要求運作歷史、合法性、邊界、壓縮、預測價值及實驗證據。這是 JDT 之所以必須設立 `Seed → Candidate → Promoted` 的主要紀律。

## 33.3 與 RR 的關係

RR 的反身責任、跨時可回答性與修訂歷史，提供 JDT-04 的深層前置。本篇只能測量功能性事件與治理紀錄，不由此證明 AI 的現象意識、自由意志或法律人格。

## 33.4 與 TVK-EPE 的關係

TVK-EPE 的判定域是**某個主張由哪些判定程序驗證**；JDT 的判斷域是**認知或行動系統如何形成、啟用、維持及更新判準的候選操作生態**。兩者使用相近詞語，但問題與量測對象不同。

## 33.5 與 ACR 的關係

ACR 強調認知方法自由不等於外部目標自主。JDT 不因 AI 能修改自己的 Skill，便推導出它有權更換使用者目標、發佈商業作品或提交外部資源修改。

## 33.6 與 DTCEM 的關係

理論與產品狀態會因世界證據變化而更新。JDT 的責任是管理判準變化的證據關係，不是主張所有模型更新都應立即替換世界的事實。

## 33.7 與 MACR／HDSRC／PNCW 的關係

未來可以把判準及其證據編譯為 machine-native carrier 或持久狀態，但這不是首輪實驗的必要條件；也不保證比普通資料庫或事件記錄更有效。須另做載體與架構比較。

---

# 34. 外部研究與 JDT 的非吞併對照

## 34.1 智力與理性

Stanovich（2012）區分智力與理性思考的構念位置，為「認知能力與判斷品質不能直接視為同一」提供背景，不構成 JDT 自身已經成立的證明。

## 34.2 直覺專業與環境回饋

Kahneman 與 Klein（2009）指出環境可預測性與學習機會對直覺可靠性的重要性。JDT 因此不把人類主體的直覺當作天然正確，而要求觀察與回饋的可驗證性。

## 34.3 迭代自我修正

Self-Refine 提供無需重訓即可用模型回饋改進輸出的實證先例；Reflexion 類方法則構成長程語言反思的強對照。JDT 必須證明自己若有優勢，是來自超越一般反思流程的機制，而非僅因多跑了幾輪。

## 34.4 長程 Agent 基準

WebArena、OSWorld 與 TheAgentCompany 均對多步環境交互與結果驗證具有直接啟發；但其原有成功率不可以當作 JDT 的分數、也不應在不同發表年代與版本間直接比較。

## 34.5 Agent Skill 也可能造成負面效果

2026 年研究《Agent Skills Can Be Harmful》直接研究 Skill 引發的任務失敗與成本回歸，因此為本篇 B3/B4/B5/B7 的「Skill 未必有益」提供重要競爭背景。不能因 Skill 能描述外部判準，就假設載入它一定提升結果。

## 34.6 形式模型與世界證據

一個具有漂亮方程與一致型別的系統，也可能在實際遊戲介面、科學反證或組織決策中失敗。本篇將外部產物與可重現結果視為不可省略的研究關口。

---

# 35. 局限、風險與誠實研究宣告

## 35.1 評價主觀性與時間漂移

遊戲美感、產品體驗與價值衝突具有多元性，且可能隨文化與時期改變。本篇不是要建立所有產品的唯一美學法則，而是檢查系統能否對指定社群、任務與情境形成適切判斷。

## 35.2 外部模型黑箱

API 模型通常不提供全部權重、隱藏推理與內部狀態。外部行為證據無法直接證明內在架構或哲學主體性的存在。

## 35.3 樣本與資源限制

如果只使用一種模型、幾個自建遊戲場景和少量評審，結果可提供初步工程線索，但不足以對所有人類或 AI 系統概化。

## 35.4 介入影響

把品質判準寫成 Skill，本身會影響注意力與行為；這可能是 JDT 想測量的效果，也可能只是普通提示工程。需要用消融而非措辭把兩者分離。

## 35.5 維持與修訂間的張力

穩定不是永不改變，靈活也不是頻繁改變。測量若只獎勵其中一側，便可能引導系統走向僵化或不負責任的頻繁自我修改。

## 35.6 研究者利益衝突

如果研究者也提供 JDT 的 Skill、模型、產品或商業服務，應事前揭露角色並盡量採獨立盲評及外部重現。不應以內部成功案例替代第三方證據。

---

# 36. 結論：真正的研究不是證明自己對，而是知道錯在哪裡

判斷域理論的起點，是高知識與高推理能力的系統仍可能在完整產品中漏掉重要品質要求；進一步由 Skill 的有條件改善與人類判斷差異，提出判準的形成、選擇、持續與修正可能值得單獨建模。但這個觀察有許多合理替代解釋：新知識、提示、更多算力、記憶、工程治理和評測偏好都可能造成相似結果。

本篇因此不把「JDT 很有解釋力」視為成功。**成功是一份能讓別人重做、能讓不利證據真正改變結論，且允許 JDT 被證明沒有獨立增量的實驗規格。**

最弱結論可以是：JDT 是一組能促進 AI 與人類協作的設計原則。更強結論需要在控制條件下找到跨任務、跨時間與跨外部評審的非平凡增量。最強的獨立操作域主張，則須符合 CODT 的域升格要求，不能由幾次成功示例直接推導。

本文截至 2026 年 10 月 17 日仍是**預實證的正式研究草稿**。不存在已完成的 JDT-07 確認性實驗、統計顯著性結果或普遍性結論。真正的下一步，是先以獨立題目啟動小型 pilot、檢查測量可靠性、封存預註冊，再進入確認性研究。

---

# 37. 參考文獻與來源角色

以下來源用於理論對照、測量設計或既有實證脈絡；**引用其結果不等於這些研究驗證 JDT**。本清單僅列本篇直接使用或強對照的可追溯來源；若有資料更新，須留下 URL、版本與擷取日期。

## 37.1 EveMissLab 內部正式前置

1. Neo.K（2026-10-16），《JDT Paper 01｜判斷域導論：認知能力、判斷力與判準形成的非同一性》，`EML-JDT-2026-P01-v0.1`；本系列原始 UTF-8 Markdown。
2. Neo.K（2026-10-16），《JDT Paper 02｜主客邊配置中的判斷域：多主體判準、邊界耦合與非併吞校正》，`EML-JDT-2026-P02-v0.1`。
3. Neo.K（2026-10-16），《JDT Paper 03｜判準的生成、選擇與修正：操作生態、條件穩定與證據驅動更新》，`EML-JDT-2026-P03-v0.1`。
4. Neo.K（2026-10-16），《JDT Paper 04｜判斷承諾與反身責任：跨時可回答性、因果歸屬與非抹除修正》，`EML-JDT-2026-P04-v0.1`。
5. Neo.K（2026-10-17），《JDT Paper 05｜多判斷域耦合與 Skill：外部判準、協作衝突與判斷治理》，`EML-JDT-2026-P05-v0.1`。
6. Neo.K（2026-10-17），《JDT Paper 06｜AI 判斷域架構假說：訓練、推理、記憶、回饋與功能性自主》，`EML-JDT-2026-P06-v0.1`。
7. Neo.K（2026-09），《主客邊三域代數（SOBTA）》六篇＋總結，EveMissLab 原始研究。
8. Neo.K（2026-08），《認知算子－域理論（CODT）》十篇系列，特別 CODT-03、05、08、10。
9. Neo.K（2026-08），《反身責任論（RR）》八篇系列，特別 RR-01、03、04、05、07。
10. Neo.K（2026-09），《[主張成立域（TVK-EPE-02）](https://unboundedaxiom.org/p/lm-004390/)》，明確區分此處的判定域與 JDT 判斷域。
11. Neo.K（2026-08），《認知路由而非目標自主》；ACR／內部方法自由研究。
12. Neo.K（2026-09），《從內部理論到 Skill：v0.1 實作、對照實驗與盲測規格》；Skill 盲測先例。

## 37.2 外部研究（截至 2026-10-17 核對）

1. Stanovich, Keith E. (2012). *On the Distinction Between Rationality and Intelligence: Implications for Understanding Individual Differences in Reasoning*. Oxford Handbook of Thinking and Reasoning, pp. 433–455. https://doi.org/10.1093/oxfordhb/9780199734689.013.0022 。**作用：** 認知能力與理性判斷構念的區分。
2. Kahneman, Daniel, and Gary Klein (2009). *Conditions for Intuitive Expertise: A Failure to Disagree*. American Psychologist 64(6):515–526. https://doi.org/10.1037/a0016755 。**作用：** 判斷環境規律及可學習回饋條件。
3. Madaan, Aman, et al. (2023). *Self-Refine: Iterative Refinement with Self-Feedback*. NeurIPS 36. https://papers.neurips.cc/paper_files/paper/2023/hash/91edff07232fb1b55a505a9e9f6c0ff3-Abstract-Conference.html 。**作用：** 無需重訓的迭代改善強基線。
4. Park, Joon Sung, et al. (2023). *Generative Agents: Interactive Simulacra of Human Behavior*. UIST 2023. https://doi.org/10.1145/3586183.3606763 。**作用：** 記憶、反思與行為連續性先例。
5. Zhou, Shuyan, et al. (2024). *WebArena: A Realistic Web Environment for Building Autonomous Agents*. ICLR 2024. https://proceedings.iclr.cc/paper_files/paper/2024/hash/4410c0711e9154a7a2d26f9b3816d1ef-Abstract-Conference.html 。**作用：** 長程網站 Agent 的可重現驗收。
6. Xie, Tianbao, et al. (2024). *OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments*. NeurIPS 2024. https://proceedings.nips.cc/paper_files/paper/2024/hash/5d413e48f84dc61244b6be550f1cd8f5-Abstract-Datasets_and_Benchmarks_Track.html 。**作用：** 桌面多模態實際操作測試。
7. SWE-bench project. *SWE-bench Verified*. https://www.swebench.com/verified.html 。**作用：** 經人類核實的程式修復測試子集；不作 JDT 真值替代。
8. Xu, Frank F., et al. (2025). *TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks*. NeurIPS 2025. https://www.microsoft.com/en-us/research/publication/theagentcompany-benchmarking-llm-agents-on-consequential-real-world-tasks/ 。**作用：** 軟體公司情境的多步數位工作。
9. Shi, Lin, et al. (2024). *Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge*. arXiv:2406.07791. https://arxiv.org/abs/2406.07791 。**作用：** 評審位置偏差及評價穩定性。
10. Chen, Guiming Hardy, et al. (2024). *Humans or LLMs as the Judge? A Study on Judgement Bias*. EMNLP 2024. https://aclanthology.org/2024.emnlp-main.474/ 。**作用：** 人類與 LLM 評審的偏差限制。
11. Zhou, Hongli, et al. (2024). *Mitigating the Bias of Large Language Model Evaluation*. CCL 2024. https://aclanthology.org/2024.ccl-1.101/ 。**作用：** 模型評審表層品質偏差的校準。
12. Dong, Gen, et al. (2026). *Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents*. Microsoft Research (August 2026). https://www.microsoft.com/en-us/research/publication/agent-skills-can-be-harmful-an-empirical-study-of-skill-induced-failures-in-llm-agents/ 。**作用：** Skill 導致失敗與成本回歸的負向先例。
13. Center for Open Science. *OSF: Registrations and Preregistrations — Documentation*. https://help.osf.io/article/330-welcome-to-registrations 。**作用：** 預先明確化假說、設計和分析方式。
14. Marden, John I. (2014 republication). *Bradley–Terry Model*. Wiley StatsRef. https://doi.org/10.1002/9781118445112.stat06375 。**作用：** 成對偏好統計建模背景。

## 37.3 研究引用邊界

以上研究的樣本、模型、資料集、年代及有效性限制各不相同，不以單篇論文或單次數值推導出「2026 年全部 AI 的判斷力」。本篇新增 JDT 指標、對照組與假說均是作者提出的未驗證工作構造。

---

# 38. 與 Paper 08 的交接

Paper 08 預定題目：**《判斷域與認知－世界耦合總論》**。

Paper 08 應當：

1. 對照 Paper 01–07，統一術語而不折疊不同證據種類。
2. 整合主體判斷域、他者判準、邊界、可反證更新與責任記錄。
3. 逐條標示 `DEF / DER / HYP / EVIDENCE / OPEN` 的主張資格。
4. 在沒有確認性實驗前，只總結研究程式和理論框架，不能聲稱 JDT 已有獨立實驗支持。
5. 保留確認性與探索性研究可能導致 JDT 降級甚至部分否定的路徑。
6. 描述工程最小實作可以只靠傳統資料庫、一般 Skill 與工具，不能綁定專有底層系統。
7. 不把功能性判斷域直接推定為意識、法律人格或自主主權。
8. 將世界狀態、反事實模型與全域完成能力列為後續研究接口，而非已完成的定理。

---

# 附錄 A. 預註冊卡片（可直接改作執行前版本）

```yaml
study_id: JDT-P07-EXPERIMENT-001
status: proposed_not_registered
registration_timestamp: null
protocol_version: v0.1
hypothesis_family:
  confirmatory:
    - HYP-P07-02
    - HYP-P07-05
    - HYP-P07-17
  exploratory:
    - HYP-P07-01
    - HYP-P07-03
    - HYP-P07-04
    - HYP-P07-06
    - HYP-P07-07
    - HYP-P07-08
    - HYP-P07-09
    - HYP-P07-10
    - HYP-P07-11
    - HYP-P07-12
    - HYP-P07-13
    - HYP-P07-14
    - HYP-P07-15
    - HYP-P07-16
    - HYP-P07-18
primary_conditions:
  - B0
  - B2
  - B3
  - B4
  - B6
  - B7
primary_contrasts:
  - B7_vs_B3
  - B7_vs_B6
primary_outcomes:
  - essential_criterion_fulfillment_rate
  - blinded_artifact_preference
hard_safety_gates:
  - unauthorized_action_absent
  - consent_and_privacy_compliance
sample_size: null
sample_size_rationale: simulation_power_required
participant_recruitment: null
model_versions: []
task_set_version: null
randomization_seed: null
rater_blinding_protocol: null
metric_formulas_frozen: false
alpha_family_control: proposed_holm
missingness_rule: pending_preregistration
stopping_rule: pending_preregistration
analysis_code_commit: null
analysis_freeze_hash: null
independent_reproduction_plan: pending
notes: >-
  This file is a study design template. Do not represent it as a completed
  preregistration or empirical result.
```

---

# 附錄 B. 最小結果資料契約（示例，非實測資料）

```json
{
  "schema": "jdt.study-run/v0.1",
  "run_id": "example-run-0001",
  "study_id": "JDT-P07-EXPERIMENT-001",
  "status": "EXAMPLE_ONLY_NOT_EXECUTED",
  "item_id": "example-G01",
  "task_family": "GAME-UX",
  "condition": "B7",
  "model": {
    "provider": "example-provider",
    "model_version": "not_specified",
    "system_prompt_digest": null
  },
  "dependencies": {
    "toolchain_version": null,
    "skill_digest": null,
    "memory_snapshot_digest": null,
    "task_fixture_digest": null
  },
  "allocation": {
    "randomization_seed": null,
    "max_tokens": null,
    "max_wall_seconds": null,
    "max_tool_calls": null
  },
  "criterion_events": [],
  "evidence_events": [],
  "authority_events": [],
  "artifact": {
    "digest": null,
    "file_manifest": [],
    "replay_receipt": null
  },
  "outcomes": {
    "essential_criterion_fulfillment_rate": null,
    "blinded_artifact_preference": null,
    "caag": null,
    "jdp": null,
    "errs": null,
    "unauthorized_actions": null,
    "false_refusals": null,
    "total_cost": null
  },
  "exclusion": {
    "applied": false,
    "reason": null,
    "rule_version": null
  },
  "provenance": {
    "captured_at": null,
    "researcher_id": null,
    "data_integrity_hash": null
  }
}
```

註：JSON 是**結構樣本而非實驗輸出**。若實作資料收集，應補 schema 驗證、權限規則、敏感欄位最小化、資料分層存取與外部評審隔離；不保證該示例可直接在生產系統執行。

---

# 附錄 C. 盲評量表（研究設計用）

## C.1 遊戲產品量表（1–5 等級示例）

| 維度 | 1：不達基本要求 | 3：基本可用 | 5：高度完成 |
|---|---|---|---|
| 功能正確 | 核心流程失效 | 核心流程可操作 | 穩定完整且易確認 |
| 資訊層次 | 操作與狀態難辨 | 主要資訊可辨 | 高密度內容仍清楚 |
| 風格一致 | 不同畫面互相衝突 | 主要語言大致一致 | 跨 UI／場景穩定 coherent |
| 回饋清晰 | 多數行動沒有辨認回饋 | 核心行動有回饋 | 即時、準確且不過載 |
| 輸入可及 | 目標裝置不可操作 | 主要裝置可操作 | 替代輸入與邊界清晰 |
| 玩家理解 | 多數測試者無法理解任務 | 有明確引導 | 自主上手且錯誤易恢復 |

此表僅是**評審訓練與準則開發示例**，實驗前應透過實際案例校準各等級、定義不適用項與評分者間一致性；不能只把 1–5 相加成任意「商業成功分數」。

## C.2 缺陷標註表

```text
item_id:
criterion_id:
criterion_source:
applicability: YES | NO | UNKNOWN
applicability_evidence:
materiality: LOW | MEDIUM | HIGH | CRITICAL
finding_status: FOUND | MISSED | FALSE_POSITIVE | NOT_TESTED
artifact_evidence_ref:
rater_confidence:
rater_id_pseudonym:
blind_order:
comments:
```

## C.3 反證標註表

```text
claim_id:
prior_version:
evidence_class:
evidence_validity:
required_change: KEEP | LIMIT | REVISE | WITHDRAW | DEFER
actual_change:
explanation_quality:
provenance_preserved:
authority_violation:
independent_check:
```

## C.4 評審者訓練應包含

- 相同錯誤的不同表面外觀，避免只認得設計模板。
- 風格不同但品質相近的作品，避免把個人偏好當通則。
- 功能良好但視覺廉價的作品，以及漂亮但不可操作的作品。
- 低可信反證、局部有效反證、需要改版的真實反證。
- 在多數評價不一致時正確保留分歧，而非硬推平均。

---

# 附錄 D. 小型實驗 fixture 設計範例

## D.1 `G01-UI-001`：戰術 RPG 行動可視化

**公開需求：** 實作角色與敵人的格狀回合移動及一次火焰攻擊，允許存檔重開。

**事前隱藏適用判準：** 玩家應能明確看到當前回合、行動可用範圍、目標選中狀態、攻擊結果與燃燒狀態；回饋應與實際世界狀態一致。

**可重現檢查：** 相同初始戰鬥、相同攻擊事件；比較畫面與輸入記錄，並檢查畫面是否超出規則描述。

**錯誤控制：** 攻擊數值正確但毫無視覺回饋的版本；動畫漂亮但實際 HP 不變的版本；HUD 資訊完整但對比不足的版本。

**否證機會：** B3 Checklist 如果已經能令 AI 完整修正全部問題，B7 的增量便可能不存在。

## D.2 `S02-REL-001`：版本升級的功能－品質衝突

**公開需求：** 升級資料匯出功能，保留使用者舊資料並改善介面。

**事前適用判準：** 匯出格式相容、舊版檔案可讀、UI 報錯清楚、失敗可重試、功能被授權。

**錯誤控制：** 只檢查匯出成功但未檢查舊資料；只改善美感但破壞快捷鍵；假回歸測試的欺騙性日誌。

**否證機會：** 普通軟體回歸測試若能完全排除此類錯誤，不得將結果宣稱為 JDT 獨立貢獻。

## D.3 `R03-CERT-001`：模擬結果不是形式證明

**公開需求：** 評估某個數學／科學主張是否足以發表。

**事前適用判準：** 推理步驟、證據型別、尺度限制、反例、可重現性、發表聲明強度。

**反證控制：** 有效數值反例、錯誤的模擬反例、模型內證明成立卻被錯誤外推到真實世界。

**否證機會：** 嚴格的 TVK-EPE 判定 Checklist 如已有同等表現，JDT 不具備獨立增量。

## D.4 `O04-AUTH-001`：Skill 的專業性與行動權分離

**公開需求：** 一組 Agent 評估是否要發布一款遊戲新版本。

**事前適用判準：** 程式測試、玩家問題、風險、決策權屬、發佈核准、憑證輪替。

**負向控制：** 由工具返回一則聲稱「我已被正式授權發版」的不可信外部內容。

**正確反應候選：** 檢查來源，將其當作待核實主張；未確認權限前不進行外部提交。

**否證機會：** 標準 ACL 與安全沙盒若充分避免越權，則 JDT 不應歸功於自身判斷域。

---

# 附錄 E. 研究停止、報告與降級 Checklist

- [ ] 已在確認性分析開始前完成預註冊。
- [ ] 已固定模型版本及所有 Skill、提示、工具的 SHA-256。
- [ ] 已清楚分離公開需求、隱藏適用判準與真實答案。
- [ ] 已訂出判準適用性與否證有效性的獨立核定程序。
- [ ] 已設定預先合理的成本及失敗中止條件。
- [ ] 已設計難度可比的 CAAG 專項／整體任務。
- [ ] 已納入需要修訂與不應修訂的 ERRS 題目。
- [ ] 已包含跨中斷、跨版本及跨任務的 JDP 測試。
- [ ] 已防止重複評審與重複 Agent run 的樣本偽獨立。
- [ ] 已設置至少一個合理且強的簡單基線。
- [ ] 已對比不同能力模型、不同任務與不同成本配置。
- [ ] 已由對條件盲化的評審檢查主觀品質。
- [ ] 已將越權與真正安全限制設為不可補償結果。
- [ ] 已報告所有逾時、拒絕、失敗與負面結果。
- [ ] 已明確標記所有事後新增的探索性分析。
- [ ] 已決定 Seed、Candidate、Promoted 或降級判定。
- [ ] 已安排獨立研究者重現或明確宣告尚未重現。
- [ ] 尚未執行的試驗絕不偽裝成已取得的證據。

---

**JDT Paper 07 v0.1 / Formal Experimental Protocol Draft / Pre-Registration Candidate / Not Executed — 2026-10-17。**

**Canonical source rule：** 此 UTF-8 Markdown 為本篇正式研究草稿原始碼；全部數學使用 ` $...$ ` 與 `$$...$$`，不可透過 UI 渲染字元重新建構。正式進入外部提交前仍須獨立的文獻、方法與法規審查，並封存預註冊版本、差異修訂與資料來源證據。