title: SRBC Theory Validation Program — Round 02：Synthetic Semantic Worlds
author: Neo.K with Aletheia (GPT-5.6 Sol)
institution: EveMissLab / 一言諾科技有限公司
version: v0.1
date: 2026-09-23
language: zh-TW
document_type: Synthetic Ground-Truth Validation Report
status: Round 02 completed

SRBC Theory Validation Program — Round 02

Synthetic Semantic Worlds：已知 ground truth 下的 completion、hidden-lift、澄清與 countermodel 壓測

作者： Neo.K with Aletheia (GPT-5.6 Sol)
機構： EveMissLab / 一言諾科技有限公司
日期： 2026-09-23
版本： v0.1

Canonical Source Note

本報告以 UTF-8 Markdown 保存；數學 source 僅使用 $...$ 與 $$...$$。完整 benchmark 存於 synthetic_worlds_round02.jsonl，機器摘要存於 results_round02.json。Round 01 觸發的核心修正另存 SRBC_Core_Patch_v0.2_2026-09-23.md。

0. 研究問題

Round 01 主要測 SRBC 的內部數學一致性。

Round 02 改問：

\boxed{ \text{當語義 ground truth 已知時，SRBC 的核心設計是否真的降低錯誤唯一化與不必要澄清？} }

本輪特別測：

H_2: \text{query-directed resolution 可降低 clarification cost},

H_3: \text{hidden lift 會提高 false-QRC risk},

H_5: \text{minimal closure 比 resolve-all 更省},

H_6: \text{countermodel-first 可降低 premature closure}.

1. Synthetic world

每個完整世界包含六個 semantic slots：

W = (K,P,T,C,R,L).

其中：

$K\in\{0,1\}$ ：controller 是否知道 target；
$P\in\{\text{match},\text{random},\text{invert}\}$ ：action policy；
$T\in\{0,1\}$ ：是否為跨 round stationary protocol；
$C\in\{0,1\}$ ：是否存在 causal channel；
$R\in\{\text{red},\text{blue}\}$ ：query-neutral nuisance；
$L\in\{\text{north},\text{south}\}$ ：query-neutral nuisance。

完整世界：

2\times3\times2\times2\times2\times2 = \boxed{96}.

2. Query family

2.1 Immediate accuracy

Q_{\mathrm{imm}}(W) = \begin{cases} \frac12, & K=0,\\ 1, & K=1,\ P=\text{match},\\ \frac12, & K=1,\ P=\text{random},\\ 0, & K=1,\ P=\text{invert}. \end{cases}

這個 query 專門測：

\boxed{ \text{knowledge} \neq \text{policy}. }

2.2 Long-run accuracy

Q_{\mathrm{long}}(W) = \begin{cases} \bot, & T=0,\\ Q_{\mathrm{imm}}(W), & T=1. \end{cases}

它能直接產生 QDU、QRU 與兩者重疊。

2.3 Causal effect

Q_{\mathrm{causal}}(W) = C.

用來測：

\boxed{ \text{correlation} \not\Rightarrow \text{causation}. }

3. Source generation

每個 source 只公開完整世界的一部分 commitment。

合法 completion 精確定義為：

\mathfrak I(u) = \{ W: W\models\Gamma(u) \}.

本輪生成八類 source，每類 1,250 個：

complete_immediate
neutral_ambiguity
sensitive_ambiguity
knowledge_lift_trap
temporal_lift_trap
causal_lift_trap
partial_overlap
complete_undefined

總案例：

\boxed{10000}.

4. 兩條測試路徑

Track A：SRBC semantic oracle

直接使用 source commitments 建立 completion family。

這一軌測：

QRC / QRU / QDU；
minimal clarification；
countermodel search；
query-directed closure。

Track B：surface-language prototype

同一 source 先投影成自然語言。

每個 commitment 有三個 paraphrase，其中兩個 parser 已知，一個刻意 held-out。

因此 parser 不可能 100% 回復 source。

這一軌測：

\boxed{ \text{不完美語言解析下，SRBC 是偏向保守失敗，還是偏向 false closure？} }

5. Direct-formalization baseline

建立一個簡單的 premature-single-model baseline：

缺 policy 且看到 knows：預設 match；
看到當前 match event 且未指定 stationarity：預設 stationary；
看到 correlation 且未指定 cause：預設 causal；
其他未指定 slots 直接填預設值。

即：

u \rightarrow \widehat M \rightarrow Q(\widehat M).

它不是「所有 AI」的代表，而是用來測 silent default completion 的風險。

6. Surface parser

commitment precision：

\boxed{100.00\%}

commitment recall：

\boxed{75.06\%}.

低於 100% 是刻意設計：每類 commitment 有一個 held-out paraphrase。

在此 parser 下，SRBC end-to-end：

exact $(D_Q,V_Q)$ signature accuracy： $\boxed{86.66\%}$
QRC boolean accuracy： $\boxed{93.33\%}$
QRU boolean accuracy： $\boxed{89.02\%}$
QDU boolean accuracy： $\boxed{100.00\%}$
false-QRC： $\boxed{0}$ / 10000。

本輪最重要的表面層現象是：

parser 漏 commitment 時，SRBC 常把 case 判得更不確定，而不是偷偷更確定。

所以錯誤型態偏向 false ambiguity，而不是 dangerous false closure。

7. Direct baseline 的 false-QRC

Baseline 共聲稱 QRC：

9051

次，其中 gold 並非 QRC：

\boxed{6551}

次。

因此 QRC claims 中的 false-QRC rate：

\boxed{72.38\%}.

這不證明所有直接形式化都會失敗；它證明的是：

\boxed{ \text{在已知存在 hidden slots 的 controlled world 中，靜默補預設值會大量製造 false uniqueness。} }

這對 $H_3$ 提供直接 synthetic evidence。

8. Hidden-lift detector

三種 trap：

\text{knowledge}\rightarrow\text{policy},

\text{event}\rightarrow\text{protocol},

\text{correlation}\rightarrow\text{causation}.

正案例數：

3750.

detector recall：

\boxed{92.16\%}

precision：

\boxed{68.03\%}.

precision 未達 100% 的主要原因很有意思：parser 若漏掉原文其實已明示的 policy，就可能把「解析遺漏」誤認成「文本 hidden lift」。

因此：

\boxed{ \text{LiftGuard 的性能上限受 source parsing quality 限制。} }

9. Query-directed clarification

如果採「所有沒說的 slots 都問清楚」：

平均需詢問：

\boxed{4.440}

個 slots。

exact minimal query-directed closure：

\boxed{0.688}.

平均節省：

\boxed{3.752}

個問題。

相對 reduction：

\boxed{84.51\%}.

因此在本 synthetic world 中：

\boxed{ H_2/H_5 \text{ 得到直接支持。} }

主要收益來自 query-neutral nuisance 與不影響當前 query 的 semantic dimensions。

10. Countermodel-first vs random sampling

只在 gold QRU cases 上測。

Random branch sampling 若剛好抽到相同 defined answer，會 premature claim QRC。

sampled branches $k$	trials	premature-QRC rate	exact countermodel QRU recall
2	150000	33.33%	100.00%
3	150000	14.00%	100.00%
5	150000	2.93%	100.00%

因此增加隨機 branch 數確實降低 premature closure，但只要 search 不 complete，仍可 miss countermodel。

有限 benchmark 中 exact countermodel search 對 gold QRU：

\boxed{100\%}

找回。

這支持 $H_6$ ，但目前只在有限可枚舉 completion space 中成立。

11. 各 case 類型

class	n	SRBC signature accuracy	SRBC false-QRC	baseline false-QRC	minimal clarification	resolve-all
complete_immediate	1250	73.04%	0.00%	0.00%	0.00	3.02
neutral_ambiguity	1250	73.60%	0.00%	0.00%	0.00	4.50
sensitive_ambiguity	1250	100.00%	0.00%	100.00%	1.00	5.00
knowledge_lift_trap	1250	100.00%	0.00%	100.00%	1.00	5.00
temporal_lift_trap	1250	70.72%	0.00%	100.00%	1.00	4.00
causal_lift_trap	1250	100.00%	0.00%	100.00%	1.00	6.00
partial_overlap	1250	100.00%	0.00%	100.00%	1.50	5.00
complete_undefined	1250	75.92%	0.00%	24.08%	0.00	3.00

幾個最清楚的案例：

neutral_ambiguity：不必為 nuisance 追問；
knowledge_lift_trap：direct baseline 把 knowledge 升成 policy；
temporal_lift_trap：單次 event 不決定 repeated protocol；
causal_lift_trap：correlation 不等於 causation；
partial_overlap：QDU + QRU 同時成立；
complete_undefined：QDU 本身可以是已閉合結果。

12. Round 01 patch 的必要性

若仍使用：

QRC | QRU | QDU

互斥 enum，partial_overlap 根本無法正確標記。

本輪故意生成：

Q(M) \in \{ \bot,0,\frac12,1 \}

的 completion family。

patched SRBC 可以同時標：

\operatorname{QDU}=1,

\operatorname{QRU}=1.

所以 Round 01 patch 不只是形式潔癖，而是 Round 02 的必要資料結構。

13. 本輪支持了什麼？

Synthetic evidence 暫時支持

H2

query-directed resolution 降低 clarification cost。

H3

hidden-lift / default-completion baseline 產生大量 false-QRC。

H5

minimal closure 比 resolve-all 成本低。

H6

countermodel-first 在有限 completion space 中降低 premature closure。

14. 本輪沒有證明什麼？

本輪沒有證明：

真實自然語言中效果相同；
rule-based parser 可代表前沿 LLM；
synthetic slot 分布代表人類語言；
真實文本的 hidden-lift rate 一樣高；
clarification 人類成本與 slot count 線性；
無限模型族中 exact countermodel search 一樣容易。

所以 Round 02 是：

\boxed{ \text{constructive synthetic evidence}, }

不是 external-validity proof。

15. 新的實作發現：Parsing Debt

本輪顯示：

\boxed{ \text{SRBC theory core} \neq \text{semantic parser}. }

如果 parser 漏掉明示 commitment，下游即使形式推理完全正確，也只是在錯誤的：

\widehat\Gamma

上證明。

因此建議新增：

D_{\mathrm{parse}}

表示：

未識別片語；
多重 parse；
held-out paraphrase；
role ambiguity；
scope ambiguity。

總 debt 可擴成：

D_Q = ( D_{\mathrm{parse}}, D_{\mathrm{amb},Q}^{+}, D_{\mathrm{inj},Q}, D_{\mathrm{verify},Q}, D_{\mathrm{frontier},Q} ).

這是 Round 02 新增的修正方向。

16. Surface parser 的安全偏向

parser recall 約：

75.06\%

但 SRBC false-QRC 為：

0.00\%.

在本 benchmark 中：

\text{missing commitment} \rightarrow \text{more branches}

通常導致保守的 over-ambiguity。

這個偏向目前是好的。

但它不是普遍定理。

如果 parser 會 hallucinate / invent commitment，false-QRC 可能直接上升。

17. Round 02 結論

這一輪第一次把：

\boxed{ \text{source under-specification} }

做成有 ground truth 的 dataset。

結果顯示：

query-relative branch analysis 能忽略 nuisance ambiguity；
silent default completion 可大量製造 false uniqueness；
minimal closure 比 resolve-all 明顯省；
countermodel-first 比小樣本 branch sampling 更不容易 premature QRC；
SRBC 的下一個主要弱點已從「核心邏輯」移到： $\boxed{ \text{source parsing / admissibility reconstruction}. }$

18. Round 03

下一輪應進：

Adversarial Parsing & Admissibility Stress Test

加入：

negation trap；
nested quantifier；
temporal scope；
role swap；
causal wording；
misleading defaults；
contradictory context；
invented commitment attack；
two-stage discourse update；
adversarial paraphrase。

尤其要直接比較：

\boxed{ \text{parser false negative} }

與：

\boxed{ \text{parser false positive} }

對 false-QRC 的非對稱傷害。

目前 hypothesis 是：

漏 commitment 往往使系統過度保守；錯加 commitment 才更容易造成 dangerous false closure。

但這必須交給 Round 03 測，而不是先當結論。

附錄 A：主要機器數據

synthetic cases: 10000
complete worlds: 96
parser precision: 1.000000
parser recall: 0.750625
SRBC signature accuracy: 0.866600
SRBC false-QRC count: 0
direct baseline false-QRC among claims: 0.723787
lift detector recall: 0.921600
clarification reduction: 0.845116

附錄 B：檔案

本輪 package 包含：

SRBC_Theory_Validation_Round02_Report_v0.1_2026-09-23.md
SRBC_Core_Patch_v0.2_2026-09-23.md
synthetic_worlds_round02.jsonl
results_round02.json
round02_replay.py
validation.json

SRBC Theory Validation Program — Round 02：Synthetic Semantic Worlds