- title
- SRBC Theory Validation Program — Round 03:Adversarial Parsing & Admissibility Stress Test
- author
- Neo.K with Aletheia (GPT-5.6 Sol)
- institution
- EveMissLab / 一言諾科技有限公司
- version
- v0.1
- date
- 2026-09-23
- language
- zh-TW
- document_type
- Adversarial Parsing / Admissibility Validation Report
- status
- Round 03 completed
SRBC Theory Validation Program — Round 03
Adversarial Parsing & Admissibility Stress Test
作者: Neo.K with Aletheia (GPT-5.6 Sol)
機構: EveMissLab / 一言諾科技有限公司
日期: 2026-09-23
版本: v0.1
Canonical Source Note
本報告以 UTF-8 Markdown 保存;數學 source 僅使用 $...$ 與 $$...$$。本輪重新使用 Round 02 的 10,000 個 ground-truth cases,並新增 8,000 個 adversarial text cases。完整機器結果保存於 results_round03.json; adversarial 文本保存於 adversarial_text_round03.jsonl;正式修正保存於 SRBC_Core_Patch_v0.3_2026-09-23.md。
0. 本輪問題
Round 02 顯示 parser 漏 commitment 時,SRBC 在 synthetic benchmark 中常偏向保守,而 silent default baseline 容易假 QRC。
Round 03 專門測:
以及:
1. 核心新發現:錯誤方向會隨層級反轉
Round 03 最重要的結果不是某一個 parser 分數。
而是:
共同決定 false-QRC 風險。
2. Source commitment layer
對 Round 02 的 10,000 個 source,直接做單一 commitment 擾動。
| mutation | variants | false-QRC | false-QRC rate |
|---|---|---|---|
| source false negative / delete | 15,599 | 0 | 0.00% |
| source false positive / insert | 93,790 | 10,611 | 11.31% |
| explicit value flip | 20,611 | 3,750 | 18.19% |
2.1 漏讀 true commitment
刪除一個真 commitment 共:
個變體。
false-QRC:
這和理論單調性一致。
如果:
則:
也就是漏 commitment 只會放大 completion family。
若放大後仍 QRC,原本更小的 family 也一定 QRC。
因此:
在固定 query / semantics 的條件下成立。
2.2 憑空加入 commitment
單一插入共:
個變體,其中:
個直接把原本非 QRC 的 source 壓成 QRC。
variant-level rate:
更直觀地:
的原始 cases 存在「只要多塞一條 commitment,就能製造 false QRC」的單步攻擊。
這直接支持:
2.3 把明示 commitment 讀反
value-flip 共:
個變體。
其中:
- false-QRC: ,rate:
- 原本與錯讀後都 QRC,但單一答案被改錯: ,rate:
有:
的 base cases 存在至少一個單-slot flip 會造成 dangerous outcome。
這說明:
3. Completion / admissibility layer:方向反轉
接著固定 source commitments 為正確,故意破壞 completion reconstruction。
3.1 漏掉合法 branches
對 gold QRU cases,隨機保留合法 completion 的一部分。
| keep probability | trials | premature-QRC rate |
|---|---|---|
| 0.10 | 100,000 | 8.73% |
| 0.25 | 100,000 | 0.25% |
| 0.50 | 100,000 | 0.00% |
| 0.75 | 100,000 | 0.00% |
當 completion generator 只保留約 10% branches 時,仍有明顯 premature-QRC。
這和 source parsing false negative 的方向完全相反。
原因:
會縮小模型空間。
所以:
3.2 加入 inadmissible branches
對 gold QRC cases,注入不符合 source commitments 的 models。
| injected inadmissible branches | trials | false-QRU rate |
|---|---|---|
| 1 | 50,000 | 67.01% |
| 2 | 50,000 | 79.88% |
| 5 | 50,000 | 95.14% |
| 10 | 50,000 | 99.51% |
即使只加入一個 inadmissible model,也常把原本 QRC 打成 QRU。
這主要造成:
而不是 false QRC。
4. Layer-Specific Error Monotonicity Matrix
因此本輪得到:
| Layer | False Negative | False Positive |
|---|---|---|
| source → commitment | completion family 放大 → 偏 false ambiguity | completion family 縮小 → 偏 false QRC |
| commitment → completion | model family 縮小 → 偏 false QRC | model family 放大 → 偏 false QRU |
這個矩陣是 Round 03 最重要的理論輸出之一。
它表示:
必須說:
哪一層的 FN / FP?
5. Adversarial text suite
新增 8 種 trap,每種 1,000 例,共:
例。
包括:
- negation loss;
- causal negation;
- role swap;
- temporal scope;
- discourse correction;
- existential-event → general-policy;
- correlation-only → causation;
- contradictory source。
比較兩種 parser:
unsafe:故意 flatten negation / role / scope / causality;guarded:針對本 benchmark 的 typed guard parser。
| trap | n | unsafe signature acc | unsafe false-QRC | unsafe wrong-QRC-answer | guarded signature acc |
|---|---|---|---|---|---|
| negation_knows | 1000 | 100.00% | 0.00% | 100.00% | 100.00% |
| causal_negation | 1000 | 100.00% | 0.00% | 100.00% | 100.00% |
| role_swap | 1000 | 100.00% | 0.00% | 100.00% | 100.00% |
| temporal_scope | 1000 | 0.00% | 0.00% | 0.00% | 100.00% |
| discourse_update | 1000 | 100.00% | 0.00% | 100.00% | 100.00% |
| existential_policy | 1000 | 0.00% | 100.00% | 0.00% | 100.00% |
| correlation_only | 1000 | 0.00% | 100.00% | 0.00% | 100.00% |
| contradiction | 1000 | 0.00% | 100.00% | 0.00% | 100.00% |
6. 一個很重要的新 bug:狀態對了,答案仍可錯
unsafe parser 的整體:
- signature accuracy:
- false-QRC: / 8000;
- QRC 狀態仍正確,但單一答案錯誤: / 8000。
例如:
controller does not know target,而且 follows matching policy。
gold:
所以:
unsafe parser 把 negation 丟掉後讀成:
仍然得到:
但答案變成:
所以:
還不夠。
7. Source Fidelity 軸
因此 v0.3 patch 新增:
表示 source parsing / grounding fidelity。
建議將 runtime state 擴成:
其中:
保存 canonical answer payload / answer set。
因為:
8. Contradiction 不能 last-write-wins
adversarial suite 中加入:
controller knows target。
controller does not know target。
unsafe parser 會選一邊繼續算。
guarded parser 則輸出:
所以 source conflict 不能被塞進普通 QDU。
應獨立保存:
source_fidelity:
contradiction: true
unresolved_spans:
- ...
9. Parsing Debt
Round 02 已看到 parser recall 限制 LiftGuard。
Round 03 現在正式把它提升成:
它至少包括:
- negation uncertainty;
- role binding uncertainty;
- time scope;
- quantifier scope;
- discourse update;
- contradiction;
- unparsed spans;
- parser disagreement。
因此:
10. 安全錯誤排序
本輪 synthetic evidence 顯示:
最值得先防的不是所有錯誤,而是:
因為二者都會:
從而製造 dangerous false closure。
相較之下:
更常導向 false ambiguity。
它們仍有成本,但危險型態不同。
11. Mutation 數據摘要
Commitment deletion
- variants:
15,599 - false-QRC:
0
Commitment insertion
- variants:
93,790 - false-QRC:
10,611 - rate:
11.31% - cases with at least one dangerous single insertion:
50.00%
Commitment value flip
- variants:
20,611 - false-QRC:
3,750 - wrong QRC answer:
3,653 - cases with at least one dangerous flip:
59.17%
12. Adversarial parser 摘要
unsafe parser:
- signature accuracy:
50.00% - false-QRC rate:
37.50% - wrong-QRC-answer rate:
50.00%
guarded parser 在這個刻意針對模板設計的 suite 上為 100%。
這個 100% 不能外推成真實 NLP performance。
它只證明:
13. 本輪對 SRBC 的支持與修正
暫時支持
H3 延伸
hidden strengthening / invented commitment 的確比純 source omission 更容易形成 false QRC。
Parsing safety asymmetry
commitment deletion 的安全方向在本有限 benchmark 中完全符合理論單調性。
Admissibility warning
completion omission 是真正 dangerous FN。
必須修正
Patch 1
加入 Layer-Specific Error Monotonicity。
Patch 2
加入 。
Patch 3
加入 / source-fidelity。
Patch 4
QRSRC 必須保存 answer payload ,不能只保存 resolution class。
Patch 5
SourceConflict 獨立於 QDU。
Patch 6
completion coverage 必須成為 closure gate。
14. 本輪沒有證明什麼
這一輪仍是 synthetic。
沒有證明:
- 真實 LLM 的 source FP / FN 比率;
- 自然語言中 source FP 一定比 FN 常見;
- 所有 hallucinated commitment 都會造成 false QRC;
- completion omission 在大型語義空間中的實際分布;
- guarded parser 在自由文本中能達到這種效果。
所以本輪結論是:
15. Round 04 建議
下一輪應停止 synthetic-only。
進:
Real-Model Cross-System Semantic Surgery
選一組固定 benchmark source,讓多個真實模型/不同 prompting strategy:
- 抽取 commitments;
- 生成 completion family;
- canonicalize query;
- 判 QRC / QRU / QDU;
- 做 lift audit;
- 產生 countermodel;
- 找 minimal clarification。
然後和 synthetic gold + human-reviewed cases 比。
重點不是比誰「答案比較聰明」,而是測:
在真實模型裡到底多常發生。
16. Round 03 結論
Round 03 把 SRBC 的下一個核心問題切得很清楚:
最危險的兩個方向:
也就是 source 被過度強化;
以及:
也就是合法 completion 被漏掉。
兩者共同特徵是:
而 false QRC 正是 contraction 最自然的錯誤產物。
因此 Round 03 可以把一個新原理加入 SRBC:
這比單純說「AI 不要亂加假設」更一般。
因為 contraction 可以來自:
- parser invented commitment;
- negation loss;
- scope strengthening;
- role misbinding;
- branch omission;
- admissibility filter 過嚴;
- search budget 太小;
- premature canonicalization。
這些表面錯誤不同,但在模型空間中具有同一方向:
這是本輪最值得保留的理論結果。
附錄 A:主要數據
- base cases:
10000 - delete false-QRC rate:
0 - insert false-QRC rate:
0.113136 - flip false-QRC rate:
0.181942 - flip wrong-QRC-answer rate:
0.177235 - adversarial text cases:
8000 - unsafe false-QRC rate:
0.375000 - unsafe wrong-QRC-answer rate:
0.500000
附錄 B:檔案
本 package 包含:
SRBC_Theory_Validation_Round03_Report_v0.1_2026-09-23.mdSRBC_Core_Patch_v0.3_2026-09-23.mdresults_round03.jsonadversarial_text_round03.jsonlround02_base_cases.jsonlround03_replay.pyvalidation.json