← Archive
lm-004643 · 2026-10

SRBC Theory Validation Program — Round 03:Adversarial Parsing & Admissibility Stress Test

下載 MD 檔 ⬇
📎 附件 · Companion files — 隨文交付的程式 / 證明 / 資料,可獨立下載重驗
title
SRBC Theory Validation Program — Round 03:Adversarial Parsing & Admissibility Stress Test
author
Neo.K with Aletheia (GPT-5.6 Sol)
institution
EveMissLab / 一言諾科技有限公司
version
v0.1
date
2026-09-23
language
zh-TW
document_type
Adversarial Parsing / Admissibility Validation Report
status
Round 03 completed

SRBC Theory Validation Program — Round 03

Adversarial Parsing & Admissibility Stress Test

作者: Neo.K with Aletheia (GPT-5.6 Sol)
機構: EveMissLab / 一言諾科技有限公司
日期: 2026-09-23
版本: v0.1


Canonical Source Note

本報告以 UTF-8 Markdown 保存;數學 source 僅使用 $...$ 與 $$...$$。本輪重新使用 Round 02 的 10,000 個 ground-truth cases,並新增 8,000 個 adversarial text cases。完整機器結果保存於 results_round03.json; adversarial 文本保存於 adversarial_text_round03.jsonl;正式修正保存於 SRBC_Core_Patch_v0.3_2026-09-23.md。


0. 本輪問題

Round 02 顯示 parser 漏 commitment 時,SRBC 在 synthetic benchmark 中常偏向保守,而 silent default baseline 容易假 QRC。

Round 03 專門測:

這個安全偏向究竟在哪一層成立?\boxed{ \text{這個安全偏向究竟在哪一層成立?} }

以及:

哪一類 parsing / admissibility error 最容易造成 dangerous false closure?\boxed{ \text{哪一類 parsing / admissibility error 最容易造成 dangerous false closure?} }

1. 核心新發現:錯誤方向會隨層級反轉

Round 03 最重要的結果不是某一個 parser 分數。

而是:

error direction+pipeline layer\boxed{ \text{error direction} + \text{pipeline layer} }

共同決定 false-QRC 風險。


2. Source commitment layer

對 Round 02 的 10,000 個 source,直接做單一 commitment 擾動。

mutation variants false-QRC false-QRC rate
source false negative / delete 15,599 0 0.00%
source false positive / insert 93,790 10,611 11.31%
explicit value flip 20,611 3,750 18.19%

2.1 漏讀 true commitment

刪除一個真 commitment 共:

15,59915,599

個變體。

false-QRC:

0.\boxed{0}.

這和理論單調性一致。

如果:

Γ^⊂Γ,\widehat\Gamma \subset \Gamma,

則:

I(Γ)⊆I(Γ^).\mathfrak I(\Gamma) \subseteq \mathfrak I(\widehat\Gamma).

也就是漏 commitment 只會放大 completion family。

若放大後仍 QRC,原本更小的 family 也一定 QRC。

因此:

pure source commitment deletion cannot create false QRC\boxed{ \text{pure source commitment deletion cannot create false QRC} }

在固定 query / semantics 的條件下成立。


2.2 憑空加入 commitment

單一插入共:

93,79093,790

個變體,其中:

10,611\boxed{ 10,611 }

個直接把原本非 QRC 的 source 壓成 QRC。

variant-level rate:

11.31%.\boxed{ 11.31\% }.

更直觀地:

50.00%\boxed{ 50.00\% }

的原始 cases 存在「只要多塞一條 commitment,就能製造 false QRC」的單步攻擊。

這直接支持:

invented commitment / silent strengthening 是高風險錯誤。\boxed{ \text{invented commitment / silent strengthening 是高風險錯誤。} }

2.3 把明示 commitment 讀反

value-flip 共:

20,61120,611

個變體。

其中:

  • false-QRC:3,7503,750 ,rate:18.19%;18.19\%;
  • 原本與錯讀後都 QRC,但單一答案被改錯:3,6533,653 ,rate:17.72%.17.72\%.

有:

59.17%\boxed{ 59.17\% }

的 base cases 存在至少一個單-slot flip 會造成 dangerous outcome。

這說明:

resolution label correct≠answer correct.\boxed{ \text{resolution label correct} \neq \text{answer correct}. }

3. Completion / admissibility layer:方向反轉

接著固定 source commitments 為正確,故意破壞 completion reconstruction。

3.1 漏掉合法 branches

對 gold QRU cases,隨機保留合法 completion 的一部分。

keep probability trials premature-QRC rate
0.10 100,000 8.73%
0.25 100,000 0.25%
0.50 100,000 0.00%
0.75 100,000 0.00%

當 completion generator 只保留約 10% branches 時,仍有明顯 premature-QRC。

這和 source parsing false negative 的方向完全相反。

原因:

I^⊂I\widehat{\mathfrak I} \subset \mathfrak I

會縮小模型空間。

所以:

completion false negative can create false QRC.\boxed{ \text{completion false negative can create false QRC}. }

3.2 加入 inadmissible branches

對 gold QRC cases,注入不符合 source commitments 的 models。

injected inadmissible branches trials false-QRU rate
1 50,000 67.01%
2 50,000 79.88%
5 50,000 95.14%
10 50,000 99.51%

即使只加入一個 inadmissible model,也常把原本 QRC 打成 QRU。

這主要造成:

false ambiguity / false QRU,\boxed{ \text{false ambiguity / false QRU}, }

而不是 false QRC。


4. Layer-Specific Error Monotonicity Matrix

因此本輪得到:

Layer False Negative False Positive
source → commitment completion family 放大 → 偏 false ambiguity completion family 縮小 → 偏 false QRC
commitment → completion model family 縮小 → 偏 false QRC model family 放大 → 偏 false QRU

這個矩陣是 Round 03 最重要的理論輸出之一。

它表示:

不能只說「FN 比 FP 安全」或反過來。\boxed{ \text{不能只說「FN 比 FP 安全」或反過來。} }

必須說:

哪一層的 FN / FP?


5. Adversarial text suite

新增 8 種 trap,每種 1,000 例,共:

8000\boxed{8000}

例。

包括:

  1. negation loss;
  2. causal negation;
  3. role swap;
  4. temporal scope;
  5. discourse correction;
  6. existential-event → general-policy;
  7. correlation-only → causation;
  8. contradictory source。

比較兩種 parser:

  • unsafe:故意 flatten negation / role / scope / causality;
  • guarded:針對本 benchmark 的 typed guard parser。
trap n unsafe signature acc unsafe false-QRC unsafe wrong-QRC-answer guarded signature acc
negation_knows 1000 100.00% 0.00% 100.00% 100.00%
causal_negation 1000 100.00% 0.00% 100.00% 100.00%
role_swap 1000 100.00% 0.00% 100.00% 100.00%
temporal_scope 1000 0.00% 0.00% 0.00% 100.00%
discourse_update 1000 100.00% 0.00% 100.00% 100.00%
existential_policy 1000 0.00% 100.00% 0.00% 100.00%
correlation_only 1000 0.00% 100.00% 0.00% 100.00%
contradiction 1000 0.00% 100.00% 0.00% 100.00%

6. 一個很重要的新 bug:狀態對了,答案仍可錯

unsafe parser 的整體:

  • signature accuracy:50.00%50.00\%
  • false-QRC:30003000 / 8000;
  • QRC 狀態仍正確,但單一答案錯誤:4000\boxed{ 4000 } / 8000。

例如:

controller does not know target,而且 follows matching policy。

gold:

K=0K=0

所以:

Qimm=12.Q_{\mathrm{imm}}=\frac12.

unsafe parser 把 negation 丟掉後讀成:

K=1,P=match,K=1, \quad P=\text{match},

仍然得到:

(DQ,VQ)=(TOTAL,SINGLE),(D_Q,V_Q) = (\text{TOTAL},\text{SINGLE}),

但答案變成:

1.1.

所以:

RQ=(DQ,VQ,EQ)\boxed{ \mathbf R_Q=(D_Q,V_Q,E_Q) }

還不夠。


7. Source Fidelity 軸

因此 v0.3 patch 新增:

FsrcF_{\mathrm{src}}

表示 source parsing / grounding fidelity。

建議將 runtime state 擴成:

SQ=(Fsrc,DQ,VQ,AQ,EQ).\boxed{ \mathbf S_Q = ( F_{\mathrm{src}}, D_Q, V_Q, A_Q, E_Q ). }

其中:

AQA_Q

保存 canonical answer payload / answer set。

因為:

QRC status correct⇏source-grounded answer correct.\boxed{ \text{QRC status correct} \not\Rightarrow \text{source-grounded answer correct}. }

8. Contradiction 不能 last-write-wins

adversarial suite 中加入:

controller knows target。
controller does not know target。

unsafe parser 會選一邊繼續算。

guarded parser 則輸出:

SourceConflict⁡.\operatorname{SourceConflict}.

所以 source conflict 不能被塞進普通 QDU。

應獨立保存:

source_fidelity:
  contradiction: true
  unresolved_spans:
    - ...

9. Parsing Debt

Round 02 已看到 parser recall 限制 LiftGuard。

Round 03 現在正式把它提升成:

Dparse.D_{\mathrm{parse}}.

它至少包括:

  • negation uncertainty;
  • role binding uncertainty;
  • time scope;
  • quantifier scope;
  • discourse update;
  • contradiction;
  • unparsed spans;
  • parser disagreement。

因此:

DQ=(Dparse,Damb,Q+,Dinj,Q,Dverify,Q,Dfrontier,Q).D_Q = ( D_{\mathrm{parse}}, D_{\mathrm{amb},Q}^{+}, D_{\mathrm{inj},Q}, D_{\mathrm{verify},Q}, D_{\mathrm{frontier},Q} ).

10. 安全錯誤排序

本輪 synthetic evidence 顯示:

最值得先防的不是所有錯誤,而是:

source false positive+completion false negative.\boxed{ \text{source false positive} + \text{completion false negative}. }

因為二者都會:

縮小合法模型族\boxed{ \text{縮小合法模型族} }

從而製造 dangerous false closure。

相較之下:

source false negative+completion false positive\text{source false negative} + \text{completion false positive}

更常導向 false ambiguity。

它們仍有成本,但危險型態不同。


11. Mutation 數據摘要

Commitment deletion

  • variants: 15,599
  • false-QRC: 0

Commitment insertion

  • variants: 93,790
  • false-QRC: 10,611
  • rate: 11.31%
  • cases with at least one dangerous single insertion: 50.00%

Commitment value flip

  • variants: 20,611
  • false-QRC: 3,750
  • wrong QRC answer: 3,653
  • cases with at least one dangerous flip: 59.17%

12. Adversarial parser 摘要

unsafe parser:

  • signature accuracy:50.00%
  • false-QRC rate:37.50%
  • wrong-QRC-answer rate:50.00%

guarded parser 在這個刻意針對模板設計的 suite 上為 100%。

這個 100% 不能外推成真實 NLP performance。

它只證明:

typed guard rules 能在已知攻擊族上消除相應錯誤。\boxed{ \text{typed guard rules 能在已知攻擊族上消除相應錯誤。} }

13. 本輪對 SRBC 的支持與修正

暫時支持

H3 延伸

hidden strengthening / invented commitment 的確比純 source omission 更容易形成 false QRC。

Parsing safety asymmetry

commitment deletion 的安全方向在本有限 benchmark 中完全符合理論單調性。

Admissibility warning

completion omission 是真正 dangerous FN。


必須修正

Patch 1

加入 Layer-Specific Error Monotonicity。

Patch 2

加入 DparseD_{\mathrm{parse}}。

Patch 3

加入 FsrcF_{\mathrm{src}} / source-fidelity。

Patch 4

QRSRC 必須保存 answer payload AQA_Q,不能只保存 resolution class。

Patch 5

SourceConflict 獨立於 QDU。

Patch 6

completion coverage 必須成為 closure gate。


14. 本輪沒有證明什麼

這一輪仍是 synthetic。

沒有證明:

  1. 真實 LLM 的 source FP / FN 比率;
  2. 自然語言中 source FP 一定比 FN 常見;
  3. 所有 hallucinated commitment 都會造成 false QRC;
  4. completion omission 在大型語義空間中的實際分布;
  5. guarded parser 在自由文本中能達到這種效果。

所以本輪結論是:

error geometry 已被構造性證明與量化,external frequency 尚未測。\boxed{ \text{error geometry 已被構造性證明與量化,external frequency 尚未測。} }

15. Round 04 建議

下一輪應停止 synthetic-only。

進:

Real-Model Cross-System Semantic Surgery

選一組固定 benchmark source,讓多個真實模型/不同 prompting strategy:

  1. 抽取 commitments;
  2. 生成 completion family;
  3. canonicalize query;
  4. 判 QRC / QRU / QDU;
  5. 做 lift audit;
  6. 產生 countermodel;
  7. 找 minimal clarification。

然後和 synthetic gold + human-reviewed cases 比。

重點不是比誰「答案比較聰明」,而是測:

source FP,source FN,branch FN,branch FP\boxed{ \text{source FP}, \quad \text{source FN}, \quad \text{branch FN}, \quad \text{branch FP} }

在真實模型裡到底多常發生。


16. Round 03 結論

Round 03 把 SRBC 的下一個核心問題切得很清楚:

SRBC 的危險不只在「有沒有 ambiguity」,而在「哪一層把模型空間縮小或放大」。\boxed{ \text{SRBC 的危險不只在「有沒有 ambiguity」,而在「哪一層把模型空間縮小或放大」。} }

最危險的兩個方向:

Γ→Γ^⊃Γ\boxed{ \Gamma \rightarrow \widehat\Gamma\supset\Gamma }

也就是 source 被過度強化;

以及:

I→I^⊂I\boxed{ \mathfrak I \rightarrow \widehat{\mathfrak I}\subset\mathfrak I }

也就是合法 completion 被漏掉。

兩者共同特徵是:

model-space contraction.\boxed{ \text{model-space contraction}. }

而 false QRC 正是 contraction 最自然的錯誤產物。

因此 Round 03 可以把一個新原理加入 SRBC:

False Closure Risk tracks unjustified contraction of the admissible model space.\boxed{ \text{False Closure Risk tracks unjustified contraction of the admissible model space.} }

這比單純說「AI 不要亂加假設」更一般。

因為 contraction 可以來自:

  • parser invented commitment;
  • negation loss;
  • scope strengthening;
  • role misbinding;
  • branch omission;
  • admissibility filter 過嚴;
  • search budget 太小;
  • premature canonicalization。

這些表面錯誤不同,但在模型空間中具有同一方向:

I↓.\boxed{ \mathfrak I \downarrow. }

這是本輪最值得保留的理論結果。


附錄 A:主要數據

  • base cases: 10000
  • delete false-QRC rate: 0
  • insert false-QRC rate: 0.113136
  • flip false-QRC rate: 0.181942
  • flip wrong-QRC-answer rate: 0.177235
  • adversarial text cases: 8000
  • unsafe false-QRC rate: 0.375000
  • unsafe wrong-QRC-answer rate: 0.500000

附錄 B:檔案

本 package 包含:

  • SRBC_Theory_Validation_Round03_Report_v0.1_2026-09-23.md
  • SRBC_Core_Patch_v0.3_2026-09-23.md
  • results_round03.json
  • adversarial_text_round03.jsonl
  • round02_base_cases.jsonl
  • round03_replay.py
  • validation.json