ESC-EXP-22：Distributionally Robust Recoverability Backing

系列： Extensional Structural Convergence — Experimental Phase
文件編號： ESC-EXP-22
版本： v0.1
日期： 2026-09-23
前置： ESC-00 ～ ESC-06、ESC-EXP-00 ～ ESC-EXP-21
狀態： Distributionally Robust Recoverability Experiment / Canonical UTF-8 Source

作者： Neo.K
機構： EveMissLab／一言諾科技有限公司

摘要

ESC-EXP-21 假設 future requirement distribution：

\mu

已知而固定。

本輪進一步拿掉這個假設。

現在只有 nominal distribution：

\widehat\mu

以及一個 ambiguity set：

\boxed{ \mathcal U_\tau = \left\{ \mu: \operatorname{TV} ( \mu, \widehat\mu ) \le \tau \right\}. }

其中：

\operatorname{TV} ( \mu,\widehat\mu ) = \frac12 \| \mu-\widehat\mu \|_1.

所以：

\tau

可以解讀成：

相對 nominal distribution，最多有多少 probability mass 可以被重新配置到別的 future requirement。

本輪研究三個 distributionally robust quantities：

Worst-Case Expected Reacquisition

\boxed{ \overline R_\tau(M) = \sup_{ \mu\in\mathcal U_\tau } \mathbb E_\mu [ R(M,Q) ]. }

Worst-Case Coverage

\boxed{ \underline C_\tau(M) = \inf_{ \mu\in\mathcal U_\tau } \Pr_\mu [ M\preceq Q ]. }

Distributionally Robust Expected Cost

\boxed{ \min_M \left[ \eta H(M) + \rho \overline R_\tau(M) \right]. }

本輪 finite benchmark 沿用 EXP-21 的四個 future requirements 與 nominal prior：

\widehat\mu = ( 0.4, 0.3, 0.2, 0.1 )

分別對應：

stable4；
relaxed2；
horizon2；
atomic8。

主要結果：

atomic tail nominal probability：
$0.10$
在 TV ambiguity 下可被 adversarially 提升到：
$\boxed{ 0.10+\tau }$
直到 probability capacity 飽和。
nominal expected-cost phase boundary會隨：
$\tau\uparrow$
持續向「保留更多 backing」方向移動。
例如 full-backing transition：
$6\rightarrow8$
的 nominal break-even：
$\rho/\eta=10$
會變成：
$\tau=0.02: \quad 8.3333,$ $\tau=0.05: \quad 6.6667,$ $\tau=0.10: \quad 5,$ $\tau=0.20: \quad 3.3333,$ $\tau=0.30: \quad 2.5.$
distributionally robust chance constraint比 nominal chance constraint更保守，而且會出現非常清楚的：
$\boxed{ \delta \leftrightarrow \tau }$
替代關係。
本輪再次得到：
$\boxed{ \text{model uncertainty} \neq \text{ordinary stochastic uncertainty}. }$

因為 probability distribution 本身不確定時，即使 nominal expected risk不高，representation仍可能值得保留更多 distinctions。

1. Runtime

EXP-22 regression：

5 passed

測試包含：

adversarial distribution滿足 total-variation radius；
atomic tail在小 $\tau$ 下精確線性膨脹；
distributional ambiguity不會讓 optimal backing比 nominal更冒險；
distributionally robust chance policy不會比 nominal chance policy更鬆；
full atomic backing在任何 tested ambiguity下 worst-case reacquisition仍為零。

2. Total Variation Ambiguity

本輪：

\mathcal U_\tau

固定 future support 不變。

也就是：

\{ Q_1,Q_2,Q_3,Q_4 \}

仍然只有四個 requirements。

改變的是 probability vector：

p = (p_1,p_2,p_3,p_4).

constraint：

\boxed{ \frac12 \sum_i | p_i-\widehat p_i | \le \tau. }

因此：

\tau

不是新 event probability。

它是：

\boxed{ \text{distribution misspecification budget}. }

3. Finite Linear Adversary

對任何 loss vector：

\ell = (\ell_1,\dots,\ell_n),

問題：

\sup_{ p: \operatorname{TV}(p,\widehat p) \le\tau } p^\top\ell

在 finite support 上可以直接解成：

從低-loss outcomes 移 probability mass 到高-loss outcomes。

本輪 runtime採 exact finite mass transfer，而不是 sampling approximation。

4. Atomic-Tail Inflation

atomic8 nominal：

\widehat p_{\mathrm{atomic}} = 0.10.

worst-case：

\boxed{ p_{\mathrm{atomic}}^{\mathrm{wc}} = 0.10+\tau }

在本測試區間內成立。

實測：

\tau=0 \Rightarrow0.10,

\tau=0.02 \Rightarrow0.12,

\tau=0.05 \Rightarrow0.15,

\tau=0.10 \Rightarrow0.20,

\tau=0.20 \Rightarrow0.30,

\tau=0.30 \Rightarrow0.40.

甚至：

\tau=0.50 \Rightarrow0.60.

5. Probability Error 直接變成 Recoverability Risk

EXP-21 nominal policy可能說：

atomic future只有 10%，所以可以不 full-backup。

EXP-22 必須改成：

atomic future可能其實是 10% 到 20%、30% 或更高。

所以真正 decision不再看：

\widehat p_{\mathrm{atomic}}

而是：

\boxed{ \sup_{\mu\in\mathcal U_\tau} \mu(Q_{\mathrm{atomic}}). }

6. Nominal Retention–Reacquisition Frontier

EXP-21 nominal frontier：

classes	hidden cost	expected reacquisition
4	0	1.2
5	1	0.6
6	2	0.2
7	3	0.1
8	4	0

7. $\tau=0.02$

worst-case frontier變成：

classes	hidden cost	worst-case reacquisition
4	0	1.28
5	1	0.66
6	2	0.24
7	3	0.12
8	4	0

每一個非-full backing都變貴。

8. $\tau=0.05$

4: 1.40,

5: 0.75,

6: 0.30,

7: 0.15,

8: 0.

9. $\tau=0.10$

4: 1.60,

5: 0.90,

6: 0.40,

7: 0.20,

8: 0.

10. $\tau=0.20$

4: 2.00,

5: 1.20,

6: 0.60,

7: 0.30,

8: 0.

11. $\tau=0.30$

4: 2.40,

5: 1.50,

6: 0.80,

7: 0.40,

8: 0.

所以 ambiguity對 coarse backing的懲罰最大。

原因是 coarse backing存在：

\boxed{ \text{high-loss tail outcomes}. }

adversary會把 probability mass往那些 outcomes搬。

12. Ambiguity Penalty 並不平均

例如：

\tau=0.10

相對 nominal：

4-Class

1.2\rightarrow1.6

增加：

0.4.

5-Class

0.6\rightarrow0.9

增加：

0.3.

6-Class

0.2\rightarrow0.4

增加：

0.2.

7-Class

0.1\rightarrow0.2

增加：

0.1.

8-Class

0\rightarrow0.

所以：

\boxed{ \text{ambiguity tax grows with latent tail severity}. }

13. DR Expected-Cost Objective

normalized：

\eta=1, \quad r=\rho/\eta.

則：

\boxed{ C_\tau(M;r) = H(M) + r\overline R_\tau(M). }

當：

\tau=0

就退回 EXP-21 nominal Bayes problem。

14. Nominal Phase Diagram

\tau=0.

正寬度 regimes：

4 \rightarrow5 \rightarrow6 \rightarrow8.

主要 breakpoints：

\frac53, \quad 2.5, \quad 10.

15. Ambiguity 讓 Breakpoints 左移

對相鄰 frontier lines：

4\leftrightarrow5,

break-even：

\tau=0: 1.6667,

0.02: 1.6129,

0.05: 1.5385,

0.10: 1.4286,

0.20: 1.25,

0.30: 1.1111.

也就是：

\boxed{ \text{只需要更低 reacquisition/retention cost ratio， 就值得多保留一級 backing。} }

16. 5-Class $\leftrightarrow$ 6-Class

break-even：

2.5

依序移到：

2.381,

2.222,

2.0,

1.667,

1.429.

17. Full-Backing Boundary

6-class與8-class的 effective full-backing threshold：

\tau=0: 10,

\tau=0.02: 8.3333,

\tau=0.05: 6.6667,

\tau=0.10: 5,

\tau=0.20: 3.3333,

\tau=0.30: 2.5.

所以：

\boxed{ \tau\uparrow \Rightarrow r_{\mathrm{full}}\downarrow. }

distributional uncertainty使 full backing更容易成為經濟上的 rational choice。

18. 一個實際例子： $r=5$

nominal：

\tau=0

時：

\boxed{ 6\text{ classes}. }

因為：

C_6 = 2+5(0.2) = 3.

而 full backing：

C_8=4.

但：

\tau=0.20

時：

\overline R_{0.2}(M_6) = 0.6.

所以：

C_6 = 2+5(0.6) = 5.

full backing仍：

4.

結果直接翻轉：

\boxed{ 6\rightarrow8. }

19. Distributional Ambiguity 可以改變 Policy，不只是 Cost

這是本輪核心之一：

\boxed{ \text{distribution misspecification penalty} }

不是單純：

所有 policies cost一起上升。

它可以真的改變：

\boxed{ \arg\min_M C_\tau(M). }

也就是改變 representation architecture。

20. DR Chance Constraint

現在 chance constraint改成：

\boxed{ \inf_{ \mu\in\mathcal U_\tau } \Pr_\mu[ M\preceq Q ] \ge 1-\delta. }

如果 backing沒有 cover全部 support，

adversary可以把最多：

\tau

mass從 covered outcomes移到 uncovered outcomes。

因此在本 finite support：

\boxed{ \underline C_\tau(M) = C_0(M)-\tau }

只要尚未碰到 probability boundary。

full 8-class backing則始終：

1.

21. Nominal 90% Chance Constraint

EXP-21：

\delta=0.10

時 nominal 6-class backing coverage：

0.90.

所以合法。

22. $\tau=0.05$ 後同一 Policy 失效

同一 6-class backing：

C_0=0.90.

worst-case：

\underline C_{0.05} = 0.85.

但 90% requirement仍要求：

0.90.

所以：

\boxed{ 6\text{-class 不再合法}. }

DR chance policy被迫升到：

\boxed{ 8\text{ classes}. }

23. $\delta$ 與 $\tau$ 的 Risk-Budget Competition

若 nominal coverage：

C_0(M),

則 robust chance approximately要求：

C_0(M)-\tau \ge 1-\delta.

即：

\boxed{ C_0(M) \ge 1-(\delta-\tau). }

所以 ambiguity radius：

\tau

直接吃掉 chance failure budget：

\delta.

可以理解為 effective budget：

\boxed{ \delta_{\mathrm{eff}} = \delta-\tau. }

在未碰 boundary 的 regime 中成立。

24. 例： $\delta=0.20$

nominal：

\tau=0

6-class coverage：

0.9

滿足 required：

0.8.

若：

\tau=0.10,

worst-case coverage：

0.8.

剛好仍合法。

若：

\tau>0.10,

則 6-class policy開始失去 80% DR coverage guarantee。

25. 例： $\delta=0.40$

nominal EXP-21 可以只存：

5\text{ classes},

coverage：

0.6.

但是只要：

\tau=0.05,

worst-case coverage：

0.55 < 0.6.

所以 5-class backing立刻失效。

本輪：

\boxed{ \tau=0.05,\delta=0.40 \Rightarrow 6\text{ classes}. }

26. Ambiguity 相當於吃掉 Risk Margin

這個結果非常實用：

如果 nominal chance design：

C_0(M) = 1-\delta

剛好卡邊界，

那任何：

\tau>0

都會讓它失效。

所以：

\boxed{ \text{nominally tight chance constraint has zero distributional margin}. }

27. Distributional Safety Margin

可以定義：

\boxed{ \operatorname{Margin}(M) = C_0(M) - (1-\delta). }

則 finite TV ambiguity至少要求：

\boxed{ \operatorname{Margin}(M) \ge \tau. }

才有希望保住同一 chance guarantee。

28. Tail Underestimation

如果模型低估 atomic future：

\widehat p_{\mathrm{atomic}}=0.1,

但真實 probability可能在 TV radius：

\tau

內，

則：

p_{\mathrm{atomic}} \le 0.1+\tau.

所以：

\boxed{ \text{rare-tail underestimation} }

不需要真的指定一個 adversarial distribution。

只要 ambiguity set允許，backing policy就應該把它納入。

29. Nominal Confidence 不等於 Structural Safety

即使：

\widehat\mu

估得「大致準確」，

只要某些 future requirements：

refinement severity高；
irrecoverable；
reacquisition昂貴；

很小的：

\tau

也可能改變 optimal backing。

因此：

\boxed{ \text{small probability-model error} \not\Rightarrow \text{small representation-policy error}. }

30. Distributional Policy Inflation

定義：

\boxed{ I_{\mathrm{DR}} ( \tau,r ) = |M_{\mathrm{DR}}^\ast| - |M_{\mathrm{nom}}^\ast|. }

本輪例如：

r=5, \tau=0.20:

6\rightarrow8,

所以：

\boxed{ I_{\mathrm{DR}}=2. }

也就是 probability-model uncertainty單獨就值得多保留兩層 backing classes。

31. $r=3$ 的例子

nominal：

6\text{ classes}.

\tau=0.20:

仍：

6.

但：

\tau=0.30:

已變：

\boxed{ 8. }

所以同一 reacquisition economics 下存在：

\boxed{ \text{ambiguity-driven backing phase transition}. }

32. 2D Phase Geometry

EXP-21 的 policy主要是：

M^\ast(r).

EXP-22 現在是：

\boxed{ M^\ast(r,\tau). }

所以 representation policy開始形成真正二維 phase diagram：

horizontal axis： $\rho/\eta$
vertical axis： $\tau$

兩個方向都增加時：

\boxed{ \text{optimal backing generally moves finer}. }

33. Economics 與 Epistemic Uncertainty 耦合

r

描述：

future重建相對現在保存有多貴。

\tau

描述：

我們對 future probability有多不確定。

所以：

\boxed{ \text{more expensive future recovery} }

與：

\boxed{ \text{less trustworthy future model} }

都會推動 representation保留更多 distinctions。

34. 這不是同一種 Conservative

重要的是：

r\uparrow

是：

\boxed{ \text{economic conservatism}. }

\tau\uparrow

是：

\boxed{ \text{epistemic/model conservatism}. }

兩者最後都可能讓 backing變細，但理由完全不同。

35. Robust、Stochastic、Distributionally Robust

現在 recoverability line可以分三層：

Robust

不知道 probability，也不相信 frequency：

\sup_Q.

Stochastic

相信：

\mu

準確：

\mathbb E_\mu.

Distributionally Robust

只相信：

\mu\in\mathcal U.

所以：

\boxed{ \text{DR 是 stochastic 與 worst-case 之間的可調中間層}. }

36. $\tau\rightarrow0$

當：

\tau\rightarrow0,

\mathcal U_\tau \rightarrow \{\widehat\mu\}.

所以：

\boxed{ M_{\mathrm{DR}}^\ast \rightarrow M_{\mathrm{stochastic}}^\ast. }

本輪：

\tau=0

完整重現 EXP-21 nominal expected-cost結果。

37. $\tau$ 變大

當：

\tau

持續增加，

ambiguity set擴張。

worst-case tail probability與 expected reacquisition都上升。

最終 optimal backing逐漸靠近：

\boxed{ M^{\mathrm{rob}}. }

也就是 8-class atomic backing。

38. Ambiguity Radius 本身就是 Representation Parameter

以前 representation policy參數有：

\varepsilon, h, \mu, \mathfrak R.

現在還需要：

\boxed{ \tau. }

所以更完整：

\boxed{ M^\ast = M^\ast( \mathcal P_0, \widehat\mu, \tau, \mathfrak R, C ). }

39. Ambiguity 來源

真實系統裡：

\tau

可以來自：

sample size不足；
distribution drift；
model misspecification；
adversarial uncertainty；
unseen environment change；
rare-event estimation error；
world-state nonstationarity。

本輪沒有假設它只能是統計 sampling error。

40. Fixed-Support Limitation

需要明確保守。

本輪：

\mathcal U_\tau

只允許在已知四個 future requirement states中搬 probability mass。

它不允許：

出現一個 nominal support完全沒有的新 future requirement。

所以本輪仍不是 full open-world robustness。

41. Support Uncertainty 比 Probability Uncertainty 更強

EXP-21已經看到：

robust policy對 support是否包含 atomic event高度敏感。

如果未來 ambiguity連：

\operatorname{supp}\mu

都不可信，

那問題比 TV probability shift更強。

需要考慮：

\boxed{ \text{support expansion}. }

即：

Q_{\mathrm{new}} \notin \operatorname{supp}\widehat\mu.

42. 本輪錨點

\boxed{ \textbf{ESC-EXP-22.A} \quad \text{future probability model uncertainty 可用 ambiguity set 直接進入 recoverability policy。} }

\boxed{ \textbf{ESC-EXP-22.B} \quad \text{TV ambiguity 會將 probability mass 從低-reacquisition futures 搬向高-reacquisition futures。} }

\boxed{ \textbf{ESC-EXP-22.C} \quad \tau\uparrow \Rightarrow \text{full-backing economic threshold generally下降。} }

\boxed{ \textbf{ESC-EXP-22.D} \quad \text{chance risk budget }\delta\text{ 與 distributional ambiguity }\tau\text{ 會直接競爭同一 coverage margin。} }

\boxed{ \textbf{ESC-EXP-22.E} \quad \text{small distribution error can trigger a discrete representation-policy phase transition。} }

43. 從 EXP-21 到 EXP-22

EXP-21：

\boxed{ \mu + \mathfrak R + C \rightarrow M^\ast. }

EXP-22：

\boxed{ \widehat\mu + \mathcal U + \mathfrak R + C \rightarrow M_{\mathrm{DR}}^\ast. }

也就是：

不只 future不確定，連「我們對 future不確定性的估計」本身也成為 representation preservation 的變量。

44. 下一輪：ESC-EXP-23

本輪仍有一個重要限制：

\boxed{ \operatorname{supp}\mu \text{ 固定。} }

所以下一輪最自然的是：

\boxed{ \text{Open-Support Recoverability and Unknown-Unknown Backing}. }

也就是加入：

Q_{\mathrm{new}} \notin \operatorname{supp}\widehat\mu.

真正問：

如果未來可能要求一個我們今天甚至沒有列進 model 的 distinction，現在 backing 到底要保留到多細？

這會碰到：

unknown unknowns；
support expansion；
novelty reserve；
universal backing；
fallback raw provenance；
open-world recoverability；
distinction insurance。

也就是 ESC 從「distribution uncertainty」正式進到：

\boxed{ \text{future requirement space itself is incomplete}. }

ESC-EXP-22：Distributionally Robust Recoverability Backing

ESC-EXP-22：Distributionally Robust Recoverability Backing

摘要

Worst-Case Expected Reacquisition

Worst-Case Coverage

Distributionally Robust Expected Cost

1. Runtime

2. Total Variation Ambiguity

3. Finite Linear Adversary

4. Atomic-Tail Inflation

5. Probability Error 直接變成 Recoverability Risk

6. Nominal Retention–Reacquisition Frontier

7. τ=0.02\tau=0.02τ=0.02

8. τ=0.05\tau=0.05τ=0.05

9. τ=0.10\tau=0.10τ=0.10

10. τ=0.20\tau=0.20τ=0.20

11. τ=0.30\tau=0.30τ=0.30

12. Ambiguity Penalty 並不平均

4-Class

5-Class

6-Class

7-Class

8-Class

13. DR Expected-Cost Objective

14. Nominal Phase Diagram

15. Ambiguity 讓 Breakpoints 左移

16. 5-Class ↔\leftrightarrow↔ 6-Class

17. Full-Backing Boundary

18. 一個實際例子： r=5r=5r=5

19. Distributional Ambiguity 可以改變 Policy，不只是 Cost

20. DR Chance Constraint

21. Nominal 90% Chance Constraint

22. τ=0.05\tau=0.05τ=0.05 後同一 Policy 失效

23. δ\deltaδ 與 τ\tauτ 的 Risk-Budget Competition

24. 例： δ=0.20\delta=0.20δ=0.20

25. 例： δ=0.40\delta=0.40δ=0.40

26. Ambiguity 相當於吃掉 Risk Margin

27. Distributional Safety Margin

28. Tail Underestimation

29. Nominal Confidence 不等於 Structural Safety

30. Distributional Policy Inflation

31. r=3r=3r=3 的例子

32. 2D Phase Geometry

33. Economics 與 Epistemic Uncertainty 耦合

34. 這不是同一種 Conservative

35. Robust、Stochastic、Distributionally Robust

Robust

Stochastic

Distributionally Robust

36. τ→0\tau\rightarrow0τ→0

37. τ\tauτ 變大

38. Ambiguity Radius 本身就是 Representation Parameter

39. Ambiguity 來源

40. Fixed-Support Limitation

41. Support Uncertainty 比 Probability Uncertainty 更強

42. 本輪錨點

43. 從 EXP-21 到 EXP-22

44. 下一輪：ESC-EXP-23

7. $\tau=0.02$

8. $\tau=0.05$

9. $\tau=0.10$

10. $\tau=0.20$

11. $\tau=0.30$

16. 5-Class $\leftrightarrow$ 6-Class

18. 一個實際例子： $r=5$

22. $\tau=0.05$ 後同一 Policy 失效

23. $\delta$ 與 $\tau$ 的 Risk-Budget Competition

24. 例： $\delta=0.20$

25. 例： $\delta=0.40$

31. $r=3$ 的例子

36. $\tau\rightarrow0$

37. $\tau$ 變大