HFMU-019｜Meta-Epistemic Cache Learning

0. Return model 也不告訴 agent

HFMU-018 的 agent 已知道 fast/slow return model。

HFMU-019 一開始只知道兩種 model class 都可能：

single geometric；
two-geometric mixture。

但它不知道真實參數。

初始：

P(\text{single})=0.5, \qquad P(\text{mixture})=0.5.

agent 唯一看到的是一輪輪 dormant duration：

T_1,T_2,\ldots

作者： Neo.K
機構： EveMissLab／一言諾科技有限公司
日期： 2026-10-07（整理日期；原稿未標註日期）
版本： 原稿未標註（本次整理版）

1. Hidden truth 只在 audit 使用

真實環境：

w_F=0.70,

h_F=0.25,

h_S=0.02.

learner 的 candidate library 有：

40 個 single-geometric models；
576 個 mixture models；
共 616 個 models。

2. 500 個 lifecycle 後的 posterior

最終：

P(\text{mixture}\mid D) = \boxed{ 1.00000000 }.

在 mixture class 內：

\hat w_F = 0.6997,

\hat h_F = 0.2468,

\hat h_S = 0.0200.

對照真值：

0.70,\quad0.25,\quad0.02.

所以 agent 不只判斷出：

「這不是一個單一 memoryless return process。」

也把 fast/slow time scale 估回來。

3. Model-class confidence 的形成

posterior 對 mixture model 從 episode：

\boxed{ 20 }

起穩定維持在 $0.90$ 以上，

從：

\boxed{ 20 }

起穩定在 $0.95$ 以上，

從：

\boxed{ 29 }

起穩定在 $0.99$ 以上。

所以 forgetting strategy 本身也有一個「學會怎麼忘」的 learning phase。

4. 500 episodes 的 realized cost

Policy	Total cost	Regret vs oracle
Oracle	1480.44	0
Bayesian meta-cache	1483.76	3.32
Memoryless learner	1727.44	247.00
Eager rank-2	1858.64	378.20
Fixed rank-3	1717.28	236.84
Full rank-5	2869.12	1388.68

Bayesian learner 500 輪總 regret 只有：

\boxed{ 3.32 }

而 misspecified memoryless learner：

\boxed{ 247.00 }.

5. 學習完成後的 expected policy quality

用最終 posterior 固定下來，對真實 hidden environment 計算下一個 lifecycle 的期望成本：

Policy	Expected cost / new episode
Oracle	2.886088
Final Bayesian learner	2.886140
Memoryless learner	3.424000
Eager rank-2	3.712000
Fixed rank-3	3.424000
Full rank-5	5.696000

Bayesian learner 的 expected regret：

\boxed{ 0.000052 }

而 memoryless learner 的 expected regret：

\boxed{ 0.537912 }.

這個 expected comparison 比單純 finite-sample realized cost 更重要，因為 oracle 在短樣本裡也可能被運氣暫時超過。

6. Model class 錯了，資料再多也不夠

memoryless learner 最後也能把平均 return frequency 學得很準。

但它永遠只有：

\hat h.

它不能表達：

「同一 episode 已經 survival 很久，所以 posterior 應該轉向 slow mode。」

因此它無法生成 HFMU-018 那種 age-dependent：

5\to4\to3\to2

cache geometry。

所以：

\boxed{ \text{more data} \not\Rightarrow \text{correct forgetting} }

若 hypothesis class 本身缺少需要的結構。

7. 現在 agent 學的是 usage distribution

這一輪不只是：

記住某個 theorem。

而是學：

這一類 knowledge 通常多久會再次有用。

所以現在有兩層 epistemic state：

Object level

G_t

目前保留多少 predictive geometry。

Meta level

P(m\mid D_t)

目前相信 usage process 長什麼樣。

完整 loop：

\boxed{ \text{usage events} \to \text{meta posterior} \to \text{predicted hazard} \to \text{cache geometry} \to \text{future cost}. }

8. 下一步

HFMU-019 還假設真實 usage process stationary。

但現實中某類知識可能：

前期常用；
中期過時；
後來因新專案重新變熱門。

所以 HFMU-020 應讓：

w_F,\ h_F,\ h_S

本身 drift。

那時候連 meta-model posterior 都不能永遠累積所有歷史，而要面對：

\boxed{ \text{stability} \leftrightarrow \text{plasticity}. }

也就是：

連「如何忘記」的模型本身，也必須學會忘記。