# HFMU-019｜Meta-Epistemic Cache Learning

## 0. Return model 也不告訴 agent

HFMU-018 的 agent 已知道 fast/slow return model。

HFMU-019 一開始只知道兩種 model class 都可能：

- single geometric；
- two-geometric mixture。

但它不知道真實參數。

初始：

$$
P(\text{single})=0.5,
\qquad
P(\text{mixture})=0.5.
$$

agent 唯一看到的是一輪輪 dormant duration：

$$
T_1,T_2,\ldots
$$

**作者：** Neo.K  
**機構：** EveMissLab／一言諾科技有限公司  
**日期：** 2026-10-07（整理日期；原稿未標註日期）  
**版本：** 原稿未標註（本次整理版）  

---

# 1. Hidden truth 只在 audit 使用

真實環境：

$$
w_F=0.70,
$$

$$
h_F=0.25,
$$

$$
h_S=0.02.
$$

learner 的 candidate library 有：

- 40 個 single-geometric models；
- 576 個 mixture models；
- 共 616 個 models。

---

# 2. 500 個 lifecycle 後的 posterior

最終：

$$
P(\text{mixture}\mid D)
=
\boxed{
1.00000000
}.
$$

在 mixture class 內：

$$
\hat w_F
=
0.6997,
$$

$$
\hat h_F
=
0.2468,
$$

$$
\hat h_S
=
0.0200.
$$

對照真值：

$$
0.70,\quad0.25,\quad0.02.
$$

所以 agent 不只判斷出：

> 「這不是一個單一 memoryless return process。」

也把 fast/slow time scale 估回來。

---

# 3. Model-class confidence 的形成

posterior 對 mixture model 從 episode：

$$
\boxed{
20
}
$$

起穩定維持在 $0.90$ 以上，

從：

$$
\boxed{
20
}
$$

起穩定在 $0.95$ 以上，

從：

$$
\boxed{
29
}
$$

起穩定在 $0.99$ 以上。

所以 forgetting strategy 本身也有一個「學會怎麼忘」的 learning phase。

---

# 4. 500 episodes 的 realized cost

| Policy | Total cost | Regret vs oracle |
|---|---:|---:|
| Oracle | 1480.44 | 0 |
| **Bayesian meta-cache** | **1483.76** | **3.32** |
| Memoryless learner | 1727.44 | 247.00 |
| Eager rank-2 | 1858.64 | 378.20 |
| Fixed rank-3 | 1717.28 | 236.84 |
| Full rank-5 | 2869.12 | 1388.68 |

Bayesian learner 500 輪總 regret 只有：

$$
\boxed{
3.32
}
$$

而 misspecified memoryless learner：

$$
\boxed{
247.00
}.
$$

---

# 5. 學習完成後的 expected policy quality

用最終 posterior 固定下來，對真實 hidden environment 計算下一個 lifecycle 的期望成本：

| Policy | Expected cost / new episode |
|---|---:|
| Oracle | 2.886088 |
| **Final Bayesian learner** | **2.886140** |
| Memoryless learner | 3.424000 |
| Eager rank-2 | 3.712000 |
| Fixed rank-3 | 3.424000 |
| Full rank-5 | 5.696000 |

Bayesian learner 的 expected regret：

$$
\boxed{
0.000052
}
$$

而 memoryless learner 的 expected regret：

$$
\boxed{
0.537912
}.
$$

這個 expected comparison 比單純 finite-sample realized cost 更重要，因為 oracle 在短樣本裡也可能被運氣暫時超過。

---

# 6. Model class 錯了，資料再多也不夠

memoryless learner 最後也能把平均 return frequency 學得很準。

但它永遠只有：

$$
\hat h.
$$

它不能表達：

> 「同一 episode 已經 survival 很久，所以 posterior 應該轉向 slow mode。」

因此它無法生成 HFMU-018 那種 age-dependent：

$$
5\to4\to3\to2
$$

cache geometry。

所以：

$$
\boxed{
\text{more data}
\not\Rightarrow
\text{correct forgetting}
}
$$

若 hypothesis class 本身缺少需要的結構。

---

# 7. 現在 agent 學的是 usage distribution

這一輪不只是：

> 記住某個 theorem。

而是學：

> **這一類 knowledge 通常多久會再次有用。**

所以現在有兩層 epistemic state：

### Object level

$$
G_t
$$

目前保留多少 predictive geometry。

### Meta level

$$
P(m\mid D_t)
$$

目前相信 usage process 長什麼樣。

完整 loop：

$$
\boxed{
\text{usage events}
\to
\text{meta posterior}
\to
\text{predicted hazard}
\to
\text{cache geometry}
\to
\text{future cost}.
}
$$

---

# 8. 下一步

HFMU-019 還假設真實 usage process stationary。

但現實中某類知識可能：

- 前期常用；
- 中期過時；
- 後來因新專案重新變熱門。

所以 HFMU-020 應讓：

$$
w_F,\ h_F,\ h_S
$$

本身 drift。

那時候連 meta-model posterior 都不能永遠累積所有歷史，而要面對：

$$
\boxed{
\text{stability}
\leftrightarrow
\text{plasticity}.
}
$$

也就是：

> **連「如何忘記」的模型本身，也必須學會忘記。**