# HFMU-020｜Nonstationary Meta-Forgetting 與 Stability–Plasticity Closure

## 0. 最後一個實驗

HFMU-019 已經讓 agent 學會：

$$
\text{usage events}
\to
\text{return model}
\to
\text{hazard}
\to
\text{cache geometry}.
$$

但還假設 usage process stationary。

HFMU-020 拿掉這最後一個假設。

現在連：

$$
P(T)
$$

本身都會 drift。

所以 meta-model 必須面對：

$$
\boxed{
\text{stability}
\leftrightarrow
\text{plasticity}.
}
$$

**作者：** Neo.K  
**機構：** EveMissLab／一言諾科技有限公司  
**日期：** 2026-10-07（整理日期；原稿未標註日期）  
**版本：** 原稿未標註（本次整理版）  

---

# 1. 兩個環境

## Stationary control

600 episodes 全部維持：

$$
w_F=0.7,
\quad
h_F=0.25,
\quad
h_S=0.02.
$$

## Drift environment

### Episodes 1–200：hot

$$
w_F=0.8,
\quad
h_F=0.35,
\quad
h_S=0.06.
$$

### Episodes 201–400：cold

$$
w_F=0.3,
\quad
h_F=0.15,
\quad
h_S=0.02.
$$

### Episodes 401–600：return / resurgence

$$
w_F=0.9,
\quad
h_F=0.30,
\quad
h_S=0.05.
$$

每個環境跑 12 個獨立 deterministic seeds。

---

# 2. Meta-level forgetting

HFMU-019 的 cumulative Bayesian evidence 相當於：

$$
\gamma=1.
$$

HFMU-020 改成：

$$
\boxed{
S_{t+1}(m)
=
\gamma S_t(m)
+
\log P(T_t\mid m).
}
$$

其中：

$$
0<\gamma\le1.
$$

測：

$$
1.00,\ 0.99,\ 0.98,\ 0.95,\ 0.90.
$$

 $\gamma$ 越小，舊 evidence 消失越快。

---

# 3. Stability–Plasticity 結果

12 replicates 平均：

| $\gamma$ | Drift regret | Stationary regret | Drift final hazard MAE | Stationary final MAE |
|---:|---:|---:|---:|---:|
| 1.00 | 147.04 | **7.29** | 0.0774 | **0.00122** |
| 0.99 | 94.32 | 9.49 | 0.0376 | 0.00910 |
| 0.98 | 62.27 | 12.13 | **0.0209** | 0.01293 |
| 0.95 | 38.21 | 24.89 | 0.0346 | 0.01830 |
| 0.90 | **37.53** | 40.59 | 0.0462 | 0.02542 |

所以：

$$
\boxed{
\text{越不忘}
\Rightarrow
\text{stationary estimation 越穩}
}
$$

但：

$$
\boxed{
\text{越不忘}
\Rightarrow
\text{regime change 後越容易被舊世界拖住}.
}
$$

---

# 4. Cumulative posterior 在 drift 下的 stale-memory cost

 $\gamma=1$ 的三個 drift regimes 平均 regret：

$$
\text{hot}:4.60,
$$

$$
\text{cold}:98.89,
$$

$$
\text{return}:43.56.
$$

它在第一段其實學得很好。

真正出事是在 world 改變後：

> 舊的 200 episodes 太有重量，新 evidence 無法快速推翻已累積的 meta-belief。

而 $\gamma=0.95$：

$$
5.90,\quad15.08,\quad17.24.
$$

 $\gamma=0.90$：

$$
8.67,\quad13.38,\quad15.47.
$$

所以 meta-forgetting 的主要收益不是第一段學得更快，

而是：

$$
\boxed{
\text{world changed 後不被舊 evidence 鎖死}.
}
$$

---

# 5. 但 aggressive forgetting 也不是免費

Stationary control 中：

$$
\gamma=1
$$

final hazard MAE：

$$
0.00122.
$$

而：

$$
\gamma=0.90
$$

是：

$$
0.02542.
$$

因為 discounting 等於主動縮短 effective sample size。

即使世界完全沒變，它仍不斷忘記有用的歷史。

所以：

$$
\boxed{
\text{plasticity}
\text{ 以 }
\text{variance / stability}
\text{ 為代價}.
}
$$

---

# 6. 沒有 universally optimal forgetting rate

本輪：

- $\gamma=1$ 最適合 stationary；
- $\gamma=0.90$ 的 drift control regret 最低；
- $\gamma=0.98$ 的 drift final hazard estimation error 最低；
- $\gamma=0.95$ 在 control regret、stationary penalty 與 drift adaptation 間形成另一個折衷點。

因此：

$$
\boxed{
\gamma^*
=
\gamma^*(\text{drift rate},\text{noise},\text{memory cost},\text{control loss}).
}
$$

不是一個全域常數。

甚至：

> 最準的 world model，也不一定產生最低 control cost。

因為 cache rank 是 threshold decision，prediction error 發生在哪個 hazard 區域，比平均 error 本身更重要。

---

# 7. Meta-level forgetting 的真正角色

HFMU-017：

$$
\text{object distinctions 需要忘}.
$$

HFMU-018：

$$
\text{forgetting 由 return belief 決定}.
$$

HFMU-019：

$$
\text{return belief 需要學}.
$$

HFMU-020：

$$
\boxed{
\text{return model 自己也需要忘舊世界}.
}
$$

所以現在出現完整雙層 forgetting：

### Object-level forgetting

$$
G_t
$$

丟掉不值得維持的 predictive distinctions。

### Meta-level forgetting

$$
P_t(m)
$$

降低過時 usage evidence 的影響。

因此：

$$
\boxed{
\text{memory system}
\text{ 本身也需要 memory management}.
}
$$

---

# 8. Stability–Plasticity 不再只是神經網路問題

這條線是從形式數學／符號宇宙一路推來的。

但最後同樣碰到：

$$
\boxed{
\text{保留穩定結構}
\leftrightarrow
\text{快速適應新結構}.
}
$$

原因不是神經網路特有。

任何：

- 有有限資源；
- 有歷史累積；
- 世界可能 drift；
- 舊資訊可能失效；

的長程形式研究系統都會碰到同一類問題。

所以 stability–plasticity 可以被重新理解成：

$$
\boxed{
\text{Dynamic Distinction Economy 的一般控制問題}.
}
$$

---

# 9. HFMU-001～020 到這裡收束

這條實驗最初只是：

> 用最少中文字當純符號，看看數學能不能繼續長。

最後一路走成：

$$
\text{carrier independence}
$$

$$
\downarrow
$$

$$
\text{idempotence / stabilization}
$$

$$
\downarrow
$$

$$
\text{contraction / terminalization}
$$

$$
\downarrow
$$

$$
\text{Distinction Economy}
$$

$$
\downarrow
$$

$$
\text{obligation-relative predictive quotient}
$$

$$
\downarrow
$$

$$
\text{Shannon predictive information geometry}
$$

$$
\downarrow
$$

$$
\text{adaptive obligation dynamics}
$$

$$
\downarrow
$$

$$
\text{epistemic cache}
$$

$$
\downarrow
$$

$$
\boxed{
\text{meta-level stability–plasticity}.
}
$$

所以 HFMU 的第一個 20-experiment cycle 可以在這裡關閉。

不是終極閉包，而是：

$$
\boxed{
\operatorname{PEC}_{\mathrm{HFMU\ v1}}
}
$$

——第一輪問題已經從「中文是不是數學載體」推到一個完整的動態 epistemic-computation framework。

到 020 停是合理的。