title: 資料並沒有被真正「看完」：重複學習、知識底空間更新與資料再價值化
english_title: Data Is Never Simply 'Finished': Repeated Learning, Knowledge-Substrate Updates, and Data Revaluation
series: 智能學習底空間與投影系列
series_english: Intelligence Learning-Substrate and Projection Series
series_id: ILSP
paper_id: ILSP-05
author: Neo.K
organization: EveMissLab
version: 0.1.0
status: Research Draft / Canonical Series Paper
date: 2026-10-05
language: zh-TW
canonical_source: UTF-8 Markdown
math_source_rule: inline math only with $...$ ; display math only with $$...$$

資料並沒有被真正「看完」

重複學習、知識底空間更新與資料再價值化

Data Is Never Simply 'Finished': Repeated Learning, Knowledge-Substrate Updates, and Data Revaluation

系列： 智能學習底空間與投影系列（ILSP），Paper 05
作者： Neo.K
機構： EveMissLab
版本： v0.1.0
日期： 2026-10-05

公司： 一言諾科技有限公司

摘要

人工智慧訓練常將資料視為靜態資源：某一筆樣本一旦被模型看過、使用過或納入訓練集，就容易被直覺上視為「已消耗」。這種觀點對儲存、去重、epoch 計算與工程管理具有實用性，但它忽略了一個更深的學習現象：資料本身雖然沒有改變，學習者的內部狀態、知識結構、表示空間、驗證能力與跨域關係網路卻會持續改變。

本文提出：

\boxed{ I=I \not\Rightarrow \mathrm{LearningEvent}_t = \mathrm{LearningEvent}_{t+1}. }

令固定資料為 $I$ ，模型在時間 $t$ 的狀態為 $\theta_t$ ，知識底空間為 $\mathcal K_t$ ，可提取結構集合為：

\mathcal E_{\theta_t}(I).

當模型狀態更新為：

\theta_{t+1},

即使資料完全相同，也可能：

\mathcal E_{\theta_t}(I) \neq \mathcal E_{\theta_{t+1}}(I).

因此，同一份資料的學習價值不是一次性常數，而可能隨學習者狀態重新評價：

V_t(I) \neq V_{t+1}(I).

本文進一步引入：

Learning Event；
Re-Exposure Gain；
Remaining Extractable Value；
Latent Relevance Activation；
Knowledge-Substrate Expansion；
Revaluation Trigger；
Saturation Window；
Deferred Rediscovery。

本文指出，傳統 deduplication 只證明資料物件重複，不能直接證明學習事件重複。對固定資料 $I$ ，若模型新增了新的理論、概念、工具、驗證器或跨域關係，則舊資料可能被重新解讀為反例、橋接結構、方法論樣本、歷史失敗路徑或新的能力訓練物件。

因此，資料是否「學完」不應只由 exposure count 決定，而應由目前 learner state 下的：

R_t(I) = \text{Remaining Extractable Value}

決定。

本文不主張無限重複訓練同一資料一定有益。相反地，若模型狀態與提取算子近似不變，重複 exposure 很快會飽和，甚至因過度擬合、資料失衡與計算浪費而產生負價值。本文真正主張的是：

\boxed{ \text{Repeated Exposure} \neq \text{Repeated Learning} }

而只有在 learner state、knowledge substrate、learning objective 或 extraction machinery 發生足夠變化時，重新接觸舊資料才可能形成新的 learning event。

關鍵詞： 重複學習、Repeated Exposure、Learning Event、Remaining Extractable Value、Knowledge Substrate、資料再價值化、Curriculum、Re-Exposure Gain、Dynamic Revaluation、AI 訓練、資料耗盡、學習事件

1. 問題起點：一份資料「看過」之後，就真的用完了嗎？

考慮資料：

I.

模型第一次接觸：

I \rightarrow \theta_1.

第二次：

I \rightarrow \theta_2.

若只從資料物件看：

I_1=I_2.

因此很容易說：

這是重複資料。

在儲存層、文件層與內容層，這完全正確。

但在學習層，真正的事件是：

\boxed{ L_t = ( I, \theta_t, \mathcal K_t, \mathcal O_t, \mathcal C_t ). }

其中：

$\theta_t$ ：模型狀態；
$\mathcal K_t$ ：知識底空間；
$\mathcal O_t$ ：learning objective；
$\mathcal C_t$ ：curriculum / context / verification condition。

若這些量改變，則：

L_t \neq L_{t+1}

即使：

I_t=I_{t+1}.

2. Learning Event

本文定義第 $t$ 次學習事件：

\boxed{ \mathcal L_t(I) = ( I, \theta_t, \mathcal K_t, \mathcal O_t, \mathcal V_t, \mathcal C_t ). }

其中：

$I$ ：資料；
$\theta_t$ ：模型參數／狀態；
$\mathcal K_t$ ：可用知識與表示底空間；
$\mathcal O_t$ ：學習目標；
$\mathcal V_t$ ：驗證與外部校正系統；
$\mathcal C_t$ ：課程與訓練條件。

因此：

\boxed{ \mathrm{LearningEvent} \neq \mathrm{DataObject}. }

資料只是學習事件的一個參數。

3. Repeated Exposure 與 Repeated Learning

定義：

E_t(I)

表示第 $t$ 次 exposure。

若：

E_t(I) = E_{t+1}(I)

只表示：

模型再次接觸了同一資料。

它不自動推出：

\Delta\theta_t = \Delta\theta_{t+1}.

所以：

\boxed{ \text{Repeated Exposure} \not\equiv \text{Repeated Learning}. }

4. 同一資料可能產生不同學習效應

對固定：

I,

定義 learning-effect signature：

\Sigma_L(I,\theta_t).

若：

\theta_t \neq \theta_{t+1},

則可能：

\boxed{ \Sigma_L(I,\theta_t) \neq \Sigma_L(I,\theta_{t+1}). }

例如第一次讀取主要產生：

\text{lexical / surface learning}.

第二次：

\text{method learning}.

第三次：

\text{cross-domain relation}.

第四次：

\text{counterexample role}.

第五次：

\text{verifier training value}.

資料沒變。

學習者變了。

5. Knowledge Substrate

本文定義知識底空間：

\boxed{ \mathcal K_t }

表示在時間 $t$ ，學習者目前可被調用的：

概念；
關係；
方法；
表示；
符號；
verifier；
外部工具；
已形成的能力結構。

它不是單純：

\text{memorized facts}.

更接近：

\boxed{ \text{currently available interpretive and computational substrate}. }

6. Knowledge-Substrate Expansion

若模型學會新的結構：

k_{\mathrm{new}},

則：

\mathcal K_{t+1} = \mathcal K_t \cup \{ k_{\mathrm{new}} \}.

此時同一資料：

I

可能出現新 relation：

r(I,k_{\mathrm{new}}).

所以：

\boxed{ \mathcal K_t\uparrow \Rightarrow \text{old data may gain new relational meaning}. }

7. Extractable Structure Set

承接 ILSP-03 與 ILSP-04，定義：

\boxed{ \mathcal E_t(I) = \mathcal E_{\theta_t,\mathcal K_t}(I). }

它表示：

在目前模型與知識底空間下，從資料 $I$ 可安全提取並利用的結構集合。

若：

\mathcal K_t \neq \mathcal K_{t+1},

則一般可能：

\boxed{ \mathcal E_t(I) \neq \mathcal E_{t+1}(I). }

8. Remaining Extractable Value

本文定義：

\boxed{ R_t(I) = \text{Remaining Extractable Value of }I \text{ under state }t. }

概念上：

R_t(I) = V_{\mathrm{potential}}(I) - V_{\mathrm{already\ extracted}}(I\mid\theta_t).

但此式不要求存在固定：

V_{\mathrm{potential}}.

更一般地：

\boxed{ R_t(I) = \mathcal R( I, \theta_t, \mathcal K_t, \mathcal O_t, \mathcal V_t ). }

9. 「學完」的操作性定義

資料：

I

在時間：

t

若：

R_t(I) \le \epsilon,

可以稱：

\boxed{ I \text{ is locally exhausted under state }t. }

注意：

\text{locally exhausted}

不等於：

\text{permanently exhausted}.

10. Temporary Saturation

定義：

\boxed{ S_t(I) = 1 }

表示目前模型對資料 $I$ 已進入 temporary saturation。

若後續：

\theta_t \rightarrow \theta_{t+k},

則可能：

S_{t+k}(I) = 0.

即原本已飽和的資料重新產生價值。

11. Saturation Window

本文定義：

\boxed{ W_S(I) = [t_0,t_1] }

為一段時間內：

R_t(I) \approx0.

資料在這個區間內可以被視為暫時不值得再學。

但若：

t>t_1,

模型底空間發生重大更新，則：

R_t(I)>0

可能重新成立。

12. Re-Exposure Gain

對同一資料：

I

在兩個不同 learner state：

t_a, t_b,

定義重新接觸增益：

\boxed{ G_{\mathrm{re}} ( I; t_a,t_b ) = V_{\mathrm{learn}} ( I\mid\theta_{t_b} ) - V_{\mathrm{learn}} ( I\mid\theta_{t_a} ). }

若：

G_{\mathrm{re}}>0,

表示舊資料在後期模型中重新升值。

13. 為什麼舊書重讀會有新東西？

這在人類學習中很常見。

固定文本：

I.

第一次讀取：

\mathcal E_1(I) = \{e_1,e_2\}.

數年後：

\mathcal K_2 \supset \mathcal K_1.

再次閱讀：

\mathcal E_2(I) = \{e_1,e_2,e_3,e_4,e_5\}.

新增價值不來自：

I

改變。

而是：

\boxed{ \text{reader state changed}. }

14. AI 中同樣的現象

對 AI 而言，learner state 更新可以來自：

weight update；
new tool；
new memory；
new verifier；
new retrieval system；
new canonical representation；
new cross-domain knowledge；
new objective。

因此：

\boxed{ \text{model maturity changes what old data can mean computationally}. }

15. Weight Update 不是唯一的 State Update

即使：

\theta_t = \theta_{t+1},

如果：

\mathcal K_t \neq \mathcal K_{t+1}

或：

\mathcal V_t \neq \mathcal V_{t+1},

同一資料也可能有不同價值。

例如：

加入外部 theorem prover；
加入 search；
加入 memory；
加入新的 ontology；
加入 verifier。

所以：

\boxed{ \text{revaluation does not require weight training}. }

16. Objective Shift

同一資料：

I

若第一次用於：

\mathcal O_1 = \text{language modeling},

第二次用於：

\mathcal O_2 = \text{error detection},

第三次用於：

\mathcal O_3 = \text{planning},

則：

\boxed{ \mathcal L_1(I) \neq \mathcal L_2(I) \neq \mathcal L_3(I). }

這再次說明：

\text{same file} \neq \text{same learning event}.

17. Data Reinterpretation

定義：

\boxed{ \mathcal I_t: I \rightarrow \mathcal M_t }

其中：

\mathcal M_t

是目前可形成的 meaning / role space。

若：

\mathcal M_t \subset \mathcal M_{t+1},

則同一資料可被更細緻 reinterpret。

因此：

\boxed{ \text{learning is partly re-indexing old information under a richer model}. }

18. Latent Relevance Activation

有些資料在時間：

t

看起來：

V_t(I)\approx0.

但當模型獲得新的：

k^\ast,

會出現：

r(I,k^\ast)\neq0.

此時舊資料突然變得相關。

本文稱：

\boxed{ \text{Latent Relevance Activation}. }

19. Latent Relevance

定義：

\boxed{ L_t(I) }

表示資料對目前尚未形成、但未來可能形成結構的潛在相關性。

目前：

L_t(I)

通常無法精確知道。

但 archive design 可以保留：

\boxed{ \text{option value}. }

這是保存舊資料的另一個理由。

20. Data Option Value

定義：

\boxed{ O_V(I) = \mathbb E[ V_{t+k}(I) \mid \text{future learner states} ]. }

這表示：

即使現在沒價值，保留它是否仍可能在未來產生價值？

對：

raw data archive；
failure archive；
old theories；
synthetic traces；

這個概念尤其重要。

21. Deduplication 的層級問題

傳統：

I_1=I_2

可判定文件重複。

但學習層更應比較：

\mathcal L_t(I_1)

與：

\mathcal L_{t+1}(I_2).

因此：

\boxed{ \text{Document Deduplication} \neq \text{Learning-Event Deduplication}. }

22. Exposure Count 不是 Learning Count

若資料被看：

n

次：

E(I)=n.

不能推出：

L(I)=n

個不同 learning events。

可能：

L(I)=1

因為後續 exposure 幾乎沒有新效應。

也可能：

L(I)>1

因為 learner state 發生重大更新。

所以：

\boxed{ \text{Exposure Count} \neq \text{Distinct Learning Count}. }

23. Distinct Learning Event

對兩次 exposure：

e_i,e_j,

若：

d( \Sigma_L(I,\theta_i), \Sigma_L(I,\theta_j) ) > \delta,

則可以定義為：

\boxed{ \text{distinct learning events}. }

其中：

d

是 learning-effect distance。

24. Learning-Effect Distance

可定義：

\boxed{ d_L( L_i,L_j ) = d( \Sigma_L(I,\theta_i), \Sigma_L(I,\theta_j) ). }

若：

d_L\approx0,

表示兩次 exposure 高度冗餘。

若：

d_L\gg0,

表示相同資料在不同狀態下產生不同學習角色。

25. Repetition Benefit

定義：

\boxed{ B_{\mathrm{rep}}(I,t) = V( \mathcal L_t(I) ) - C_{\mathrm{reexpose}}(I,t). }

若：

B_{\mathrm{rep}}>0,

重新學習值得。

若：

B_{\mathrm{rep}}\le0,

應停止或延後。

所以重複訓練不應由固定 epoch 決定，而應由：

\boxed{ \text{marginal re-exposure value}. }

決定。

26. Repetition Risk

過度重複可能導致：

overfitting；
memorization；
distribution distortion；
loss of diversity；
catastrophic interference；
excessive confidence。

定義風險：

R_{\mathrm{rep}}(I,t).

更完整決策：

\boxed{ U_{\mathrm{rep}} = V_{\mathrm{re}} - C_{\mathrm{re}} - \lambda R_{\mathrm{rep}}. }

27. Dynamic Curriculum

傳統 curriculum：

d_1 \rightarrow d_2 \rightarrow d_3.

本文允許：

d_1 \rightarrow d_2 \rightarrow d_1 \rightarrow d_4 \rightarrow d_2.

因為舊資料在新 state 下可能重新有價值。

所以：

\boxed{ \text{optimal curriculum need not be acyclic}. }

28. Cyclic Curriculum

定義：

\boxed{ \mathcal C_{\mathrm{cyclic}} }

表示允許資料在不同知識階段重新出現的 curriculum。

但重新出現必須由：

\text{revaluation trigger}

驅動，而不是機械重複。

29. Revaluation Trigger

本文提出：

\boxed{ \mathcal T_R }

作為重新評估舊資料的觸發條件。

例如：

新能力形成；
新 verifier 上線；
新 ontology 建立；
新跨域知識加入；
舊 benchmark failure；
新 contradiction 出現；
task distribution 改變。

若：

\mathcal T_R=1,

則重新估計：

R_t(I).

30. 事件驅動，而不是時間驅動

資料重新評估不必：

\text{every }k\text{ steps}.

更合理：

\boxed{ \text{event-driven revaluation}. }

例如：

\theta_t \xrightarrow{\text{major capability gain}} \theta_{t+1}

才觸發 archive rescan。

這能降低：

C_{\mathrm{revalue}}.

31. Archive as Future Learning Reservoir

資料庫不再只是：

\text{storage}.

它也可以被視為：

\boxed{ \text{future learning reservoir}. }

其中包含：

已使用資料；
暫時飽和資料；
deferred data；
failure traces；
low-confidence data；
obsolete theory；
unrecognized synthetic traces。

32. Archive State

定義：

\boxed{ \mathcal A_t = ( D_{\mathrm{active}}, D_{\mathrm{saturated}}, D_{\mathrm{deferred}}, D_{\mathrm{failed}}, D_{\mathrm{unknown}} ). }

資料可以在這些狀態之間移動。

例如：

D_{\mathrm{saturated}} \rightarrow D_{\mathrm{active}}

當 latent relevance 被重新激活。

33. Data Lifecycle

本文提出：

\boxed{ \text{new} \rightarrow \text{active} \rightarrow \text{saturated} \rightarrow \text{deferred} \rightarrow \text{reactivated} \rightarrow \text{retired}. }

因此資料有 lifecycle，而不是一次性 consume。

34. Retirement

若長期：

R_t(I)\approx0

且：

O_V(I)\approx0,

可進入：

\boxed{ \text{retired}. }

但 retirement 仍可以保留 metadata / provenance，不必物理刪除。

35. Re-Exposure 與 Replay

continual learning 中已有：

\text{replay}.

本文與 replay 不同但相容。

Replay 常用於：

防 forgetting；
維持舊能力。

本文強調另一種角色：

\boxed{ \text{old data can generate new learning because the learner changed}. }

即：

\text{replay for retention} \neq \text{re-exposure for revaluation}.

36. Retention Replay

定義：

\boxed{ R_{\mathrm{retain}} }

目的：

\text{prevent capability loss}.

37. Revaluation Replay

定義：

\boxed{ R_{\mathrm{revalue}} }

目的：

\text{extract previously unavailable structure}.

兩者應分開衡量。

38. Rehearsal 也不是 Revaluation

rehearsal：

\text{repeat to strengthen}.

revaluation：

\text{repeat because meaning/function changed}.

所以：

\boxed{ \text{Rehearsal} \neq \text{Revaluation}. }

39. 同一數學教材的例子

資料：

I_{\mathrm{calc}}

是基礎微積分。

早期模型：

\mathcal E_1 = \{ \text{formula}, \text{definition} \}.

後期模型：

\mathcal E_2 = \{ \text{formula}, \text{definition}, \text{proof pattern}, \text{geometric relation}, \text{numerical stability}, \text{teaching strategy} \}.

同一文件。

不同 extraction depth。

40. 同一錯誤理論的例子

資料：

I_F

第一次：

\mathcal E_1 = \{ \text{false claims} \}.

後來模型擁有更強 verifier：

\mathcal E_2 = \{ \text{false claims}, \text{failure trajectory}, \text{misconception pattern}, \text{repair object} \}.

所以：

V_2(I_F) > V_1(I_F).

41. 同一程式碼的例子

初期模型可能從 code 學：

\text{syntax}.

後期：

\text{architecture}.

更後期：

\text{failure mode}, \text{performance trade-off}, \text{API design}.

因此：

\boxed{ \text{source identity} \neq \text{learning identity}. }

42. 同一對話資料的例子

Human–AI conversation：

I_{\mathrm{dialogue}}

早期模型可能只學：

語言風格；
問答模式。

成熟模型可能進一步抽取：

problem decomposition；
correction patterns；
latent shared-domain formation；
long-horizon coordination。

因此舊對話語料也可能重新升值。

43. Temporal Learning Value

本文定義：

\boxed{ V(I,t) }

而不是：

V(I).

更完整：

\boxed{ V( I; \theta_t, \mathcal K_t, \mathcal O_t, \mathcal V_t, \mathcal C_t ). }

這是資料價值的時間化版本。

44. Value Gradient

可定義：

\boxed{ \Delta V_t(I) = V_{t+1}(I) - V_t(I). }

若：

\Delta V_t>0,

舊資料升值。

若：

\Delta V_t<0,

舊資料降值。

45. Value Revival

若存在：

t_1<t_2<t_3

使：

V_{t_1}(I)>0,

V_{t_2}(I)\approx0,

V_{t_3}(I)>0,

則稱：

\boxed{ \text{Value Revival}. }

這是動態 curriculum 的重要現象。

46. Value Decay

相反：

V_t(I)\downarrow

隨模型成熟很常見。

因為：

已充分吸收；
redundancy 增加；
capability frontier 前移。

所以舊資料不應永久保持高 sampling weight。

47. Adaptive Sampling Weight

令：

w_t(I)

為資料 sampling weight。

傳統可能固定：

w(I).

本文提出：

\boxed{ w_t(I) = f( R_t(I), C_t(I), R_{\mathrm{risk}}(I) ). }

因此 sampling weight 應動態更新。

48. Remaining Value Estimator

可以建立：

\boxed{ \hat R_\phi(I,\theta_t) }

估計資料剩餘價值。

輸入可包括：

prior exposure；
gradient signal；
loss；
representation novelty；
capability gaps；
verifier response；
related-domain updates。

49. Loss 不是 Remaining Value

一份資料 loss 很低：

L(I)\approx0

不一定：

R_t(I)=0.

因為模型可以預測文字，但尚未：

建立跨域關係；
學會 verifier role；
學會方法；
學會 transfer。

因此：

\boxed{ \text{prediction loss} \neq \text{complete learning saturation}. }

50. Perplexity 也不是完整的學習價值指標

同理：

\operatorname{PPL}(I)

主要衡量序列預測。

它不能直接等於：

V_{\mathrm{capability}}(I).

所以：

\boxed{ \text{text predictability} \neq \text{learning exhaustiveness}. }

51. Gradient Magnitude 也不夠

若：

\|\nabla_\theta L(I)\|

很小，也不一定表示所有 task-relative value 都耗盡。

因為：

objective 不同；
representation reuse；
tool-grounded learning；
downstream composition；

都可能產生額外價值。

所以：

\boxed{ \text{gradient small} \not\Rightarrow \text{no future value}. }

52. 多層 Remaining Value

本文將：

R_t(I)

分成：

\boxed{ R_t(I) = ( R_{\mathrm{fact}}, R_{\mathrm{method}}, R_{\mathrm{relation}}, R_{\mathrm{failure}}, R_{\mathrm{transfer}}, R_{\mathrm{verification}} ). }

一份資料可能：

R_{\mathrm{fact}}\approx0

但：

R_{\mathrm{transfer}}\gg0.

53. Fact Saturated, Method Unsaturated

這是非常典型的情況。

模型已經知道：

\text{answer}.

但未必知道：

\text{why},

\text{how},

\text{when it fails}.

因此：

\boxed{ \text{fact knowledge saturation} \neq \text{method saturation}. }

54. Method Saturated, Transfer Unsaturated

模型可能掌握一種方法：

M.

但不能在新 domain 使用。

所以：

R_{\mathrm{method}}\approx0,

但：

R_{\mathrm{transfer}}>0.

重新接觸舊資料並加入 cross-domain prompt 可能形成新 learning event。

55. Knowledge Graph Expansion

若知識底空間以圖：

G_t = (V_t,E_t)

表示。

新知識加入：

v_{\mathrm{new}}

後，舊資料節點：

v_I

可能新增：

e(v_I,v_{\mathrm{new}}).

因此：

\boxed{ \text{old node} + \text{new graph} \rightarrow \text{new meaning}. }

56. Data Value as Graph Potential

可以將：

V_t(I)

理解成舊資料節點在當前知識圖上的 potential。

當圖更新：

G_t\rightarrow G_{t+1},

potential 也改變。

這提供一個直觀模型：

\boxed{ \text{data value depends on its current relational neighborhood}. }

57. Hypergraph View

若某價值只在多個概念同時存在時出現：

e = \{ I,k_1,k_2,k_3 \},

則 pairwise graph 不夠。

可使用 hyperedge：

\boxed{ h(I,k_1,k_2,k_3). }

這解釋為什麼資料在某個知識臨界點之後突然升值。

58. Revaluation Phase Transition

當模型累積到：

K^\ast

後，某舊資料：

I

的價值可能突然：

V_t(I)\approx0 \rightarrow V_{t+1}(I)\gg0.

本文稱：

\boxed{ \text{Revaluation Phase Transition}. }

這不是物理 phase transition 的直接等價，只是一個結構性比喻。

59. Threshold Knowledge

定義：

\boxed{ K^\ast(I) }

為使資料：

I

出現新價值的最低背景知識條件。

若：

\mathcal K_t \supseteq K^\ast(I),

則：

R_t(I)

可能上升。

60. Data Dependency Graph

可建立：

\boxed{ G_D }

其中節點是資料與能力，邊表示：

\text{enables later reinterpretation}.

例如：

d_1 \rightarrow d_2 \rightarrow d_1'

其中：

d_1'

不是新文件，而是：

\boxed{ d_1 \text{ under a richer learner state}. }

61. 第二次看到不是第二份資料

這一點非常重要。

d_1'=d_1

在 storage identity 上成立。

但：

\mathcal L(d_1') \neq \mathcal L(d_1)

在 learning-event identity 上可能成立。

所以：

\boxed{ \text{same bytes} \neq \text{same epistemic event}. }

62. Data Identity 的三層

本文區分：

62.1 Byte Identity

I_a=I_b.

62.2 Semantic Identity

S(I_a)\approx S(I_b).

62.3 Learning-Event Identity

\mathcal L_t(I_a) \approx \mathcal L_{t'}(I_b).

三者不可混為一談。

63. 對 Dataset Dedup 的影響

本文不反對：

\text{dedup}.

而是提出：

\boxed{ \text{storage dedup} \neq \text{curriculum exclusion}. }

即：

不需要儲存兩份相同文件，

但：

同一文件未來仍可被重新調度。

64. Canonical Storage + Dynamic Exposure

因此理想架構：

\boxed{ \text{one canonical object} + \text{many learning events}. }

也就是：

I_{\mathrm{canonical}}

只存一次，

但 exposure history：

H_E(I)

可以很多次。

65. Exposure History

定義：

\boxed{ H_E(I) = \{ (t_i, \theta_i, \mathcal O_i, \Sigma_i) \}_{i=1}^{n}. }

這使系統知道：

何時看過；
在什麼模型狀態下看過；
用什麼 objective；
學習效應如何。

66. Exposure History 可以避免盲目重複

若新 exposure：

e_{n+1}

與過去：

e_n

條件高度相似，則預測：

B_{\mathrm{rep}}\approx0.

可以跳過。

如果：

\theta_{n+1}

或：

\mathcal O_{n+1}

顯著不同，則重新評估。

67. Re-Exposure Scheduler

定義：

\boxed{ \pi_R( I, \theta_t, H_E, \mathcal K_t ) }

決定：

now；
later；
never；
different role。

因此：

\boxed{ \text{repeated learning becomes a scheduling problem}. }

68. Scheduler Objective

可寫為：

\boxed{ \max \frac{ R_t(I) }{ C_{\mathrm{exposure}}(I) + \lambda R_{\mathrm{overfit}}(I) }. }

這與 ILSP-04 的 value-cost-risk routing 一致。

69. Self-Curriculum

若 AI 自己估計：

R_t(I),

就可建立：

\boxed{ \text{self-curriculum}. }

即：

自己決定哪些舊資料現在值得重讀。

這比固定 epoch 更接近動態學習系統。

70. Self-Curriculum 的風險

如果模型：

\hat R_t(I)

估錯，會形成：

self-confirmation；
blind spots；
avoidance of difficult data；
overfocus on familiar regions。

因此 self-curriculum 需要：

\boxed{ \text{external exploration pressure}. }

71. Exploration Budget

設定：

B_{\mathrm{explore}}.

即使：

\hat R_t(I)\approx0,

仍保留一定機率：

p_{\mathrm{revisit}}>0

重新測試。

這避免模型永久錯估舊資料。

72. Serendipitous Rediscovery

某些資料可能因隨機／探索式 revisit 被重新發現價值。

本文稱：

\boxed{ \text{Serendipitous Rediscovery}. }

它是 dynamic archive 的重要能力。

73. Deferred Rediscovery

對：

D_{\mathrm{deferred}},

未來模型成熟後定期／事件觸發重估：

D_{\mathrm{deferred}} \xrightarrow{\mathcal T_R} D_{\mathrm{active}}.

這使舊資訊海成為：

\boxed{ \text{latent future curriculum}. }

74. 對「資料耗盡」的第三個修正

如果同一資料可以在新 learner state 下產生新 learning event，則：

\boxed{ \text{finite corpus} \not\Rightarrow \text{single-use learning resource}. }

但這不代表：

\text{finite corpus} \Rightarrow \text{infinite useful learning}.

價值仍受限於：

structure；
model state；
objective；
saturation；
compute。

75. Finite Data, Multiple Learning Events

對 corpus：

\mathcal D

可能：

|\mathcal D| <\infty

但：

|\mathcal L(\mathcal D)| > |\mathcal D|

因為一份資料可對應多個 distinct learning events。

這是一個重要結構差異。

76. 但 Learning Events 也不是無限

如果模型最終：

\theta_t\rightarrow\theta^\ast

且：

\mathcal K_t\rightarrow\mathcal K^\ast,

則可能：

R_t(I)\rightarrow0.

所以：

\boxed{ \text{revaluation is dynamic, not magical infinity}. }

77. 與 ILSP-03 的接口

ILSP-03：

\text{Data Value Is Relational}.

本文增加：

\boxed{ \text{Data Value Is Temporal}. }

即：

V = V( I, \theta_t, \mathcal K_t, t ).

78. 與 ILSP-04 的接口

ILSP-04：

V_t(I) \neq V_{t+1}(I).

本文正式將原因展開為：

\boxed{ \text{new learner state} + \text{new knowledge substrate} + \text{new learning role} \rightarrow \text{new learning event}. }

79. 與 ILSP-01 的接口

如果模型 latent competence 擴張：

C_{\mathrm{latent}}(t+1) > C_{\mathrm{latent}}(t),

那麼它也可能有能力從同一資料中提取：

\mathcal E_{t+1}(I) \supset \mathcal E_t(I).

所以：

\boxed{ \text{capability growth changes data value}. }

80. 與 ILSP-02 的接口

Shared Domain：

D_t

擴張也可能改變：

V_t(I).

因為原本不明的 shorthand、歷史背景、專有符號可能變得可解析。

所以：

\boxed{ \text{better shared context can reactivate old information}. }

81. 與 PACC 的接口

如果概率只是某些 observable coordinate，則舊資料重學的價值不一定體現在：

\Delta P_{\mathrm{token}}.

而可能先發生在：

\Delta R_{\mathrm{latent}},

\Delta C_{\mathrm{strategy}},

\Delta V_{\mathrm{verification}}.

所以：

\boxed{ \text{relearning value can exist below the visible output layer}. }

82. 與 HDSRC 的接口

若 HDSRC 可保存：

S_H(t)

則同一資料在不同時間形成的：

\Delta S_H(t)

可以被比較。

目標：

\boxed{ \text{measure how the same source maps differently under different learner states}. }

這是未來可實驗方向。

83. 與 ISQL-CMF 的接口

同一資料中的某部分可能：

第一次：

\text{neural / uncertain},

第二次：

\text{canonicalizable}.

因此：

\boxed{ \text{re-exposure can move knowledge across computational regimes}. }

例如：

\mathcal N \rightarrow \mathcal I.

84. Knowledge Consolidation

如果資料中的結構反覆被驗證，可從：

\text{fluid representation}

移入：

\text{stable canonical state}.

這可視為：

\boxed{ \text{consolidation}. }

因此 repeated exposure 的另一價值是：

\text{representation regime transition}.

85. 但 Consolidation 不是純重複

若只是反覆同樣訊號：

I,I,I

且沒有新 evidence，可能只是 confidence inflation。

所以：

\boxed{ \text{consolidation requires verification, not repetition alone}. }

86. 實驗一：Checkpoint Re-Exposure

固定資料：

I.

在：

\theta_1,\theta_2,\ldots,\theta_k

測：

\Sigma_L(I,\theta_i).

比較：

representation change；
task transfer；
verifier gain；
relation discovery。

若：

d_L( \mathcal L_i, \mathcal L_j ) >0,

則支持 distinct learning events。

87. 實驗二：Same Data, Different Objective

固定：

I

與模型：

\theta.

改變：

\mathcal O_1,\ldots,\mathcal O_k.

比較：

\Sigma_L.

驗證：

\boxed{ \text{objective shift alone can change learning identity}. }

88. 實驗三：Knowledge Injection Revaluation

固定 base model。

先測：

R_0(I).

再加入相關知識：

K^\ast.

重新測：

R_1(I).

若：

R_1(I)>R_0(I),

支持 latent relevance activation。

89. 實驗四：Verifier Upgrade Revaluation

固定資料：

I_F

為含錯誤理論的資料。

比較：

V_{\mathrm{transform}}

在：

\mathcal V_0

與：

\mathcal V_1

下的差異。

如果 verifier upgrade 讓更多 failure objects 被安全抽取，支持：

\boxed{ \text{verification machinery changes data value}. }

90. 實驗五：Re-Exposure Scheduler

比較：

fixed epoch；
random revisit；
loss-based revisit；
Remaining-Value-based revisit。

控制：

\text{compute budget}.

比較：

capability gain；
redundancy；
overfitting；
forgetting；
transfer。

若第 4 組更有效，支持 dynamic re-exposure scheduling。

91. 實驗六：Retired Data Revival

選擇已長期低 sampling weight 的資料。

在新 checkpoint：

\theta_{t+k}

重新評估。

測：

\boxed{ \text{revival rate}. }

即：

P( R_{t+k}(I)>\epsilon \mid R_t(I)\le\epsilon ).

92. 實驗七：Learning-Event Deduplication

建立相同文件的多次 exposure。

比較：

byte identity；
semantic identity；
learning-effect identity。

若：

\text{same bytes}

在不同 learner state 下呈現不同：

\Sigma_L,

則證明 storage dedup 與 learning-event dedup 不同。

93. 失敗條件

F1

若同一資料在不同 checkpoint 的 learning-effect signature 幾乎不變，本文核心假說被削弱。

F2

若 knowledge injection 不改變資料可提取價值，latent relevance activation 不重要。

F3

若 verifier upgrade 不改變低品質資料的 transformable value，validation-dependent revaluation 被削弱。

F4

若 Remaining-Value-based scheduler 不比固定 epoch 更有效，工程價值下降。

F5

若 retired data 幾乎從不 revival，長期 archive revaluation 的必要性降低。

94. 本文不主張事項

本文不主張：

同一資料應無限重複訓練；
重複 exposure 一定產生新知識；
deduplication 是錯的；
epoch training 沒有價值；
loss / perplexity 沒有用；
所有舊資料都值得永久保存；
所有資料最終都會重新升值；
Remaining Extractable Value 已可被精確估計；
AI 可以完全自行安排最佳 curriculum；
finite corpus 可以提供無限非重複知識。

本文只主張：

\boxed{ \text{whether a datum is exhausted is a property of the datum–learner relation, not of the datum alone}. }

95. 下一篇接口

前五篇已建立：

\text{latent competence},

\text{shared domain},

\text{learning taxonomy},

\text{transformable low-quality information},

\text{dynamic revaluation}.

下一篇將把資料世界本身動態化：

\boxed{ \text{Human} \rightarrow \text{AI} \rightarrow \text{Public Knowledge} \rightarrow \text{Future AI}. }

也就是：

《AI 不只是資料消費者：人機反身知識生態與校正器效應》

96. 結論

一份資料沒有一個固定、一次性的「學習命運」。

更精確地：

\boxed{ \mathcal L_t(I) = F( I, \theta_t, \mathcal K_t, \mathcal O_t, \mathcal V_t, \mathcal C_t ). }

資料相同：

I_t=I_{t+1},

不代表：

\mathcal L_t(I) = \mathcal L_{t+1}(I).

因此：

\boxed{ \text{same data} \neq \text{same learning event}. }

真正合理的問題不再只是：

模型看過這份資料幾次？

而是：

模型在什麼狀態下看過？當時能提取什麼？現在又能提取什麼？

所以「資料耗盡」也應從文件數量問題改寫為：

\boxed{ \text{remaining extractable learning value under the current learner state}. }

這並不保證舊資料永遠有新價值。

恰恰相反，很多資料會真正飽和。

但「曾經飽和」本身也不是永久判決。

當：

模型變強；
知識底空間擴張；
verifier 改善；
objective 改變；
shared domain 更新；

舊資料可能重新形成新 relation、新 role 與新 learning event。

因此，未來 AI 資料系統可能不再只是：

\boxed{ \text{collect} \rightarrow \text{train} \rightarrow \text{discard}. }

而會更接近：

\boxed{ \text{archive} \rightarrow \text{evaluate} \rightarrow \text{expose} \rightarrow \text{saturate} \rightarrow \text{defer} \rightarrow \text{revalue} \rightarrow \text{rediscover}. }

這使資料從一次性燃料，變成一個會隨智能成長而重新排列價值的動態學習底空間。

版本紀錄

v0.1.0 — 2026-10-05

建立 ILSP 系列 Paper 05；
正式區分 Data Object 與 Learning Event；
提出 Repeated Exposure ≠ Repeated Learning；
定義 Knowledge Substrate；
定義 Remaining Extractable Value；
提出 Temporary Saturation 與 Saturation Window；
定義 Re-Exposure Gain；
提出 Latent Relevance Activation；
定義 Data Option Value；
區分 Document Deduplication 與 Learning-Event Deduplication；
提出 Dynamic / Cyclic Curriculum；
定義 Revaluation Trigger；
區分 Retention Replay 與 Revaluation Replay；
提出 Value Revival、Revaluation Phase Transition 與 Threshold Knowledge；
建立 Canonical Storage + Dynamic Exposure 架構；
提出 Re-Exposure Scheduler；
建立七組可測實驗與五項失敗條件；
與 ILSP-01 至 ILSP-04、PACC、HDSRC、ISQL-CMF 接軌。

資料並沒有被真正「看完」：重複學習、知識底空間更新與資料再價值化

資料並沒有被真正「看完」

重複學習、知識底空間更新與資料再價值化

Data Is Never Simply 'Finished': Repeated Learning, Knowledge-Substrate Updates, and Data Revaluation

摘要

1. 問題起點：一份資料「看過」之後，就真的用完了嗎？

2. Learning Event

3. Repeated Exposure 與 Repeated Learning

4. 同一資料可能產生不同學習效應

5. Knowledge Substrate

6. Knowledge-Substrate Expansion

7. Extractable Structure Set

8. Remaining Extractable Value

9. 「學完」的操作性定義

10. Temporary Saturation

11. Saturation Window

12. Re-Exposure Gain

13. 為什麼舊書重讀會有新東西？

14. AI 中同樣的現象

15. Weight Update 不是唯一的 State Update

16. Objective Shift

17. Data Reinterpretation

18. Latent Relevance Activation

19. Latent Relevance

20. Data Option Value

21. Deduplication 的層級問題

22. Exposure Count 不是 Learning Count

23. Distinct Learning Event

24. Learning-Effect Distance

25. Repetition Benefit

26. Repetition Risk

27. Dynamic Curriculum

28. Cyclic Curriculum

29. Revaluation Trigger

30. 事件驅動，而不是時間驅動

31. Archive as Future Learning Reservoir

32. Archive State

33. Data Lifecycle

34. Retirement

35. Re-Exposure 與 Replay

36. Retention Replay

37. Revaluation Replay

38. Rehearsal 也不是 Revaluation

39. 同一數學教材的例子

40. 同一錯誤理論的例子

41. 同一程式碼的例子

42. 同一對話資料的例子

43. Temporal Learning Value

44. Value Gradient

45. Value Revival

46. Value Decay

47. Adaptive Sampling Weight

48. Remaining Value Estimator

49. Loss 不是 Remaining Value

50. Perplexity 也不是完整的學習價值指標

51. Gradient Magnitude 也不夠

52. 多層 Remaining Value

53. Fact Saturated, Method Unsaturated

54. Method Saturated, Transfer Unsaturated

55. Knowledge Graph Expansion

56. Data Value as Graph Potential

57. Hypergraph View

58. Revaluation Phase Transition

59. Threshold Knowledge

60. Data Dependency Graph

61. 第二次看到不是第二份資料

62. Data Identity 的三層

62.1 Byte Identity

62.2 Semantic Identity

62.3 Learning-Event Identity

63. 對 Dataset Dedup 的影響

64. Canonical Storage + Dynamic Exposure

65. Exposure History

66. Exposure History 可以避免盲目重複

67. Re-Exposure Scheduler

68. Scheduler Objective

69. Self-Curriculum

70. Self-Curriculum 的風險

71. Exploration Budget

72. Serendipitous Rediscovery