--- title: "資料並沒有被真正「看完」：重複學習、知識底空間更新與資料再價值化" english_title: "Data Is Never Simply 'Finished': Repeated Learning, Knowledge-Substrate Updates, and Data Revaluation" series: "智能學習底空間與投影系列" series_english: "Intelligence Learning-Substrate and Projection Series" series_id: "ILSP" paper_id: "ILSP-05" author: "Neo.K" organization: "EveMissLab" version: "0.1.0" status: "Research Draft / Canonical Series Paper" date: "2026-10-05" language: "zh-TW" canonical_source: "UTF-8 Markdown" math_source_rule: "inline math only with $...$ ; display math only with $$...$$" --- # 資料並沒有被真正「看完」 ## 重複學習、知識底空間更新與資料再價值化 ### Data Is Never Simply 'Finished': Repeated Learning, Knowledge-Substrate Updates, and Data Revaluation **系列：** 智能學習底空間與投影系列（ILSP），Paper 05 **作者：** Neo.K **機構：** EveMissLab **版本：** v0.1.0 **日期：** 2026-10-05 **公司：** 一言諾科技有限公司 --- # 摘要 人工智慧訓練常將資料視為靜態資源：某一筆樣本一旦被模型看過、使用過或納入訓練集，就容易被直覺上視為「已消耗」。這種觀點對儲存、去重、epoch 計算與工程管理具有實用性，但它忽略了一個更深的學習現象：資料本身雖然沒有改變，學習者的內部狀態、知識結構、表示空間、驗證能力與跨域關係網路卻會持續改變。 本文提出： $$ \boxed{ I=I \not\Rightarrow \mathrm{LearningEvent}_t = \mathrm{LearningEvent}_{t+1}. } $$ 令固定資料為 $I$，模型在時間 $t$ 的狀態為 $\theta_t$，知識底空間為 $\mathcal K_t$，可提取結構集合為： $$ \mathcal E_{\theta_t}(I). $$ 當模型狀態更新為： $$ \theta_{t+1}, $$ 即使資料完全相同，也可能： $$ \mathcal E_{\theta_t}(I) \neq \mathcal E_{\theta_{t+1}}(I). $$ 因此，同一份資料的學習價值不是一次性常數，而可能隨學習者狀態重新評價： $$ V_t(I) \neq V_{t+1}(I). $$ 本文進一步引入： - Learning Event； - Re-Exposure Gain； - Remaining Extractable Value； - Latent Relevance Activation； - Knowledge-Substrate Expansion； - Revaluation Trigger； - Saturation Window； - Deferred Rediscovery。 本文指出，傳統 deduplication 只證明資料物件重複，不能直接證明學習事件重複。對固定資料 $I$，若模型新增了新的理論、概念、工具、驗證器或跨域關係，則舊資料可能被重新解讀為反例、橋接結構、方法論樣本、歷史失敗路徑或新的能力訓練物件。 因此，資料是否「學完」不應只由 exposure count 決定，而應由目前 learner state 下的： $$ R_t(I) = \text{Remaining Extractable Value} $$ 決定。 本文不主張無限重複訓練同一資料一定有益。相反地，若模型狀態與提取算子近似不變，重複 exposure 很快會飽和，甚至因過度擬合、資料失衡與計算浪費而產生負價值。本文真正主張的是： $$ \boxed{ \text{Repeated Exposure} \neq \text{Repeated Learning} } $$ 而只有在 learner state、knowledge substrate、learning objective 或 extraction machinery 發生足夠變化時，重新接觸舊資料才可能形成新的 learning event。 **關鍵詞：** 重複學習、Repeated Exposure、Learning Event、Remaining Extractable Value、Knowledge Substrate、資料再價值化、Curriculum、Re-Exposure Gain、Dynamic Revaluation、AI 訓練、資料耗盡、學習事件 --- # 1. 問題起點：一份資料「看過」之後，就真的用完了嗎？ 考慮資料： $$ I. $$ 模型第一次接觸： $$ I \rightarrow \theta_1. $$ 第二次： $$ I \rightarrow \theta_2. $$ 若只從資料物件看： $$ I_1=I_2. $$ 因此很容易說： > 這是重複資料。 在儲存層、文件層與內容層，這完全正確。 但在學習層，真正的事件是： $$ \boxed{ L_t = ( I, \theta_t, \mathcal K_t, \mathcal O_t, \mathcal C_t ). } $$ 其中： - $\theta_t$：模型狀態； - $\mathcal K_t$：知識底空間； - $\mathcal O_t$：learning objective； - $\mathcal C_t$：curriculum / context / verification condition。 若這些量改變，則： $$ L_t \neq L_{t+1} $$ 即使： $$ I_t=I_{t+1}. $$ --- # 2. Learning Event 本文定義第 $t$ 次學習事件： $$ \boxed{ \mathcal L_t(I) = ( I, \theta_t, \mathcal K_t, \mathcal O_t, \mathcal V_t, \mathcal C_t ). } $$ 其中： - $I$：資料； - $\theta_t$：模型參數／狀態； - $\mathcal K_t$：可用知識與表示底空間； - $\mathcal O_t$：學習目標； - $\mathcal V_t$：驗證與外部校正系統； - $\mathcal C_t$：課程與訓練條件。 因此： $$ \boxed{ \mathrm{LearningEvent} \neq \mathrm{DataObject}. } $$ 資料只是學習事件的一個參數。 --- # 3. Repeated Exposure 與 Repeated Learning 定義： $$ E_t(I) $$ 表示第 $t$ 次 exposure。 若： $$ E_t(I) = E_{t+1}(I) $$ 只表示： > 模型再次接觸了同一資料。 它不自動推出： $$ \Delta\theta_t = \Delta\theta_{t+1}. $$ 所以： $$ \boxed{ \text{Repeated Exposure} \not\equiv \text{Repeated Learning}. } $$ --- # 4. 同一資料可能產生不同學習效應 對固定： $$ I, $$ 定義 learning-effect signature： $$ \Sigma_L(I,\theta_t). $$ 若： $$ \theta_t \neq \theta_{t+1}, $$ 則可能： $$ \boxed{ \Sigma_L(I,\theta_t) \neq \Sigma_L(I,\theta_{t+1}). } $$ 例如第一次讀取主要產生： $$ \text{lexical / surface learning}. $$ 第二次： $$ \text{method learning}. $$ 第三次： $$ \text{cross-domain relation}. $$ 第四次： $$ \text{counterexample role}. $$ 第五次： $$ \text{verifier training value}. $$ 資料沒變。 學習者變了。 --- # 5. Knowledge Substrate 本文定義知識底空間： $$ \boxed{ \mathcal K_t } $$ 表示在時間 $t$，學習者目前可被調用的： - 概念； - 關係； - 方法； - 表示； - 符號； - verifier； - 外部工具； - 已形成的能力結構。 它不是單純： $$ \text{memorized facts}. $$ 更接近： $$ \boxed{ \text{currently available interpretive and computational substrate}. } $$ --- # 6. Knowledge-Substrate Expansion 若模型學會新的結構： $$ k_{\mathrm{new}}, $$ 則： $$ \mathcal K_{t+1} = \mathcal K_t \cup \{ k_{\mathrm{new}} \}. $$ 此時同一資料： $$ I $$ 可能出現新 relation： $$ r(I,k_{\mathrm{new}}). $$ 所以： $$ \boxed{ \mathcal K_t\uparrow \Rightarrow \text{old data may gain new relational meaning}. } $$ --- # 7. Extractable Structure Set 承接 ILSP-03 與 ILSP-04，定義： $$ \boxed{ \mathcal E_t(I) = \mathcal E_{\theta_t,\mathcal K_t}(I). } $$ 它表示： > 在目前模型與知識底空間下，從資料 $I$ 可安全提取並利用的結構集合。 若： $$ \mathcal K_t \neq \mathcal K_{t+1}, $$ 則一般可能： $$ \boxed{ \mathcal E_t(I) \neq \mathcal E_{t+1}(I). } $$ --- # 8. Remaining Extractable Value 本文定義： $$ \boxed{ R_t(I) = \text{Remaining Extractable Value of }I \text{ under state }t. } $$ 概念上： $$ R_t(I) = V_{\mathrm{potential}}(I) - V_{\mathrm{already\ extracted}}(I\mid\theta_t). $$ 但此式不要求存在固定： $$ V_{\mathrm{potential}}. $$ 更一般地： $$ \boxed{ R_t(I) = \mathcal R( I, \theta_t, \mathcal K_t, \mathcal O_t, \mathcal V_t ). } $$ --- # 9. 「學完」的操作性定義 資料： $$ I $$ 在時間： $$ t $$ 若： $$ R_t(I) \le \epsilon, $$ 可以稱： $$ \boxed{ I \text{ is locally exhausted under state }t. } $$ 注意： $$ \text{locally exhausted} $$ 不等於： $$ \text{permanently exhausted}. $$ --- # 10. Temporary Saturation 定義： $$ \boxed{ S_t(I) = 1 } $$ 表示目前模型對資料 $I$ 已進入 temporary saturation。 若後續： $$ \theta_t \rightarrow \theta_{t+k}, $$ 則可能： $$ S_{t+k}(I) = 0. $$ 即原本已飽和的資料重新產生價值。 --- # 11. Saturation Window 本文定義： $$ \boxed{ W_S(I) = [t_0,t_1] } $$ 為一段時間內： $$ R_t(I) \approx0. $$ 資料在這個區間內可以被視為暫時不值得再學。 但若： $$ t>t_1, $$ 模型底空間發生重大更新，則： $$ R_t(I)>0 $$ 可能重新成立。 --- # 12. Re-Exposure Gain 對同一資料： $$ I $$ 在兩個不同 learner state： $$ t_a, t_b, $$ 定義重新接觸增益： $$ \boxed{ G_{\mathrm{re}} ( I; t_a,t_b ) = V_{\mathrm{learn}} ( I\mid\theta_{t_b} ) - V_{\mathrm{learn}} ( I\mid\theta_{t_a} ). } $$ 若： $$ G_{\mathrm{re}}>0, $$ 表示舊資料在後期模型中重新升值。 --- # 13. 為什麼舊書重讀會有新東西？ 這在人類學習中很常見。 固定文本： $$ I. $$ 第一次讀取： $$ \mathcal E_1(I) = \{e_1,e_2\}. $$ 數年後： $$ \mathcal K_2 \supset \mathcal K_1. $$ 再次閱讀： $$ \mathcal E_2(I) = \{e_1,e_2,e_3,e_4,e_5\}. $$ 新增價值不來自： $$ I $$ 改變。 而是： $$ \boxed{ \text{reader state changed}. } $$ --- # 14. AI 中同樣的現象 對 AI 而言，learner state 更新可以來自： - weight update； - new tool； - new memory； - new verifier； - new retrieval system； - new canonical representation； - new cross-domain knowledge； - new objective。 因此： $$ \boxed{ \text{model maturity changes what old data can mean computationally}. } $$ --- # 15. Weight Update 不是唯一的 State Update 即使： $$ \theta_t = \theta_{t+1}, $$ 如果： $$ \mathcal K_t \neq \mathcal K_{t+1} $$ 或： $$ \mathcal V_t \neq \mathcal V_{t+1}, $$ 同一資料也可能有不同價值。 例如： - 加入外部 theorem prover； - 加入 search； - 加入 memory； - 加入新的 ontology； - 加入 verifier。 所以： $$ \boxed{ \text{revaluation does not require weight training}. } $$ --- # 16. Objective Shift 同一資料： $$ I $$ 若第一次用於： $$ \mathcal O_1 = \text{language modeling}, $$ 第二次用於： $$ \mathcal O_2 = \text{error detection}, $$ 第三次用於： $$ \mathcal O_3 = \text{planning}, $$ 則： $$ \boxed{ \mathcal L_1(I) \neq \mathcal L_2(I) \neq \mathcal L_3(I). } $$ 這再次說明： $$ \text{same file} \neq \text{same learning event}. $$ --- # 17. Data Reinterpretation 定義： $$ \boxed{ \mathcal I_t: I \rightarrow \mathcal M_t } $$ 其中： $$ \mathcal M_t $$ 是目前可形成的 meaning / role space。 若： $$ \mathcal M_t \subset \mathcal M_{t+1}, $$ 則同一資料可被更細緻 reinterpret。 因此： $$ \boxed{ \text{learning is partly re-indexing old information under a richer model}. } $$ --- # 18. Latent Relevance Activation 有些資料在時間： $$ t $$ 看起來： $$ V_t(I)\approx0. $$ 但當模型獲得新的： $$ k^\ast, $$ 會出現： $$ r(I,k^\ast)\neq0. $$ 此時舊資料突然變得相關。 本文稱： $$ \boxed{ \text{Latent Relevance Activation}. } $$ --- # 19. Latent Relevance 定義： $$ \boxed{ L_t(I) } $$ 表示資料對目前尚未形成、但未來可能形成結構的潛在相關性。 目前： $$ L_t(I) $$ 通常無法精確知道。 但 archive design 可以保留： $$ \boxed{ \text{option value}. } $$ 這是保存舊資料的另一個理由。 --- # 20. Data Option Value 定義： $$ \boxed{ O_V(I) = \mathbb E[ V_{t+k}(I) \mid \text{future learner states} ]. } $$ 這表示： > 即使現在沒價值，保留它是否仍可能在未來產生價值？ 對： - raw data archive； - failure archive； - old theories； - synthetic traces； 這個概念尤其重要。 --- # 21. Deduplication 的層級問題 傳統： $$ I_1=I_2 $$ 可判定文件重複。 但學習層更應比較： $$ \mathcal L_t(I_1) $$ 與： $$ \mathcal L_{t+1}(I_2). $$ 因此： $$ \boxed{ \text{Document Deduplication} \neq \text{Learning-Event Deduplication}. } $$ --- # 22. Exposure Count 不是 Learning Count 若資料被看： $$ n $$ 次： $$ E(I)=n. $$ 不能推出： $$ L(I)=n $$ 個不同 learning events。 可能： $$ L(I)=1 $$ 因為後續 exposure 幾乎沒有新效應。 也可能： $$ L(I)>1 $$ 因為 learner state 發生重大更新。 所以： $$ \boxed{ \text{Exposure Count} \neq \text{Distinct Learning Count}. } $$ --- # 23. Distinct Learning Event 對兩次 exposure： $$ e_i,e_j, $$ 若： $$ d( \Sigma_L(I,\theta_i), \Sigma_L(I,\theta_j) ) > \delta, $$ 則可以定義為： $$ \boxed{ \text{distinct learning events}. } $$ 其中： $$ d $$ 是 learning-effect distance。 --- # 24. Learning-Effect Distance 可定義： $$ \boxed{ d_L( L_i,L_j ) = d( \Sigma_L(I,\theta_i), \Sigma_L(I,\theta_j) ). } $$ 若： $$ d_L\approx0, $$ 表示兩次 exposure 高度冗餘。 若： $$ d_L\gg0, $$ 表示相同資料在不同狀態下產生不同學習角色。 --- # 25. Repetition Benefit 定義： $$ \boxed{ B_{\mathrm{rep}}(I,t) = V( \mathcal L_t(I) ) - C_{\mathrm{reexpose}}(I,t). } $$ 若： $$ B_{\mathrm{rep}}>0, $$ 重新學習值得。 若： $$ B_{\mathrm{rep}}\le0, $$ 應停止或延後。 所以重複訓練不應由固定 epoch 決定，而應由： $$ \boxed{ \text{marginal re-exposure value}. } $$ 決定。 --- # 26. Repetition Risk 過度重複可能導致： - overfitting； - memorization； - distribution distortion； - loss of diversity； - catastrophic interference； - excessive confidence。 定義風險： $$ R_{\mathrm{rep}}(I,t). $$ 更完整決策： $$ \boxed{ U_{\mathrm{rep}} = V_{\mathrm{re}} - C_{\mathrm{re}} - \lambda R_{\mathrm{rep}}. } $$ --- # 27. Dynamic Curriculum 傳統 curriculum： $$ d_1 \rightarrow d_2 \rightarrow d_3. $$ 本文允許： $$ d_1 \rightarrow d_2 \rightarrow d_1 \rightarrow d_4 \rightarrow d_2. $$ 因為舊資料在新 state 下可能重新有價值。 所以： $$ \boxed{ \text{optimal curriculum need not be acyclic}. } $$ --- # 28. Cyclic Curriculum 定義： $$ \boxed{ \mathcal C_{\mathrm{cyclic}} } $$ 表示允許資料在不同知識階段重新出現的 curriculum。 但重新出現必須由： $$ \text{revaluation trigger} $$ 驅動，而不是機械重複。 --- # 29. Revaluation Trigger 本文提出： $$ \boxed{ \mathcal T_R } $$ 作為重新評估舊資料的觸發條件。 例如： - 新能力形成； - 新 verifier 上線； - 新 ontology 建立； - 新跨域知識加入； - 舊 benchmark failure； - 新 contradiction 出現； - task distribution 改變。 若： $$ \mathcal T_R=1, $$ 則重新估計： $$ R_t(I). $$ --- # 30. 事件驅動，而不是時間驅動 資料重新評估不必： $$ \text{every }k\text{ steps}. $$ 更合理： $$ \boxed{ \text{event-driven revaluation}. } $$ 例如： $$ \theta_t \xrightarrow{\text{major capability gain}} \theta_{t+1} $$ 才觸發 archive rescan。 這能降低： $$ C_{\mathrm{revalue}}. $$ --- # 31. Archive as Future Learning Reservoir 資料庫不再只是： $$ \text{storage}. $$ 它也可以被視為： $$ \boxed{ \text{future learning reservoir}. } $$ 其中包含： - 已使用資料； - 暫時飽和資料； - deferred data； - failure traces； - low-confidence data； - obsolete theory； - unrecognized synthetic traces。 --- # 32. Archive State 定義： $$ \boxed{ \mathcal A_t = ( D_{\mathrm{active}}, D_{\mathrm{saturated}}, D_{\mathrm{deferred}}, D_{\mathrm{failed}}, D_{\mathrm{unknown}} ). } $$ 資料可以在這些狀態之間移動。 例如： $$ D_{\mathrm{saturated}} \rightarrow D_{\mathrm{active}} $$ 當 latent relevance 被重新激活。 --- # 33. Data Lifecycle 本文提出： $$ \boxed{ \text{new} \rightarrow \text{active} \rightarrow \text{saturated} \rightarrow \text{deferred} \rightarrow \text{reactivated} \rightarrow \text{retired}. } $$ 因此資料有 lifecycle，而不是一次性 consume。 --- # 34. Retirement 若長期： $$ R_t(I)\approx0 $$ 且： $$ O_V(I)\approx0, $$ 可進入： $$ \boxed{ \text{retired}. } $$ 但 retirement 仍可以保留 metadata / provenance，不必物理刪除。 --- # 35. Re-Exposure 與 Replay continual learning 中已有： $$ \text{replay}. $$ 本文與 replay 不同但相容。 Replay 常用於： - 防 forgetting； - 維持舊能力。 本文強調另一種角色： $$ \boxed{ \text{old data can generate new learning because the learner changed}. } $$ 即： $$ \text{replay for retention} \neq \text{re-exposure for revaluation}. $$ --- # 36. Retention Replay 定義： $$ \boxed{ R_{\mathrm{retain}} } $$ 目的： $$ \text{prevent capability loss}. $$ --- # 37. Revaluation Replay 定義： $$ \boxed{ R_{\mathrm{revalue}} } $$ 目的： $$ \text{extract previously unavailable structure}. $$ 兩者應分開衡量。 --- # 38. Rehearsal 也不是 Revaluation rehearsal： $$ \text{repeat to strengthen}. $$ revaluation： $$ \text{repeat because meaning/function changed}. $$ 所以： $$ \boxed{ \text{Rehearsal} \neq \text{Revaluation}. } $$ --- # 39. 同一數學教材的例子 資料： $$ I_{\mathrm{calc}} $$ 是基礎微積分。 早期模型： $$ \mathcal E_1 = \{ \text{formula}, \text{definition} \}. $$ 後期模型： $$ \mathcal E_2 = \{ \text{formula}, \text{definition}, \text{proof pattern}, \text{geometric relation}, \text{numerical stability}, \text{teaching strategy} \}. $$ 同一文件。 不同 extraction depth。 --- # 40. 同一錯誤理論的例子 資料： $$ I_F $$ 第一次： $$ \mathcal E_1 = \{ \text{false claims} \}. $$ 後來模型擁有更強 verifier： $$ \mathcal E_2 = \{ \text{false claims}, \text{failure trajectory}, \text{misconception pattern}, \text{repair object} \}. $$ 所以： $$ V_2(I_F) > V_1(I_F). $$ --- # 41. 同一程式碼的例子 初期模型可能從 code 學： $$ \text{syntax}. $$ 後期： $$ \text{architecture}. $$ 更後期： $$ \text{failure mode}, \text{performance trade-off}, \text{API design}. $$ 因此： $$ \boxed{ \text{source identity} \neq \text{learning identity}. } $$ --- # 42. 同一對話資料的例子 Human–AI conversation： $$ I_{\mathrm{dialogue}} $$ 早期模型可能只學： - 語言風格； - 問答模式。 成熟模型可能進一步抽取： - problem decomposition； - correction patterns； - latent shared-domain formation； - long-horizon coordination。 因此舊對話語料也可能重新升值。 --- # 43. Temporal Learning Value 本文定義： $$ \boxed{ V(I,t) } $$ 而不是： $$ V(I). $$ 更完整： $$ \boxed{ V( I; \theta_t, \mathcal K_t, \mathcal O_t, \mathcal V_t, \mathcal C_t ). } $$ 這是資料價值的時間化版本。 --- # 44. Value Gradient 可定義： $$ \boxed{ \Delta V_t(I) = V_{t+1}(I) - V_t(I). } $$ 若： $$ \Delta V_t>0, $$ 舊資料升值。 若： $$ \Delta V_t<0, $$ 舊資料降值。 --- # 45. Value Revival 若存在： $$ t_10, $$ $$ V_{t_2}(I)\approx0, $$ $$ V_{t_3}(I)>0, $$ 則稱： $$ \boxed{ \text{Value Revival}. } $$ 這是動態 curriculum 的重要現象。 --- # 46. Value Decay 相反： $$ V_t(I)\downarrow $$ 隨模型成熟很常見。 因為： - 已充分吸收； - redundancy 增加； - capability frontier 前移。 所以舊資料不應永久保持高 sampling weight。 --- # 47. Adaptive Sampling Weight 令： $$ w_t(I) $$ 為資料 sampling weight。 傳統可能固定： $$ w(I). $$ 本文提出： $$ \boxed{ w_t(I) = f( R_t(I), C_t(I), R_{\mathrm{risk}}(I) ). } $$ 因此 sampling weight 應動態更新。 --- # 48. Remaining Value Estimator 可以建立： $$ \boxed{ \hat R_\phi(I,\theta_t) } $$ 估計資料剩餘價值。 輸入可包括： - prior exposure； - gradient signal； - loss； - representation novelty； - capability gaps； - verifier response； - related-domain updates。 --- # 49. Loss 不是 Remaining Value 一份資料 loss 很低： $$ L(I)\approx0 $$ 不一定： $$ R_t(I)=0. $$ 因為模型可以預測文字，但尚未： - 建立跨域關係； - 學會 verifier role； - 學會方法； - 學會 transfer。 因此： $$ \boxed{ \text{prediction loss} \neq \text{complete learning saturation}. } $$ --- # 50. Perplexity 也不是完整的學習價值指標 同理： $$ \operatorname{PPL}(I) $$ 主要衡量序列預測。 它不能直接等於： $$ V_{\mathrm{capability}}(I). $$ 所以： $$ \boxed{ \text{text predictability} \neq \text{learning exhaustiveness}. } $$ --- # 51. Gradient Magnitude 也不夠 若： $$ \|\nabla_\theta L(I)\| $$ 很小，也不一定表示所有 task-relative value 都耗盡。 因為： - objective 不同； - representation reuse； - tool-grounded learning； - downstream composition； 都可能產生額外價值。 所以： $$ \boxed{ \text{gradient small} \not\Rightarrow \text{no future value}. } $$ --- # 52. 多層 Remaining Value 本文將： $$ R_t(I) $$ 分成： $$ \boxed{ R_t(I) = ( R_{\mathrm{fact}}, R_{\mathrm{method}}, R_{\mathrm{relation}}, R_{\mathrm{failure}}, R_{\mathrm{transfer}}, R_{\mathrm{verification}} ). } $$ 一份資料可能： $$ R_{\mathrm{fact}}\approx0 $$ 但： $$ R_{\mathrm{transfer}}\gg0. $$ --- # 53. Fact Saturated, Method Unsaturated 這是非常典型的情況。 模型已經知道： $$ \text{answer}. $$ 但未必知道： $$ \text{why}, $$ $$ \text{how}, $$ $$ \text{when it fails}. $$ 因此： $$ \boxed{ \text{fact knowledge saturation} \neq \text{method saturation}. } $$ --- # 54. Method Saturated, Transfer Unsaturated 模型可能掌握一種方法： $$ M. $$ 但不能在新 domain 使用。 所以： $$ R_{\mathrm{method}}\approx0, $$ 但： $$ R_{\mathrm{transfer}}>0. $$ 重新接觸舊資料並加入 cross-domain prompt 可能形成新 learning event。 --- # 55. Knowledge Graph Expansion 若知識底空間以圖： $$ G_t = (V_t,E_t) $$ 表示。 新知識加入： $$ v_{\mathrm{new}} $$ 後，舊資料節點： $$ v_I $$ 可能新增： $$ e(v_I,v_{\mathrm{new}}). $$ 因此： $$ \boxed{ \text{old node} + \text{new graph} \rightarrow \text{new meaning}. } $$ --- # 56. Data Value as Graph Potential 可以將： $$ V_t(I) $$ 理解成舊資料節點在當前知識圖上的 potential。 當圖更新： $$ G_t\rightarrow G_{t+1}, $$ potential 也改變。 這提供一個直觀模型： $$ \boxed{ \text{data value depends on its current relational neighborhood}. } $$ --- # 57. Hypergraph View 若某價值只在多個概念同時存在時出現： $$ e = \{ I,k_1,k_2,k_3 \}, $$ 則 pairwise graph 不夠。 可使用 hyperedge： $$ \boxed{ h(I,k_1,k_2,k_3). } $$ 這解釋為什麼資料在某個知識臨界點之後突然升值。 --- # 58. Revaluation Phase Transition 當模型累積到： $$ K^\ast $$ 後，某舊資料： $$ I $$ 的價值可能突然： $$ V_t(I)\approx0 \rightarrow V_{t+1}(I)\gg0. $$ 本文稱： $$ \boxed{ \text{Revaluation Phase Transition}. } $$ 這不是物理 phase transition 的直接等價，只是一個結構性比喻。 --- # 59. Threshold Knowledge 定義： $$ \boxed{ K^\ast(I) } $$ 為使資料： $$ I $$ 出現新價值的最低背景知識條件。 若： $$ \mathcal K_t \supseteq K^\ast(I), $$ 則： $$ R_t(I) $$ 可能上升。 --- # 60. Data Dependency Graph 可建立： $$ \boxed{ G_D } $$ 其中節點是資料與能力，邊表示： $$ \text{enables later reinterpretation}. $$ 例如： $$ d_1 \rightarrow d_2 \rightarrow d_1' $$ 其中： $$ d_1' $$ 不是新文件，而是： $$ \boxed{ d_1 \text{ under a richer learner state}. } $$ --- # 61. 第二次看到不是第二份資料 這一點非常重要。 $$ d_1'=d_1 $$ 在 storage identity 上成立。 但： $$ \mathcal L(d_1') \neq \mathcal L(d_1) $$ 在 learning-event identity 上可能成立。 所以： $$ \boxed{ \text{same bytes} \neq \text{same epistemic event}. } $$ --- # 62. Data Identity 的三層 本文區分： ## 62.1 Byte Identity $$ I_a=I_b. $$ ## 62.2 Semantic Identity $$ S(I_a)\approx S(I_b). $$ ## 62.3 Learning-Event Identity $$ \mathcal L_t(I_a) \approx \mathcal L_{t'}(I_b). $$ 三者不可混為一談。 --- # 63. 對 Dataset Dedup 的影響 本文不反對： $$ \text{dedup}. $$ 而是提出： $$ \boxed{ \text{storage dedup} \neq \text{curriculum exclusion}. } $$ 即： > 不需要儲存兩份相同文件， 但： > 同一文件未來仍可被重新調度。 --- # 64. Canonical Storage + Dynamic Exposure 因此理想架構： $$ \boxed{ \text{one canonical object} + \text{many learning events}. } $$ 也就是： $$ I_{\mathrm{canonical}} $$ 只存一次， 但 exposure history： $$ H_E(I) $$ 可以很多次。 --- # 65. Exposure History 定義： $$ \boxed{ H_E(I) = \{ (t_i, \theta_i, \mathcal O_i, \Sigma_i) \}_{i=1}^{n}. } $$ 這使系統知道： - 何時看過； - 在什麼模型狀態下看過； - 用什麼 objective； - 學習效應如何。 --- # 66. Exposure History 可以避免盲目重複 若新 exposure： $$ e_{n+1} $$ 與過去： $$ e_n $$ 條件高度相似，則預測： $$ B_{\mathrm{rep}}\approx0. $$ 可以跳過。 如果： $$ \theta_{n+1} $$ 或： $$ \mathcal O_{n+1} $$ 顯著不同，則重新評估。 --- # 67. Re-Exposure Scheduler 定義： $$ \boxed{ \pi_R( I, \theta_t, H_E, \mathcal K_t ) } $$ 決定： - now； - later； - never； - different role。 因此： $$ \boxed{ \text{repeated learning becomes a scheduling problem}. } $$ --- # 68. Scheduler Objective 可寫為： $$ \boxed{ \max \frac{ R_t(I) }{ C_{\mathrm{exposure}}(I) + \lambda R_{\mathrm{overfit}}(I) }. } $$ 這與 ILSP-04 的 value-cost-risk routing 一致。 --- # 69. Self-Curriculum 若 AI 自己估計： $$ R_t(I), $$ 就可建立： $$ \boxed{ \text{self-curriculum}. } $$ 即： > 自己決定哪些舊資料現在值得重讀。 這比固定 epoch 更接近動態學習系統。 --- # 70. Self-Curriculum 的風險 如果模型： $$ \hat R_t(I) $$ 估錯，會形成： - self-confirmation； - blind spots； - avoidance of difficult data； - overfocus on familiar regions。 因此 self-curriculum 需要： $$ \boxed{ \text{external exploration pressure}. } $$ --- # 71. Exploration Budget 設定： $$ B_{\mathrm{explore}}. $$ 即使： $$ \hat R_t(I)\approx0, $$ 仍保留一定機率： $$ p_{\mathrm{revisit}}>0 $$ 重新測試。 這避免模型永久錯估舊資料。 --- # 72. Serendipitous Rediscovery 某些資料可能因隨機／探索式 revisit 被重新發現價值。 本文稱： $$ \boxed{ \text{Serendipitous Rediscovery}. } $$ 它是 dynamic archive 的重要能力。 --- # 73. Deferred Rediscovery 對： $$ D_{\mathrm{deferred}}, $$ 未來模型成熟後定期／事件觸發重估： $$ D_{\mathrm{deferred}} \xrightarrow{\mathcal T_R} D_{\mathrm{active}}. $$ 這使舊資訊海成為： $$ \boxed{ \text{latent future curriculum}. } $$ --- # 74. 對「資料耗盡」的第三個修正 如果同一資料可以在新 learner state 下產生新 learning event，則： $$ \boxed{ \text{finite corpus} \not\Rightarrow \text{single-use learning resource}. } $$ 但這不代表： $$ \text{finite corpus} \Rightarrow \text{infinite useful learning}. $$ 價值仍受限於： - structure； - model state； - objective； - saturation； - compute。 --- # 75. Finite Data, Multiple Learning Events 對 corpus： $$ \mathcal D $$ 可能： $$ |\mathcal D| <\infty $$ 但： $$ |\mathcal L(\mathcal D)| > |\mathcal D| $$ 因為一份資料可對應多個 distinct learning events。 這是一個重要結構差異。 --- # 76. 但 Learning Events 也不是無限 如果模型最終： $$ \theta_t\rightarrow\theta^\ast $$ 且： $$ \mathcal K_t\rightarrow\mathcal K^\ast, $$ 則可能： $$ R_t(I)\rightarrow0. $$ 所以： $$ \boxed{ \text{revaluation is dynamic, not magical infinity}. } $$ --- # 77. 與 ILSP-03 的接口 ILSP-03： $$ \text{Data Value Is Relational}. $$ 本文增加： $$ \boxed{ \text{Data Value Is Temporal}. } $$ 即： $$ V = V( I, \theta_t, \mathcal K_t, t ). $$ --- # 78. 與 ILSP-04 的接口 ILSP-04： $$ V_t(I) \neq V_{t+1}(I). $$ 本文正式將原因展開為： $$ \boxed{ \text{new learner state} + \text{new knowledge substrate} + \text{new learning role} \rightarrow \text{new learning event}. } $$ --- # 79. 與 ILSP-01 的接口 如果模型 latent competence 擴張： $$ C_{\mathrm{latent}}(t+1) > C_{\mathrm{latent}}(t), $$ 那麼它也可能有能力從同一資料中提取： $$ \mathcal E_{t+1}(I) \supset \mathcal E_t(I). $$ 所以： $$ \boxed{ \text{capability growth changes data value}. } $$ --- # 80. 與 ILSP-02 的接口 Shared Domain： $$ D_t $$ 擴張也可能改變： $$ V_t(I). $$ 因為原本不明的 shorthand、歷史背景、專有符號可能變得可解析。 所以： $$ \boxed{ \text{better shared context can reactivate old information}. } $$ --- # 81. 與 PACC 的接口 如果概率只是某些 observable coordinate，則舊資料重學的價值不一定體現在： $$ \Delta P_{\mathrm{token}}. $$ 而可能先發生在： $$ \Delta R_{\mathrm{latent}}, $$ $$ \Delta C_{\mathrm{strategy}}, $$ $$ \Delta V_{\mathrm{verification}}. $$ 所以： $$ \boxed{ \text{relearning value can exist below the visible output layer}. } $$ --- # 82. 與 HDSRC 的接口 若 HDSRC 可保存： $$ S_H(t) $$ 則同一資料在不同時間形成的： $$ \Delta S_H(t) $$ 可以被比較。 目標： $$ \boxed{ \text{measure how the same source maps differently under different learner states}. } $$ 這是未來可實驗方向。 --- # 83. 與 ISQL-CMF 的接口 同一資料中的某部分可能： 第一次： $$ \text{neural / uncertain}, $$ 第二次： $$ \text{canonicalizable}. $$ 因此： $$ \boxed{ \text{re-exposure can move knowledge across computational regimes}. } $$ 例如： $$ \mathcal N \rightarrow \mathcal I. $$ --- # 84. Knowledge Consolidation 如果資料中的結構反覆被驗證，可從： $$ \text{fluid representation} $$ 移入： $$ \text{stable canonical state}. $$ 這可視為： $$ \boxed{ \text{consolidation}. } $$ 因此 repeated exposure 的另一價值是： $$ \text{representation regime transition}. $$ --- # 85. 但 Consolidation 不是純重複 若只是反覆同樣訊號： $$ I,I,I $$ 且沒有新 evidence，可能只是 confidence inflation。 所以： $$ \boxed{ \text{consolidation requires verification, not repetition alone}. } $$ --- # 86. 實驗一：Checkpoint Re-Exposure 固定資料： $$ I. $$ 在： $$ \theta_1,\theta_2,\ldots,\theta_k $$ 測： $$ \Sigma_L(I,\theta_i). $$ 比較： - representation change； - task transfer； - verifier gain； - relation discovery。 若： $$ d_L( \mathcal L_i, \mathcal L_j ) >0, $$ 則支持 distinct learning events。 --- # 87. 實驗二：Same Data, Different Objective 固定： $$ I $$ 與模型： $$ \theta. $$ 改變： $$ \mathcal O_1,\ldots,\mathcal O_k. $$ 比較： $$ \Sigma_L. $$ 驗證： $$ \boxed{ \text{objective shift alone can change learning identity}. } $$ --- # 88. 實驗三：Knowledge Injection Revaluation 固定 base model。 先測： $$ R_0(I). $$ 再加入相關知識： $$ K^\ast. $$ 重新測： $$ R_1(I). $$ 若： $$ R_1(I)>R_0(I), $$ 支持 latent relevance activation。 --- # 89. 實驗四：Verifier Upgrade Revaluation 固定資料： $$ I_F $$ 為含錯誤理論的資料。 比較： $$ V_{\mathrm{transform}} $$ 在： $$ \mathcal V_0 $$ 與： $$ \mathcal V_1 $$ 下的差異。 如果 verifier upgrade 讓更多 failure objects 被安全抽取，支持： $$ \boxed{ \text{verification machinery changes data value}. } $$ --- # 90. 實驗五：Re-Exposure Scheduler 比較： 1. fixed epoch； 2. random revisit； 3. loss-based revisit； 4. Remaining-Value-based revisit。 控制： $$ \text{compute budget}. $$ 比較： - capability gain； - redundancy； - overfitting； - forgetting； - transfer。 若第 4 組更有效，支持 dynamic re-exposure scheduling。 --- # 91. 實驗六：Retired Data Revival 選擇已長期低 sampling weight 的資料。 在新 checkpoint： $$ \theta_{t+k} $$ 重新評估。 測： $$ \boxed{ \text{revival rate}. } $$ 即： $$ P( R_{t+k}(I)>\epsilon \mid R_t(I)\le\epsilon ). $$ --- # 92. 實驗七：Learning-Event Deduplication 建立相同文件的多次 exposure。 比較： - byte identity； - semantic identity； - learning-effect identity。 若： $$ \text{same bytes} $$ 在不同 learner state 下呈現不同： $$ \Sigma_L, $$ 則證明 storage dedup 與 learning-event dedup 不同。 --- # 93. 失敗條件 ### F1 若同一資料在不同 checkpoint 的 learning-effect signature 幾乎不變，本文核心假說被削弱。 ### F2 若 knowledge injection 不改變資料可提取價值，latent relevance activation 不重要。 ### F3 若 verifier upgrade 不改變低品質資料的 transformable value，validation-dependent revaluation 被削弱。 ### F4 若 Remaining-Value-based scheduler 不比固定 epoch 更有效，工程價值下降。 ### F5 若 retired data 幾乎從不 revival，長期 archive revaluation 的必要性降低。 --- # 94. 本文不主張事項 本文不主張： 1. 同一資料應無限重複訓練； 2. 重複 exposure 一定產生新知識； 3. deduplication 是錯的； 4. epoch training 沒有價值； 5. loss / perplexity 沒有用； 6. 所有舊資料都值得永久保存； 7. 所有資料最終都會重新升值； 8. Remaining Extractable Value 已可被精確估計； 9. AI 可以完全自行安排最佳 curriculum； 10. finite corpus 可以提供無限非重複知識。 本文只主張： $$ \boxed{ \text{whether a datum is exhausted is a property of the datum–learner relation, not of the datum alone}. } $$ --- # 95. 下一篇接口 前五篇已建立： $$ \text{latent competence}, $$ $$ \text{shared domain}, $$ $$ \text{learning taxonomy}, $$ $$ \text{transformable low-quality information}, $$ $$ \text{dynamic revaluation}. $$ 下一篇將把資料世界本身動態化： $$ \boxed{ \text{Human} \rightarrow \text{AI} \rightarrow \text{Public Knowledge} \rightarrow \text{Future AI}. } $$ 也就是： # 《AI 不只是資料消費者：人機反身知識生態與校正器效應》 --- # 96. 結論 一份資料沒有一個固定、一次性的「學習命運」。 更精確地： $$ \boxed{ \mathcal L_t(I) = F( I, \theta_t, \mathcal K_t, \mathcal O_t, \mathcal V_t, \mathcal C_t ). } $$ 資料相同： $$ I_t=I_{t+1}, $$ 不代表： $$ \mathcal L_t(I) = \mathcal L_{t+1}(I). $$ 因此： $$ \boxed{ \text{same data} \neq \text{same learning event}. } $$ 真正合理的問題不再只是： > 模型看過這份資料幾次？ 而是： > **模型在什麼狀態下看過？當時能提取什麼？現在又能提取什麼？** 所以「資料耗盡」也應從文件數量問題改寫為： $$ \boxed{ \text{remaining extractable learning value under the current learner state}. } $$ 這並不保證舊資料永遠有新價值。 恰恰相反，很多資料會真正飽和。 但「曾經飽和」本身也不是永久判決。 當： - 模型變強； - 知識底空間擴張； - verifier 改善； - objective 改變； - shared domain 更新； 舊資料可能重新形成新 relation、新 role 與新 learning event。 因此，未來 AI 資料系統可能不再只是： $$ \boxed{ \text{collect} \rightarrow \text{train} \rightarrow \text{discard}. } $$ 而會更接近： $$ \boxed{ \text{archive} \rightarrow \text{evaluate} \rightarrow \text{expose} \rightarrow \text{saturate} \rightarrow \text{defer} \rightarrow \text{revalue} \rightarrow \text{rediscover}. } $$ 這使資料從一次性燃料，變成一個會隨智能成長而重新排列價值的動態學習底空間。 --- # 版本紀錄 ## v0.1.0 — 2026-10-05 - 建立 ILSP 系列 Paper 05； - 正式區分 Data Object 與 Learning Event； - 提出 Repeated Exposure ≠ Repeated Learning； - 定義 Knowledge Substrate； - 定義 Remaining Extractable Value； - 提出 Temporary Saturation 與 Saturation Window； - 定義 Re-Exposure Gain； - 提出 Latent Relevance Activation； - 定義 Data Option Value； - 區分 Document Deduplication 與 Learning-Event Deduplication； - 提出 Dynamic / Cyclic Curriculum； - 定義 Revaluation Trigger； - 區分 Retention Replay 與 Revaluation Replay； - 提出 Value Revival、Revaluation Phase Transition 與 Threshold Knowledge； - 建立 Canonical Storage + Dynamic Exposure 架構； - 提出 Re-Exposure Scheduler； - 建立七組可測實驗與五項失敗條件； - 與 ILSP-01 至 ILSP-04、PACC、HDSRC、ISQL-CMF 接軌。