# ESC-EXP-26：Task-Adaptive / Selective Provenance Coding **系列：** Extensional Structural Convergence — Experimental Phase **文件編號：** ESC-EXP-26 **版本：** v0.1 **日期：** 2026-09-23 **前置：** ESC-00 ～ ESC-06、ESC-EXP-00 ～ ESC-EXP-25 **狀態：** Task-Conditioned / Progressive Semantic Provenance Experiment **作者：** Neo.K **機構：** EveMissLab／一言諾科技有限公司 --- ## 摘要 ESC-EXP-25 已經建立： $$ \boxed{ R_{\mathrm{atomic}}(H) = H(S\mid H) } $$ 也就是： > 如果要求從 Hot representation 完整恢復 underlying atomic state，Cold provenance 的最小 asymptotic average rate就是 residual conditional entropy。 但真實 future task 未必每次都要求完整： $$ S. $$ 某個 future task： $$ J=J(S) $$ 可能只需要 underlying state 的一小部分 distinction。 因此本輪正式定義： $$ \boxed{ R_J(H) = H(J\mid H) } $$ 為： > **在 Hot representation $H$ 已知時，精確回答 task $J$ 所需要的最小 selective provenance rate。** 更一般，對 task family： $$ \mathcal F = \{ J_1,\dots,J_k \}, $$ 定義： $$ \boxed{ R_{\mathcal F}(H) = H( J_1,\dots,J_k \mid H ). } $$ 這使 Cold provenance 不必再被視為： > 一次解碼整個 universal residual。 而可以做成： $$ \boxed{ \text{按 future task 選擇性解鎖的 progressive semantic residual layers}. } $$ 本輪沿用 H4 Hot partition： $$ \boxed{ \{ \{\varnothing,G\}, \{D,DG\}, \{T,TG\}, \{TD,TDG\} \}. } $$ 它其實等價於： > Hot 已經完整知道 $T,D$，但仍隱藏 $G$。 所以設計四種核心 tasks： ### Hot-native task $$ J_H = T\oplus D. $$ Hot 已經知道答案。 所以： $$ \boxed{ H(J_H\mid H)=0. } $$ ### MID selective task 只在： $$ T\oplus D=1 $$ 時需要知道 $G$。 ### OUTER selective task 只在： $$ T\oplus D=0 $$ 時需要知道 $G$。 ### FULL task 需要完整： $$ G. $$ 兩個 selective tasks： $$ J_{\mathrm{MID}}, \quad J_{\mathrm{OUTER}} $$ 恰好互補。 本輪得到： $$ \boxed{ H( J_{\mathrm{MID}}, J_{\mathrm{OUTER}} \mid H ) = H(G\mid H). } $$ 而且在目前 finite domain： $$ \boxed{ H(J_{\mathrm{MID}}\mid H) + H(J_{\mathrm{OUTER}}\mid H) = H(G\mid H). } $$ 所以兩個 selective layers可以無重疊地拼成 universal residual。 這重新形成一個： $$ \boxed{ B_2 } $$ task-recoverability lattice。 更實際的是： 在同一份 universal provenance資訊總量不變的前提下，若 future tasks不總是需要 full residual，而是只 fetch 自己需要的 layer， 平均 provenance read cost 明顯下降。 本輪 experimental task prior： $$ \boxed{ P(J_H)=0.4, } $$ $$ P(J_{\mathrm{MID}})=0.3, $$ $$ P(J_{\mathrm{OUTER}})=0.2, $$ $$ P(J_{\mathrm{FULL}})=0.1. $$ Uniform prior： universal monolithic： $$ 0.6 \text{ bits/query}, $$ progressive selective： $$ \boxed{ 0.35 \text{ bits/query}. } $$ 下降： $$ \boxed{ 41.67\%. } $$ Skewed prior： universal monolithic： $$ 0.486766874675 \text{ bits/query}, $$ progressive selective： $$ \boxed{ 0.271249576882 \text{ bits/query}. } $$ 下降： $$ \boxed{ 44.28\%. } $$ one-shot Huffman 版本也得到同樣相對下降比例： $$ 0.6 \rightarrow 0.334348441926. $$ 所以： $$ \boxed{ \text{universal storage} \neq \text{universal read}. } $$ 這是 EXP-26 最重要的 operational 結論。 --- # 1. Runtime EXP-26 regression： ```text 7 passed ``` 測試包含： - Hot-native task selective rate 必須為 0； - MID / OUTER joint rate 精確等於 FULL residual； - MID / OUTER 在目前 domain componentwise additive； - uniform MID / OUTER 各為 0.5 bit； - progressive retrieval必須優於 monolithic retrieval； - task-family lattice 必須形成四節點 $B_2$ ； - triple parity在給定 Hot $T,D$ 後，與 full $G$ 需要相同 provenance rate。 --- # 2. Task-Conditioned Recoverability 完整 atomic recovery： $$ S $$ 不是唯一 recoverability target。 若 future只要求： $$ J(S), $$ provenance只需滿足： $$ H( J \mid H,Z_J ) = 0. $$ 由 source coding lower bound： $$ \boxed{ H(Z_J\mid H) \ge H(J\mid H). } $$ 所以： $$ \boxed{ R_J(H) = H(J\mid H) } $$ 是 task-specific exact recovery 的理論最小 rate。 --- # 3. Hot-Native Task 如果： $$ J = f(H), $$ 則： $$ \boxed{ H(J\mid H) = 0. } $$ 所以不需要任何 Cold provenance。 本輪： $$ J_H = T\oplus D. $$ 因 H4 已經區分四個： $$ (T,D) $$ 組合， 因此： $$ \boxed{ R_{J_H}=0. } $$ Uniform 與 Skewed prior都完全成立。 --- # 4. Selective Hidden-Distinction Task Hot H4只隱藏： $$ G. $$ 但不是每個 task都需要所有 Hot classes中的 $G$。 所以 selective task可以只要求： > 在某些 Hot classes裡拆開 hidden pair，其餘 classes保持 merge。 這就是 task-induced refinement。 --- # 5. MID Task 定義： $$ J_{\mathrm{MID}} = \begin{cases} G, & T\oplus D=1, \\ 0, & T\oplus D=0. \end{cases} $$ 所以只需要拆： $$ \{D,DG\} $$ 與： $$ \{T,TG\}. $$ induced partition為： $$ 6\text{ classes}. $$ 這正好對應： $$ \boxed{ H6_{\mathrm{known}}. } $$ --- # 6. OUTER Task 定義： $$ J_{\mathrm{OUTER}} = \begin{cases} G, & T\oplus D=0, \\ 0, & T\oplus D=1. \end{cases} $$ 所以只拆： $$ \{\varnothing,G\} $$ 與： $$ \{TD,TDG\}. $$ 也形成另一個： $$ 6\text{-class refinement}. $$ 它與 MID refinement互補。 --- # 7. FULL Task $$ J_{\mathrm{FULL}} = G. $$ 因每一個 H4 pair都只差： $$ G, $$ 所以要完整回答 $G$ 就等於恢復 atomic 8-state identity。 因此： $$ \boxed{ H(G\mid H4) = H(S\mid H4). } $$ --- # 8. Triple Parity Task $$ J_{\oplus3} = T\oplus D\oplus G. $$ 乍看它只是 1-bit task，不是 full identity。 但 Hot 已知： $$ T\oplus D. $$ 所以： $$ G = J_{\oplus3} \oplus (T\oplus D). $$ 因此給定 H4： $$ \boxed{ J_{\oplus3} \Longleftrightarrow G. } $$ 所以： $$ \boxed{ H( J_{\oplus3} \mid H4 ) = H( G \mid H4 ). } $$ 這提醒： > task output看起來簡單，不代表 task-specific provenance便宜。 必須看它與 Hot side information 的關係。 --- # 9. Uniform Task Rates Uniform prior： $$ R_H=0. $$ MID： $$ \boxed{ R_{\mathrm{MID}} = 0.5. } $$ OUTER： $$ \boxed{ R_{\mathrm{OUTER}} = 0.5. } $$ FULL： $$ \boxed{ R_{\mathrm{FULL}} = 1. } $$ Triple parity： $$ \boxed{ R_{\oplus3} = 1. } $$ --- # 10. Skewed Task Rates Skewed： Hot-native： $$ 0. $$ MID： $$ \boxed{ 0.278661395441 } $$ OUTER： $$ \boxed{ 0.532616729018 } $$ FULL： $$ \boxed{ 0.811278124459 } $$ Triple parity： $$ \boxed{ 0.811278124459. } $$ 所以 selective task cost差異非常明顯。 --- # 11. Complementary Selective Layers 本輪： $$ J_{\mathrm{MID}} $$ 與： $$ J_{\mathrm{OUTER}} $$ 作用在 disjoint Hot-class sets。 因此： $$ \boxed{ H( J_{\mathrm{MID}}, J_{\mathrm{OUTER}} \mid H ) = H( J_{\mathrm{MID}} \mid H ) + H( J_{\mathrm{OUTER}} \mid H ). } $$ Uniform： $$ 0.5+0.5=1. $$ Skewed： $$ \boxed{ 0.278661395441 + 0.532616729018 = 0.811278124459. } $$ --- # 12. Joint Selective Tasks Recover FULL $G$ 因每一個 Hot class： - MID task負責一半 hidden pairs； - OUTER task負責另一半； 兩者合併後： $$ \boxed{ ( J_{\mathrm{MID}}, J_{\mathrm{OUTER}} ) \Longleftrightarrow G } $$ 在給定 H4 時成立。 所以： $$ \boxed{ R_{\mathrm{MID}\vee\mathrm{OUTER}} = R_{\mathrm{FULL}}. } $$ --- # 13. Task-Recoverability Lattice 因此四個 effect levels： $$ E_0, $$ $$ E_{\mathrm{MID}}, $$ $$ E_{\mathrm{OUTER}}, $$ $$ E_{\mathrm{FULL}} $$ 形成： $$ \boxed{ B_2. } $$ Hasse diagram： $$ \begin{array}{c} E_{\mathrm{FULL}} \\ /\quad\backslash \\ E_{\mathrm{MID}} \quad E_{\mathrm{OUTER}} \\ \backslash\quad/ \\ E_0 \end{array} $$ --- # 14. Task Lattice 與 EXP-14 Effect Lattice EXP-14曾得到： $$ E_P, \quad E_\pi $$ 兩個 primitive epistemic effects形成 $B_2$。 EXP-26現在得到另一個 $B_2$： $$ \boxed{ \text{selective recoverability task lattice}. } $$ 兩者形式相同，但語義不同。 EXP-14： > repair effects。 EXP-26： > provenance layers / task requirements。 這顯示： $$ \boxed{ \text{Boolean effect structure} } $$ 在 ESC 不同層次反覆出現。 --- # 15. Universal Monolithic Provenance 若 Cold code只保存一個 monolithic universal residual： $$ Z_{\mathrm{full}}, $$ 那任何需要 hidden $G$ 的 task都必須讀完整： $$ R_{\mathrm{FULL}}. $$ 即： $$ \boxed{ \text{retrieve full residual even if task only needs MID or OUTER}. } $$ 這是 over-read。 --- # 16. Progressive Provenance 若把 universal residual拆成兩個 semantic layers： $$ Z_{\mathrm{MID}}, $$ $$ Z_{\mathrm{OUTER}}, $$ 則： MID task只讀： $$ Z_{\mathrm{MID}}. $$ OUTER task只讀： $$ Z_{\mathrm{OUTER}}. $$ FULL task讀： $$ Z_{\mathrm{MID}} + Z_{\mathrm{OUTER}}. $$ Hot-native task： $$ \boxed{ 0\text{ bits}. } $$ --- # 17. Storage 總資訊不變 因： $$ R_{\mathrm{MID}} + R_{\mathrm{OUTER}} = R_{\mathrm{FULL}}, $$ 所以 ideal total Cold storage： $$ \boxed{ \text{progressive} = \text{universal}. } $$ 也就是： > progressive coding在本例不是靠少存資訊取勝，而是靠 selective read。 --- # 18. Experimental Task Prior 本輪 task workload： $$ P(HOT)=0.4, $$ $$ P(MID)=0.3, $$ $$ P(OUTER)=0.2, $$ $$ P(FULL)=0.1. $$ 這只是 finite benchmark workload，不是 empirical claim。 --- # 19. Uniform Monolithic Retrieval 非-Hot tasks總 probability： $$ 0.3+0.2+0.1 = 0.6. $$ 每次讀： $$ 1\text{ bit}. $$ 所以： $$ \boxed{ E[L_{\mathrm{mono}}] = 0.6. } $$ --- # 20. Uniform Progressive Retrieval MID： $$ 0.3\times0.5 = 0.15. $$ OUTER： $$ 0.2\times0.5 = 0.10. $$ FULL： $$ 0.1\times1 = 0.10. $$ 總： $$ \boxed{ 0.35. } $$ 下降： $$ \boxed{ 1-\frac{0.35}{0.6} = 41.67\%. } $$ --- # 21. Skewed Monolithic Retrieval FULL residual： $$ 0.811278124459. $$ 非-Hot probability： $$ 0.6. $$ 所以： $$ \boxed{ E[L_{\mathrm{mono}}] = 0.486766874675. } $$ --- # 22. Skewed Progressive Retrieval MID： $$ 0.3 \times 0.278661395441. $$ OUTER： $$ 0.2 \times 0.532616729018. $$ FULL： $$ 0.1 \times 0.811278124459. $$ 總： $$ \boxed{ 0.271249576882. } $$ 下降： $$ \boxed{ 44.2753\%. } $$ --- # 23. One-Shot Huffman Progressive Skewed one-shot： MID layer： $$ 0.343484419263. $$ OUTER： $$ 0.656515580737. $$ FULL： $$ 1. $$ monolithic workload： $$ 0.6. $$ progressive： $$ \boxed{ 0.334348441926. } $$ 同樣相對下降： $$ \boxed{ 44.2753\%. } $$ --- # 24. Universal Storage 不等於 Universal Read 所以： $$ \boxed{ \text{universal provenance may still be stored once, but need not be decoded/read in full for every task}. } $$ 這把： $$ \boxed{ \text{storage rate} } $$ 與： $$ \boxed{ \text{task retrieval rate} } $$ 正式拆開。 --- # 25. Selective Decode Rate 對 task distribution： $$ \pi(J), $$ progressive code expected retrieval： $$ \boxed{ R_{\mathrm{read}} = \sum_J \pi(J) R_J^{\mathrm{needed}}. } $$ 而 monolithic： $$ \boxed{ R_{\mathrm{mono}} = \Pr[ J\text{ requires hidden state} ] R_{\mathrm{full}}. } $$ 差距由： - task locality； - layer overlap； - task frequency； 共同決定。 --- # 26. Task Family Rate 若 future需要同時回答一組 tasks： $$ \mathcal F, $$ 不能單純把 individual rates全部相加。 正確量： $$ \boxed{ R_{\mathcal F} = H( J_{\mathcal F} \mid H ). } $$ 如果 tasks重複攜帶同一 hidden distinction， 會有 redundancy。 如果互補且 disjoint， 可能 additive。 --- # 27. Task Redundancy 定義兩 tasks： $$ J_1, J_2 $$ 的 conditional redundancy： $$ \boxed{ \mathcal R( J_1,J_2\mid H ) = H(J_1\mid H) + H(J_2\mid H) - H(J_1,J_2\mid H). } $$ 本輪 MID / OUTER： $$ \boxed{ \mathcal R=0. } $$ 因它們作用在 disjoint Hot regions。 --- # 28. Selective Task Synergy 如果未來設計 task functions： - 單獨幾乎不 reveal hidden state； - 但 joint task vector能 reveal大量 hidden information； 則： $$ H(J_1,J_2\mid H) $$ 可能展現 interaction structure。 這會重新連回 EXP-15 的 synergy algebra。 本輪 MID / OUTER刻意選 separable case，先建立 baseline。 --- # 29. Task Sufficiency 若： $$ H( S \mid H, J ) = 0, $$ 則 task output： $$ J $$ 相對 Hot 已經足以 reconstruct atomic state。 此時： $$ \boxed{ H(J\mid H) = H(S\mid H). } $$ FULL_G 與 TRIPLE_PARITY 都屬於這一類。 --- # 30. Task Equivalence Under Hot Side Information 兩個 tasks： $$ J_1,J_2 $$ 即使 raw output完全不同， 若給定 Hot： $$ H $$ 後互相可計算： $$ J_1 = f(H,J_2), $$ $$ J_2 = g(H,J_1), $$ 則： $$ \boxed{ H(J_1\mid H) = H(J_2\mid H). } $$ FULL_G 與 TRIPLE_PARITY就是實例。 所以 task provenance cost是： $$ \boxed{ \text{Hot-conditioned semantic property}. } $$ --- # 31. Hot Upgrade 可以降低未來 Task Rate 若 Hot representation從： $$ H4 $$ 升到更細： $$ H6, $$ 某些 task的： $$ H(J\mid H) $$ 會下降甚至變： $$ 0. $$ 所以： $$ \boxed{ \text{Hot storage} \leftrightarrow \text{future selective provenance bandwidth} } $$ 可以直接交換。 這是 EXP-24 tier economics 的 bit-level版本。 --- # 32. Task-Aware Tier Placement 若 MID task非常常見， 可以把： $$ Z_{\mathrm{MID}} $$ 升到 Hot / Warm。 OUTER task較少見， 留 Cold。 FULL極少見， 需要時兩層一起讀。 所以 bit-level temperature可以依： $$ \boxed{ \pi(J) } $$ 做 task-aware placement。 --- # 33. Semantic Layer 不一定等於 Bit Plane 這裡的 layer不是： > 第一個 physical bit、第二個 physical bit。 它是： $$ \boxed{ \text{一組具有明確 future-task semantics 的 residual information}. } $$ physical entropy coding後，它可能跨多個 bytes / blocks。 --- # 34. Progressive Semantic Code 因此可定義： $$ \boxed{ Z = ( Z_1,\dots,Z_k ) } $$ 每個： $$ Z_i $$ 對應一組 semantic distinctions。 task： $$ J $$ 只需要讀 subset： $$ I(J) \subseteq \{1,\dots,k\}. $$ exact recovery： $$ \boxed{ H( J \mid H, Z_{I(J)} ) = 0. } $$ 這就是 progressive semantic provenance code。 --- # 35. Storage-Minimal vs Access-Minimal Universal entropy code追求： $$ \boxed{ \min H(Z). } $$ 但 progressive system真正想要： $$ \boxed{ \min \left[ H(Z), \; \mathbb E_J H( Z_{I(J)} ) \right]. } $$ 兩者可能衝突。 所以 future coding problem開始成為 multi-objective。 --- # 36. Random Access Overhead 真正 storage system為了 selective fetch，可能需要： - layer index； - block boundary； - checksums； - pointers； - alignment。 因此 progressive code的 physical size可能略高於 pure monolithic entropy code。 需要比較： $$ \boxed{ \text{extra metadata} } $$ 與： $$ \boxed{ \text{saved retrieval bandwidth}. } $$ EXP-26目前先忽略 metadata，研究理論可行性。 --- # 37. Universal vs Selective Provenance Contract 可以分： ## Universal Provenance Contract $$ \boxed{ \text{must recover }S. } $$ rate： $$ H(S\mid H). $$ ## Task Provenance Contract $$ \boxed{ \text{must recover }J(S). } $$ rate： $$ H(J\mid H). $$ ## Task-Family Contract $$ \boxed{ \text{must support }\mathcal F. } $$ rate： $$ H(J_{\mathcal F}\mid H). $$ --- # 38. Recoverability Contract 決定 Code Length 所以「Cold 要存多少 bits？」仍然沒有單一答案。 必須先問： $$ \boxed{ \text{Recover what?} } $$ 這與 ESC 一路形成的 semantic-obligation-first 原則完全一致。 --- # 39. Task-Conditioned Recoverability Gap 定義： $$ \boxed{ G_R(J\mid H) = H(J\mid H). } $$ 這是： > Hot representation相對 task $J$ 還缺多少 bits。 Universal gap： $$ G_R(S\mid H) $$ 只是其中最強的一個 contract。 --- # 40. Task Coverage Spectrum 一個 Hot representation可以對不同 tasks具有： $$ \boxed{ 0 \le G_R(J\mid H) \le H(S\mid H). } $$ 所以 Hot representation不是： > recoverable / unrecoverable。 而是具有： $$ \boxed{ \text{task-conditioned recoverability spectrum}. } $$ --- # 41. Selective Provenance 與 Bridge Cost EXP-06 bridge cost問： > projection缺的共同 invariant需要補多少資訊？ EXP-26 task provenance問： > Hot projection缺的 task output需要補多少資訊？ 兩者形式： $$ \boxed{ H(\text{target}\mid\text{current representation}). } $$ 已經完全一致。 --- # 42. Selective Provenance 與 Epistemic Gain 如果加入 provenance layer： $$ Z_J $$ 使： $$ H(J\mid H,Z_J)=0, $$ 那 epistemic gain： $$ \boxed{ G_J = H(J\mid H). } $$ 理想 minimum code rate也： $$ \boxed{ R_J = H(J\mid H). } $$ 所以在 perfect task-specific coding 下： $$ \boxed{ \text{epistemic gain per ideal provenance bit} = 1. } $$ 這再次接回 EXP-12 的 gain-efficiency。 --- # 43. Information Conservation 的另一種形式 對 exact selective code： $$ \boxed{ \text{每消除 1 bit target uncertainty， 理論上至少需要 1 bit target-relevant side information}. } $$ 如果 physical code用超過： $$ H(J\mid H), $$ 多出的是 implementation overhead。 --- # 44. 本輪錨點 $$ \boxed{ \textbf{ESC-EXP-26.A} \quad R_J(H) = H(J\mid H). } $$ $$ \boxed{ \textbf{ESC-EXP-26.B} \quad \text{Hot-native task有 }R_J=0. } $$ $$ \boxed{ \textbf{ESC-EXP-26.C} \quad R_{\mathrm{MID}} + R_{\mathrm{OUTER}} = R_{\mathrm{FULL}} } $$ 在本 finite benchmark成立。 $$ \boxed{ \textbf{ESC-EXP-26.D} \quad \text{progressive selective retrieval相對 monolithic universal read降低約 }41.7\%\text{～}44.3\%. } $$ $$ \boxed{ \textbf{ESC-EXP-26.E} \quad \text{universal provenance storage可以與 task-selective decoding共存。} } $$ --- # 45. 從 EXP-25 到 EXP-26 的真正提升 EXP-25 問： $$ \boxed{ \text{Cold 最少要存多少 bits 才能恢復全部？} } $$ EXP-26 問： $$ \boxed{ \text{未來 task 到底需要解鎖其中哪些 bits？} } $$ 因此： $$ \boxed{ \text{Minimal Provenance Coding} \rightarrow \text{Semantic Progressive Provenance Coding}. } $$ --- # 46. 下一輪：ESC-EXP-27 EXP-26目前 deliberately 使用兩個互補、可分離 selective tasks： $$ MID, \quad OUTER. $$ 所以 task lattice很乾淨。 真正下一步應該加入： $$ \boxed{ \text{overlapping / synergistic task families}. } $$ 也就是研究： - $H(J_1,J_2\mid H)$ 是否小於 individual rates相加； - tasks是否共享同一 residual bits； - 一個 layer是否同時服務多個 tasks； - semantic code layer該按 task拆，還是按 shared latent factor拆； - minimum task-family codebook； - rate region / common information； - task demand distribution下最好的 residual factorization。 真正問題會變成： > **Cold provenance應按「task」切層，還是按「多個 tasks 共用的 latent distinction」切層？** 這會把 progressive provenance從簡單 $B_2$ baseline推進到： $$ \boxed{ \text{shared semantic residual factorization}. } $$