← Archive
lm-003081 · 2026-08

DEST Runtime、Benchmark 與全域證書系統

下載 MD 檔 ⬇
📎 附件 · Companion files — 隨文交付的程式 / 證明 / 資料,可獨立下載重驗

title: "DEST Runtime、Benchmark 與全域證書系統:AI 原生動態知識空間的可執行驗證架構" title_en: "DEST Runtime, Benchmark, and Global Certificate System: An Executable Verification Architecture for AI-Native Dynamic Epistemic Spaces" series: "動態知識空間論(Dynamic Epistemic Space Theory, DEST)" series_id: "EML-DEST-2026-12" version: "v0.1" date: "2026-08-13" language: "zh-Hant" document_type: "系列第十二篇/第一輪正典封頂篇/Runtime/Benchmark/Certificate System" status: "Canonical Draft" depends_on: - "EML-DEST-2026-00 動態知識空間總論 v0.1" - "EML-DEST-2026-01 多域知識判定論 v0.1" - "EML-DEST-2026-02 多維知識覆蓋論 v0.1" - "EML-DEST-2026-03 Gap 場論 v0.1" - "EML-DEST-2026-04 關聯拓撲與全域黏合 v0.1" - "EML-DEST-2026-05 多中心知識拓撲 v0.1" - "EML-DEST-2026-06 移動邊界論 v0.1" - "EML-DEST-2026-07 條件依賴知識演化 2.0 v0.1" - "EML-DEST-2026-08 概念積分 2.0 v0.1" - "EML-DEST-2026-09 表示逃逸與解空間導航 2.0 v0.1" - "EML-DEST-2026-10 知識壓縮、生成核心與動態不動點 2.0 v0.1" - "EML-DEST-2026-11 視域、注意與知識載入 2.0 v0.1" - "ANKER Runtime v0.1"

DEST Runtime、Benchmark 與全域證書系統

AI 原生動態知識空間的可執行驗證架構

摘要

本文是《動態知識空間論》(DEST)第一輪正典系列的第十二篇與封頂篇。

DEST-00 至 DEST-11 已依序建立多域判定、Coverage、Gap、Global Glue、多中心、移動邊界、條件依賴演化、概念積分、表示逃逸、生成核心與視域/注意。若這些理論不能被編成一套可執行系統,則它們仍只是彼此相關的方法論集合。

因此本文的核心問題只有一個:

Can DEST be made runnable, falsifiable, replayable, and benchmarkable?\boxed{ \text{Can DEST be made runnable, falsifiable, replayable, and benchmarkable?} }

本文回答:

可以提出一個最小可執行規格;但其價值必須由 benchmark 證明,而非由框架本身宣告。\boxed{ \text{可以提出一個最小可執行規格;但其價值必須由 benchmark 證明,而非由框架本身宣告。} }

定義 DEST Runtime 狀態:

RtDEST=Kt,Vt,Bt,Et,Qt,Lt,Ctcert,Mt\boxed{ \mathfrak R_t^{DEST} = \left\langle \mathbb K_t, \mathcal V_t, \mathfrak B_t, \mathcal E_t, \mathcal Q_t, \mathcal L_t, \mathcal C_t^{cert}, \mathcal M_t \right\rangle }

其中 Kt\mathbb K_t 是 DEST 知識狀態,Vt\mathcal V_t 是當前視域,Bt\mathfrak B_t 是 branch family,Et\mathcal E_t 是 event stream,Qt\mathcal Q_t 是 task queue,Lt\mathcal L_t 是 append-only ledger,Ctcert\mathcal C_t^{cert} 是 certificate dependency graph,Mt\mathcal M_t 是 runtime metrics / observability state。

完整主循環:

KtDetectGtRouteActionSandboxCandidateGuardJudgeVerifyGlueCommitKt+1\boxed{ \mathbb K_t \overset{\mathsf{Detect}}{\longrightarrow} \mathbf G_t \overset{\mathsf{Route}}{\longrightarrow} \mathsf{Action} \overset{\mathsf{Sandbox}}{\longrightarrow} \mathsf{Candidate} \overset{\mathsf{Guard}}{\longrightarrow} \mathsf{Judge} \overset{\mathsf{Verify}}{\longrightarrow} \mathsf{Glue} \overset{\mathsf{Commit}}{\longrightarrow} \mathbb K_{t+1} }

並在提交後持續:

ObserveDriftAuditRevoke/ReopenReplayBenchmark.\boxed{ \mathsf{Observe} \rightarrow \mathsf{DriftAudit} \rightarrow \mathsf{Revoke/Reopen} \rightarrow \mathsf{Replay} \rightarrow \mathsf{Benchmark}. }

本文將生成器視為:

untrusted proposal source.\boxed{\text{untrusted proposal source}.}

任何 LLM、Agent、人類、搜尋器、演化算法、外部工具、定理產生器或資料生成器,都不得因為「能生成」而取得知識提交權。

提交必須通過:

CommitGate=IdentityTypeScopeProvenanceVerificationGlobalityNonCollapseVersion\boxed{ \mathsf{CommitGate} = \mathsf{Identity} \land \mathsf{Type} \land \mathsf{Scope} \land \mathsf{Provenance} \land \mathsf{Verification} \land \mathsf{Globality} \land \mathsf{NonCollapse} \land \mathsf{Version} }

其中某些 Gate 可依任務標為 NOT_APPLICABLE,但不得默默跳過。

本文將 DEST-00 的七項 GlobalCert 升級為:

DESTCertt=CD,Cρ,CG,Ctransition,Cloop,Cbranch,Crepr,Cversion,Csource,Cboundary,Ccore,Cview,Cevolution,Creplay.\boxed{ \mathsf{DESTCert}_t = \left\langle C_D, C_\rho, C_G, C_{\mathrm{transition}}, C_{\mathrm{loop}}, C_{\mathrm{branch}}, C_{\mathrm{repr}}, C_{\mathrm{version}}, C_{\mathrm{source}}, C_{\mathrm{boundary}}, C_{\mathrm{core}}, C_{\mathrm{view}}, C_{\mathrm{evolution}}, C_{\mathrm{replay}} \right\rangle. }

每一 component 使用:

{PASS,PARTIAL,FAIL,STALE,UNKNOWN,NOT_APPLICABLE,REVOKED}.\boxed{ \{ PASS, PARTIAL, FAIL, STALE, UNKNOWN, NOT\_APPLICABLE, REVOKED \}. }

本文建立 Certificate DAG:

Gcert=(Vcert,Edepends)\boxed{ \mathcal G_{\mathrm{cert}} = ( V_{\mathrm{cert}}, E_{\mathrm{depends}} ) }

使任何 dependency 被撤銷時能向下游傳播 stale / invalidation。

本文提出五階 benchmark:

ModuleInteractionEnd-to-EndLong-Horizon AdversarialOpen-World.\boxed{ \text{Module} \rightarrow \text{Interaction} \rightarrow \text{End-to-End} \rightarrow \text{Long-Horizon Adversarial} \rightarrow \text{Open-World}. }

並建立:

BenchmarkOracleCert\boxed{\mathsf{BenchmarkOracleCert}}

因為 benchmark 自己也可能錯。測試通過可能只是 oracle 太弱、hidden tests 不完整、solution leakage、metric gaming 或 contamination。

因此:

System Under Test\boxed{\text{System Under Test}}

與:

Benchmark Under Test\boxed{\text{Benchmark Under Test}}

必須同時存在。

本文最後給出一個最小 MVP:Python、SQLite/PostgreSQL、append-only event ledger、content-addressed artifact store、typed schemas、deterministic scheduler、test runner、可選 Lean/Coq/SMT adapter、provenance graph、certificate graph、replay runner、benchmark harness 與 dashboard。

MVP 不需要先做 AGI。它只需要驗證:

相較 flat LLM/RAG,DEST Runtime 是否能降低 overclaim、提高 replayability、branch preservation、verification yield 與 long-horizon recovery?\boxed{ \text{相較 flat LLM/RAG,DEST Runtime 是否能降低 overclaim、提高 replayability、branch preservation、verification yield 與 long-horizon recovery?} }

若不能,DEST Runtime 沒有工程優勢。


0. 非主張聲明

本文不主張 DEST 已優於現有 Agent framework;不主張 certificate 等於 truth、provenance 等於 validity、hash 等於可信來源、benchmark 分數等於一般智能、replayability 等於正確性、synthetic benchmark 成功等於 open-world 成功,也不主張 full DEST 一定比簡化版更好。


1. Runtime 第一原則:生成與提交分權

生成者:

Proposer.\mathsf{Proposer}.

提交者:

CommitController.\mathsf{CommitController}.

兩者不得是同一不可審核權限。

2. Trust Boundary

Untrusted:
  LLM generator
  external documents
  retrieved snippets
  human/model proposals
  uncertified tool output

Conditionally Trusted:
  parser
  type checker
  deterministic tests
  proof checker
  data validator

Governed:
  commit controller
  revocation controller
  benchmark oracle authority

3. Runtime 不以模型為中心

模型只是 replaceable proposal / routing / interpretation provider;核心持久狀態在 Runtime。

4. DEST Kernel

DESTKernel=(State,Ledger,Schema,Guard,Certificate,Replay).\boxed{ \mathsf{DESTKernel} = ( State, Ledger, Schema, Guard, Certificate, Replay ). }

5. State Store

保存 Kt\mathbb K_t,大型 artifacts 可只存 content reference。

6. Event Ledger

Lt={e0,,et}.\mathcal L_t=\{e_0,\ldots,e_t\}.

建議 append-only。

7. Artifact Store

保存 paper、proof、code、dataset、logs、benchmark fixtures、model outputs。

8. Content Addressing

使用:

[ hash(content) ]

作 bytes identity anchor。hash 不證明真值。

9. Schema Registry

所有核心物件使用 versioned schema。

10. Minimum Object Types

ObjectType:
  KNOWLEDGE_UNIT
  RELATION
  GAP
  DOMAIN_PROFILE
  COVERAGE_PROFILE
  BOUNDARY
  CENTER
  BRANCH
  PROPOSAL
  CERTIFICATE
  EVENT
  VIEW
  CORE
  CORRIDOR
  BENCHMARK_CASE
  BENCHMARK_RUN
  ORACLE

11. Service Layer

至少有 Domain Router、Coverage Auditor、Gap Engine、Glue Auditor、Center Tracker、Boundary Tracker、Evolution Controller、Concept Proposer、Representation Navigator、Core Compressor、View Manager、Certificate Authority、Benchmark Harness、Replay Service。

12. Domain Router

輸出 (D,O,R,J,V,L,G) profile。

13. Coverage Auditor

輸出 ρ\boldsymbol\rho 與 denominator state。

14. Gap Engine

輸出 typed Gap objects。

15. Glue Auditor

檢查 overlap、cocycle、cycle、branch、globality。

16. Center Tracker

輸出 multi-role center profile。

17. Boundary Tracker

追蹤 domain boundary、flux、churn、lag、false frontier。

18. Evolution Controller

管理:

PROPOSE
VALIDATE
COMMIT
INVALIDATE
ROLLBACK
REOPEN

19. Concept Proposer

只產生 proposal set,不直接寫 verified。

20. Representation Navigator

執行 Fold / Bridge / Project / Lift / Compress / Reparam / ClassJump / Tunnel。

21. Core Compressor

產生 ((C,U,M,Recon,Cert))。

22. View Manager

管理:

AvailableRetrievedLoadedUsed.Available\to Retrieved\to Loaded\to Used.

23. Certificate Authority

只管理 certificate lifecycle / dependency / revocation,不是「真理機器」。

24. Benchmark Harness

執行 cases、seeds、baselines、ablations、metrics、hidden oracle、trace collection。

25. Replay Service

重播:

K0e1K1Kn.K_0\xrightarrow{e_1}K_1\to\cdots\to K_n.

26. Runtime State Machine

IDLE
↓
TASK_OPEN
↓
VIEW_BUILD
↓
GAP_DETECT
↓
ROUTE
↓
SANDBOX
↓
GUARD
↓
VERIFY
↓
GLUE
↓
COMMIT / FORK / DEFER / REJECT
↓
OBSERVE
↓
DRIFT_AUDIT
↓
REPLAY / REOPEN
↓
TASK_CLOSE

27. Sandbox First

高風險改動先作用於 KtsandboxK_t^{sandbox},不得改 active head。

28. Commit Transaction

prepare
→ validate dependencies
→ lock parent state
→ append event
→ update projection
→ publish active head

29. Explicit Commit

模型不得因「很有把握」直接提交。

30. Commit Policy

CommitPolicy:
  PROPOSAL:
    verification: none
  JUDGEABLE:
    type_scope: required
  LOCALLY_VERIFIED:
    local_certificate: required
  GLOBAL:
    gluing_certificate: required
  CANONICAL:
    replay_provenance_version_audit: required

31. Event-Sourced Projection

active state 可由 ledger projection 產生。

32. Snapshot

為避免每次重播全部事件,保存 SnapshotkSnapshot_k

33. Snapshot Integrity

保存 state hash、ledger head、schema version、runtime version。

34. Deterministic Replay

若所有 dependency deterministic:

Replay(K0,E1:n)=Kn.Replay(K_0,E_{1:n})=K_n.

35. Stochastic Replay

需保存 seed、provider、model id、parameters、raw output、external response snapshot。

36. Replay Fidelity Vector

RF=(Rstate,Rclaim,Rcert,Rbranch,Rview,Rartifact).\boxed{ \mathbf R_F = ( R_{\mathrm{state}}, R_{\mathrm{claim}}, R_{\mathrm{cert}}, R_{\mathrm{branch}}, R_{\mathrm{view}}, R_{\mathrm{artifact}} ). }

37. Provenance Layer

對每個 object 保存 Entity / Activity / Agent,可與 W3C PROV 對齊。

38. Internal Provenance

provenance:
  entity_id: "..."
  generated_by: "activity-..."
  attributed_to: "agent-..."
  derived_from: []
  source_hashes: []

39. Provenance ≠ Validity

來源完整不推出 claim 正確。

40. Attestation Layer

對 artifact / run 可簽 who、what、inputs、environment、outputs、hash。

41. SLSA-like Alignment

適合 code/build/benchmark artifact provenance,不直接證 theorem truth。

42. Runtime Trace

每次 task 建 TraceID

43. Span Examples

retrieve
load
parse
typecheck
generate
verify
glue
commit
rollback
benchmark

44. Observability

可輸出 traces / metrics / logs;observability data 不是 epistemic certificate。

45. Certificate DAG

Gcert=(Vc,Ed).\boxed{ G_{cert} = (V_c,E_d). }

46. Certificate Object

c=(id,type,subject,scope,conditions,evidence,dependencies,issuer,time,version,status).\boxed{ c = ( id, type, subject, scope, conditions, evidence, dependencies, issuer, time, version, status ). }

47. Certificate Status

CertificateStatus:
  PASS
  PARTIAL
  FAIL
  STALE
  UNKNOWN
  NOT_APPLICABLE
  REVOKED

48. Certificate Types

CertificateType:
  IDENTITY
  TYPE
  SCOPE
  PROVENANCE
  VERIFICATION
  TRANSLATION
  GLOBAL_GLUE
  BOUNDARY
  CORE
  VIEW
  REPLAY
  BENCHMARK_ORACLE
  RUNTIME_BUILD

49. Revocation Propagation

上游 certificate revoked 時,下游 descendants 至少進 STALE,除非存在另一條獨立證明路徑。

50. Global DEST Certificate 2.0

DESTCert=(CD,Cρ,CG,CT,CL,CBr,CR,CV,CS,CB,CC,CView,CE,CReplay).\boxed{ DESTCert = ( C_D, C_\rho, C_G, C_T, C_L, C_{Br}, C_R, C_V, C_S, C_B, C_C, C_{View}, C_E, C_{Replay} ). }

51. Global PASS

只在 task-required certificate set 全部 PASS 時成立。

52. Partial PASS

不得向使用者渲染成 full pass。

53. Certificate Capsule

dest_certificate:
  subject: "claim-..."
  scope: "..."
  status: "PARTIAL"
  components:
    domain: PASS
    coverage: PASS
    gap: PASS
    transition: PASS
    loop_global: UNKNOWN
    branch: PASS
    representation: PASS
    verification: PASS
    provenance: PASS
    boundary: PARTIAL
    core: NOT_APPLICABLE
    view: PASS
    evolution: PASS
    replay: PASS
  dependencies: []
  stale_if: []

54. Certificate Freshness

證書需支援 stale trigger:source/tool/theorem/data/representation/benchmark oracle 版本變化。

55. Benchmark 是第二個 Runtime

Benchmark Harness 自己也有 state、version、oracle、fixture、evidence、provenance。

56. Benchmark Case

b=(input,world,hidden_state,oracle,metrics,budget,seed,contamination).\boxed{ b = ( input, world, hidden\_state, oracle, metrics, budget, seed, contamination ). }

57. Benchmark Oracle

Ob\mathsf O_b

回答:「什麼叫成功?」

58. Oracle Certificate

BOC=(correctness,coverage,independence,leakage,version,replayability).\boxed{ \mathsf{BOC} = ( correctness, coverage, independence, leakage, version, replayability ). }

59. Benchmark Threat Model

solution leakage
test weakness
oracle bug
data contamination
environment nondeterminism
hidden tool outage
metric gaming
selection bias
survivorship bias
benchmark overfitting

60. 五階 Benchmark

ModuleInteractionEndToEndLongHorizonOpenWorld.\boxed{ Module \to Interaction \to EndToEnd \to LongHorizon \to OpenWorld. }

61. DEST-01 Bench:Domain Qualification

case:retrieved-but-underconditioned、locally true but globally false、stale version、permission-limited。

metrics:domain classification accuracy、overpromotion rate。

62. DEST-02 Bench:Coverage

case:closed/open denominator、duplicate nodes、high-node/low-relation。

metrics:coverage calibration、denominator-state accuracy、debt localization。

63. DEST-03 Bench:Gap

case:missing relation、hidden condition、verification debt、primitive candidate、access Gap。

metrics:gap type accuracy、repair routing、false Gap rate。

64. DEST-04 Bench:Global Glue

case:all local pass、pairwise pass、triangle/cycle inconsistency、branch collision。

metrics:global-defect recall、false unification、branch preservation。

65. DEST-05 Bench:Centers

case:high-degree hub、low-degree articulation bridge、task shift、center migration。

metrics:role accuracy、hidden bridge recall、failure resilience。

66. DEST-06 Bench:Boundaries

case:reach expansion、verification retreat、split/merge、false frontier、representation-bound boundary。

metrics:event detection、signed direction、lag、false permanence。

67. DEST-07 Bench:Evolution

case:slow drift、abrupt change、version invalidation、rollback、branch birth。

metrics:transition classification、replay、stale detection、recovery。

68. DEST-08 Bench:Concept Integral

case:alias novelty、relational novelty、hidden bridge、false primitive、counterexample refinement。

metrics:verified proposal yield、false novelty、primitive spam。

69. DEST-09 Bench:Representation Escape

case:equivalent escape、task relaxation cheat、lossy projection、liftback failure、hidden oracle。

metrics:translation fidelity、lifecycle cost、false escape rate。

70. DEST-10 Bench:Core Compression

case:redundant corpus、multi-foundation、version update、future query、branch-preserving compression。

metrics:reconstruction、evidence retention、boundary retention、false irreducibility。

71. DEST-11 Bench:View

case:stored-not-loaded、loaded-not-used、middle-position evidence、hidden counterexample、sticky stale context。

metrics:retrieval recall、use coverage、false boundary、writeback pollution。

72. Tier 1:Interaction Bench

測 Coverage×View、Gap×Representation、Center×View、Boundary×Evolution、Core×View、Glue×Branch、Certificate×Version。

73. Tier 2:End-to-End Scenario

要求完整走過 retrieve→load→classify→Gap→proposal→verify→glue→commit→invalidate→rollback/reopen→replay。

74. Tier 3:Long-Horizon Adversarial

N=10010000N=100\sim10000 events,注入 proposal flood、poisoned retrieval、provenance break、tool drift、cert revocation cascade、branch explosion、context thrash、oracle attack。

75. Tier 4:Open-World Pilot

真正 web / GitHub / scientific corpus,只在前三階穩定後做。

76. Baselines

B0 Flat LLM
B1 RAG
B2 RAG + rerank + citations
B3 Stateful Knowledge Graph
B4 Verified Event Runtime
B5 Full DEST

77. Ablation

必須逐模組移除,否則無法知道複雜度增加的哪部分真的有用。

78. Primary Metrics

MDEST=(O,V,R,P,B,G,C,L)\boxed{ M_{DEST} = ( O,V,R,P,B,G,C,L ) }

其中 O=overclaim、V=verification yield、R=replay fidelity、P=provenance completeness、B=branch preservation、G=globality accuracy、C=context utilization、L=lifecycle cost。

79. Overclaim Rate

proposal/local/retrieved/sampled 被誤升級成 verified/global 的比例。

80. Verification Yield

verified useful outputsverification cost.\frac{\text{verified useful outputs}}{\text{verification cost}}.

81. Replay Fidelity

重播 critical state 的比例。

82. Provenance Completeness

critical claims 可回溯比例。

83. Branch Preservation

應保存分支沒有被 forced merge 的比例。

84. Globality Accuracy

local/global 判斷正確率。

85. Context Utilization

loaded relevant information 實際使用率。

86. Lifecycle Cost

包含 model、search、verification、storage、replay、human、maintenance。

87. Secondary Metrics

Gap closure/transform、boundary lag、center resilience、coverage debt、false novelty、false irreducibility、cert staleness、rollback correctness、benchmark leakage。

88. Confidence ≠ Certificate

高 confidence 不能補 certificate 缺失。

89. Pareto Evaluation

如果更準但更貴,保留 cost-performance Pareto frontier。

90. Critical Hard Gates

高風險 benchmark 不允許平均分掩蓋 globality / branch / replay 災難性失敗。

91. Benchmark Dataset Structure

benchmark_case:
  id: "DEST-B06-001"
  module_targets:
    - boundary
    - evolution
  visible_input: {}
  hidden_state: {}
  oracle: {}
  seed: 42
  budget: {}
  contamination_state: CLEAN_CANDIDATE
  expected_events:
    - VERIFICATION_RETREAT
    - CERT_STALE

92. Run Record

benchmark_run:
  run_id: "..."
  runtime_version: "..."
  model_id: "..."
  config_hash: "..."
  benchmark_version: "..."
  outputs: []
  traces: []
  certificates: []
  costs: {}
  score: {}

93. Temporal Split

可用 post-cutoff events 降低記憶污染,但 temporal split 不保證完全乾淨。

94. Synthetic / Real / Hybrid

Synthetic 有 exact oracle;Real messy 但 oracle 難;Hybrid 用真實文件配 synthetic hidden structure。

95. Mutation Testing for Oracle

故意造錯 branch/version/condition/source/code patch;oracle 若照樣 PASS,證明 test 弱。

96. Oracle Sensitivity

SO=P(oracle=FAILknown invalid mutation).S_O=P(oracle=FAIL\mid known\ invalid\ mutation).

97. Oracle Specificity

P(oracle=PASSknown valid).P(oracle=PASS\mid known\ valid).

98. Oracle Certificate Schema

benchmark_oracle_certificate:
  benchmark_id: "..."
  version: "..."
  oracle:
    type: "deterministic|human|hybrid|formal"
  mutation_tests:
    invalid_cases: 100
    detected: 98
  leakage:
    contamination_status: "unknown"
  replay:
    deterministic: true
  status: "PARTIAL"

99. Continuous Evaluation

提交後仍要 monitor drift、error、latency、rollback、user correction、source invalidation。

100. Canary

高風險 Runtime update 可先在小 subset 運行;canary pass 不是 knowledge truth。

101. Quarantine

cert revoked / canary fail / drift high 時,variant 轉 QUARANTINED

102. Authority Store

canonical state 不能被 rendering projection 反向覆寫。

103. Projection

同一 state 可輸出 Markdown、JSON、graph、SQL、UI、paper。

104. Schema Migration

v1→v2 需要 migration certificate,並重跑 replay regression。

105. Database MVP

最少 tables:

knowledge_units
relations
domain_profiles
coverage_profiles
gaps
boundaries
centers
branches
proposals
certificates
certificate_dependencies
events
snapshots
views
cores
corridors
benchmark_cases
benchmark_runs
artifacts

106. API Layer

POST /proposal
POST /verify
POST /commit
POST /revoke
POST /replay
POST /benchmark
GET  /state
GET  /certificate/{id}
GET  /trace/{id}

107. Scheduler

queue:verification、Gap、frontier、replay、stale cert、benchmark regression。

108. Scheduler Priority

Priority=ValueRiskLeveragePersistenceCost+ϵ.Priority = \frac{Value\cdot Risk\cdot Leverage\cdot Persistence}{Cost+\epsilon}.

109. Verification Attention

νgen>νverify\nu_{gen}>\nu_{verify},scheduler 必須 throttle generation。

110. Regression Suite

任何 Runtime 更新都跑 replay regression、certificate regression、benchmark subset、migration test。

111. Metamorphic Testing

對不改變語義的 transformation,critical invariants 應保持,例如 alias rename、document order shuffle、irrelevant context insertion、representation-preserving transform。

112. Human Role

人類可定 task、approve high-risk commit、inspect branch、repair oracle、audit provenance;human review 也不是 infallible oracle。

113. Leaderboard Hygiene

分數綁 benchmark version、runtime version、model version、tool access、budget。

114. Budgeted Benchmark

固定 token/time/tool/money budget;最好報 anytime curve (Score(B))。

115. Long-Horizon Reliability

測:

P(no catastrophic state corruptionN events).P(\text{no catastrophic state corruption}\mid N\text{ events}).

116. State Corruption

包括 false verified、branch deletion、provenance loss、stale cert active、replay failure。

117. Recovery Time / Completeness

測 fault 到 state recovered 的事件數/wall-time,並檢查 active state、provenance、branch、certificate 是否都恢復。

118. Runtime Health Vector

HR=(Hstate,Hcert,Hreplay,Hgap,Hbranch,Hview,Hbenchmark).\boxed{ H_R = ( H_{state}, H_{cert}, H_{replay}, H_{gap}, H_{branch}, H_{view}, H_{benchmark} ). }

119. Runtime Health ≠ Truth

健康系統仍可能缺資料。

120. Benchmark Health

HB=(oracle,leakage,coverage,replay,freshness).H_B=(oracle,leakage,coverage,replay,freshness).

121. Benchmark Retirement

contamination high、oracle weak、ceiling 或已不具代表性時應 retire。

122. External Benchmark Alignment

GAIA 類任務測 tool/web/multimodal robustness;AgentBench 類環境測 multi-turn agent interaction;SWE-bench 類真實 issue→patch 任務測 repo context、execution 與 test oracle。DEST 額外測 state、certificate、branch、replay。

123. W3C PROV Alignment

KnowledgeUnit → prov:Entity
VerificationRun → prov:Activity
Agent/Human/Tool → prov:Agent

124. SLSA Alignment

對 runtime binary / generated package 保存 source、builder、parameters、dependencies;不把 supply-chain provenance 當 theorem truth。

125. OpenTelemetry Alignment

用 distributed traces/metrics/logs 做 observability;不當 knowledge certificate。

126. NIST TEVV Alignment

Test / Evaluation / Validation / Verification 分開記錄。

127. MVP Phase 0:Schema

完成 object/event/certificate/benchmark schemas。

128. MVP Phase 1:Ledger Runtime

只做 event、state、commit、rollback、replay。

129. MVP Phase 2:Domain + Certificate

加入 domain router、cert DAG、revocation。

130. MVP Phase 3:Gap + Benchmark

加入 Gap Engine、Tier-0 benchmarks、regression。

131. MVP Phase 4:Global Glue

加入 cycle audit、branch preservation、global certificate。

132. MVP Phase 5:View + Core

加入 core compression、context loading、use coverage。

133. MVP Phase 6:Representation Navigation

加入 corridor tournament。

134. MVP Phase 7:Long-Horizon

跑 1000+ events。

135. Phase Gate

每階段若沒有比 baseline 改善,就不升級。

136. Minimal Stack

Python
SQLite initially
Pydantic / JSON Schema
pytest
NetworkX optional
Git/content-addressed store
Lean/SMT optional
FastAPI optional
OpenTelemetry optional

137. Minimal Model Requirement

一個 API 或 local LLM 就夠。

138. Model Replaceability Test

換模型後 schema / ledger / replay 不應破壞;只有 model-specific certificates 需要重驗。

139. First Benchmark Pack

至少 100 cases,先平均分配到 Domain、Coverage、Gap、Glue、Center、Boundary、Evolution、Concept、Representation、Core/View。

140. Deterministic Scheduler First

第一版不用 learned scheduler,否則難判效果來自 DEST 還是 scheduler。

141. Core Research Questions

RQ1:是否降低 overclaim?
RQ2:是否提高 recovery/replay?
RQ3:是否提高 verification yield?
RQ4:是否更好保存 branch?
RQ5:是否改善 long-context effective use?
RQ6:增加的成本是否值得?

142. Null Hypothesis

H0:DESTfull 不優於較簡單的 stateful RAG/event runtime。\boxed{ H_0: DEST_{full} \text{ 不優於較簡單的 stateful RAG/event runtime。} }

143. Falsifiability

如果 overclaim 不降、replay 無改善、branch preservation 無改善且 cost 大增,則至少部分 DEST 模組不值得保留。

144. Modular Falsification

即使 full runtime 有用,某模組可能無增益,可刪。

145. Runtime 自身也使用 DEST-07

schema、verifier、benchmark、cert policy 都是 versioned knowledge objects。

146. Self-Modification Boundary

Runtime 不得直接修改自己的 commit rules;先 sandbox→benchmark→certificate→canary→explicit commit。

147. Benchmark-of-Benchmark

oracle mutation testing 是最小 meta-benchmark。

148. Trust Root

最終仍有外部 trust roots:cryptographic primitives、human governance、formal checker implementation、hardware、source institutions。

149. No Absolute Self-Certification

adding more certificates cannot make every trust dependency disappear.\boxed{ \text{adding more certificates cannot make every trust dependency disappear}. }

150. Runtime Failure Taxonomy

Code 名稱 意義
RT-00 Proposal commit bypass 未驗候選直入 active
RT-01 State overwrite 無事件帳本覆蓋狀態
RT-02 Certificate Boolean collapse 多證書壓單一 verified
RT-03 Revocation failure 上游撤銷未傳播
RT-04 Replay illusion 缺依賴仍宣稱可重播
RT-05 Provenance-truth confusion 有來源冒充真
RT-06 Hash-truth confusion hash 冒充可信
RT-07 Oracle weakness benchmark tests 不足
RT-08 Benchmark leakage solution 暴露
RT-09 Contamination blindness training overlap 未標記
RT-10 Metric gaming 系統鑽 scoring loophole
RT-11 Globality bypass local pass 冒充 global
RT-12 Branch erasure 多分支被 merge
RT-13 Stale active cert stale certificate 仍提交
RT-14 Version drift tool/model/schema 漂移未處理
RT-15 View blindness loaded≠used 未測
RT-16 Context pollution stale background 污染
RT-17 Core overcompression 重建責任丟失
RT-18 Representation cheat task relaxation 冒充 escape
RT-19 Benchmark overfit 只對固定 case 有效
RT-20 Cost hiding verification/human/storage 未計
RT-21 Self-certification loop generator/verifier/issuer 無隔離
RT-22 Trust-root denial 假裝系統完全自證
RT-23 Ablation omission 無法知道模組增益
RT-24 Runtime complexity capture 架構複雜被當成能力
RT-25 Certificate sprawl 證書多但無 dependency discipline
RT-26 Benchmark score absolutism 分數冒充一般智能
RT-27 Canary-truth confusion canary pass 冒充知識真
RT-28 Human-oracle absolutism human review 冒充必然正確
RT-29 Open-world overclaim synthetic success 冒充 open-world

151. Global Acceptance Criteria

第一版 Runtime 不要求「很聰明」,只要求:

  1. 狀態不亂;
  2. claim 不亂升級;
  3. source 不亂丟;
  4. branch 不亂合;
  5. certificate 可撤銷;
  6. state 可重播;
  7. benchmark 可重跑;
  8. failure 可定位。

152. Phase-1 Success Threshold

相較簡單 baseline,可設定候選門檻:

  • overclaim 顯著下降;
  • replay fidelity > 95%;
  • provenance completeness > 98%;
  • branch preservation > 95%。

數字只是實驗配置,不是理論常數。

153. Phase-2 Success

同 budget 下 verification yield / globality accuracy 提升,recovery time 下降。

154. Phase-3 Success

長時程中 state corruption 低、stale propagation 正確、benchmark regression 可定位。

155. No-Go Condition

若:

CostDESTCostbaselineCost_{DEST}\gg Cost_{baseline}

但:

QualityDESTQualitybaseline,Quality_{DEST}\approx Quality_{baseline},

工程上不成立。

156. Simplification Rule

只保留能在 ablation 中證明價值的模組。

157. DEST Runtime 不是宗教

模組可替換、合併、刪除、重命名。

158. Canonical Theory vs Runtime Backend

正典理論只規定「哪些狀態需要分清」;backend 可換。

159. SQL Backend

早期適合 SQLite/PostgreSQL。

160. Graph Backend

relation / cert DAG 放大後可加入 graph DB。

161. Event Bus

多 Agent 時可加入。

162. Workflow Engine

長任務可加入。

163. Formal Backend

高風險數學可接 Lean、Coq、SMT、proof checker。

164. Scientific Backend

可接 notebook、simulator、lab automation、statistical test。

165. Code Backend

可接 container、CI、test suite、static analyzer。

166. Humanistic Backend

可接 source criticism、multi-interpretation、citation、argument graph;不得假裝形式證明涵蓋全部。

167. Cross-Domain Runtime

不同 domain 可共享 Kernel:event、cert、provenance、branch、replay。

168. Domain-Specific Verifier

Verifier 本身依 domain。

169. Global Schema / Local Semantics

這是 Runtime 的核心設計原則之一。

170. Machine-First Knowledge Unit

knowledge_unit:
  id: "KU-..."
  version: "..."
  type: "theorem"
  statement: "..."

  domain_profile: {}
  coverage_profile: {}
  conditions: {}
  dependencies: []
  relations: []

  gaps: []
  boundaries: []
  centers: []

  verification:
    status: "PASS"
    cert_refs: []

  globality:
    status: "LOCAL_ONLY"

  provenance: []
  branch_id: "main"
  history_head: "..."

171. State Capsule

dest_state:
  state_id: "K-..."
  parent: "K-..."
  time: "..."

  knowledge_units: []
  branches: []
  active_view: "V-..."
  core_family: "C-..."
  boundary_state: "B-..."

  ledger_head: "evt-..."
  cert_graph_head: "cert-..."

172. Runtime Manifest

runtime_manifest:
  dest_version: "0.1"
  schema_version: "0.1"
  runtime_version: "0.1"

  model:
    provider: "..."
    id: "..."

  tools:
    - id: "python"
      version: "..."

  policies:
    commit: "..."
    certificate: "..."
    benchmark: "..."

  hashes:
    config: "..."

173. Repro Bundle

一個 benchmark run 應輸出:

manifest
events.jsonl
state_snapshot.json
certificates.jsonl
trace.jsonl
metrics.json
artifacts/
benchmark_case.json
oracle_certificate.json

174. Repro Bundle Hash

整包可做:

Hbundle.H_{bundle}.

175. Public / Private Repro

公開資料可發布 bundle;敏感資料只發布 hash、schema、derived metrics、verifier attestation。

176. Privacy

provenance 不代表全部私人 source 必須公開。

177. Access-Controlled Provenance

PUBLIC
PRIVATE
SEALED
HASH_ONLY

178. Final Runtime Loop

KtVtGtRouteProposalGuardVerifyGlueCommitObserveRevoke/ReopenCompressRefrontierKt+1.\boxed{ \begin{aligned} \mathbb K_t &\to \mathcal V_t \to \mathbf G_t \to \mathsf{Route} \to \mathsf{Proposal} \\ &\to \mathsf{Guard} \to \mathsf{Verify} \to \mathsf{Glue} \to \mathsf{Commit} \\ &\to \mathsf{Observe} \to \mathsf{Revoke/Reopen} \to \mathsf{Compress} \to \mathsf{Refrontier} \to \mathbb K_{t+1}. \end{aligned} }

179. Runtime Invariant 1

未驗 proposal 永不靜默升格。

180. Runtime Invariant 2

任何 canonical state change 有 event。

181. Runtime Invariant 3

任何 certificate 有 scope / version / dependency。

182. Runtime Invariant 4

任何 branch merge 有 non-collapse audit。

183. Runtime Invariant 5

任何「不存在」聲明可追到 search scope。

184. Runtime Invariant 6

任何 global claim 有 globality state。

185. Runtime Invariant 7

任何 representation escape 有 TranslationCert。

186. Runtime Invariant 8

任何 core compression 有 reconstruction path。

187. Runtime Invariant 9

任何 stale dependency 可觸發 downstream recheck。

188. Runtime Invariant 10

Benchmark 自己有 version / oracle certificate。

189. Proposition A [PROP]

存在 provenance 完整但內容錯誤的 claim,因此:

Provenance⇏Truth.Provenance \not\Rightarrow Truth.

190. Proposition B [PROP]

存在所有 module unit tests 通過,但 interaction benchmark 失敗的 Runtime:

i, Modulei=PASS⇏System=PASS.\forall i,\ Module_i=PASS \not\Rightarrow System=PASS.

191. Proposition C [PROP]

若 certificate DAG 上游撤銷,下游 certificate 不能保持無條件 PASS,除非存在另一獨立證明路徑。

192. Proposition D [PROP]

Benchmark oracle 若不能 reject known-invalid mutation,則對該 failure class 不具辨識力。

193. Proposition E [PROP]

可重播的錯誤狀態仍然是錯誤狀態:

Replayability⇏Validity.Replayability \not\Rightarrow Validity.

194. Conjecture 1:Certificate DAG Reduces Silent Staleness

相較 flat citation / boolean verification,dependency-aware certificate DAG 將提高 version invalidation 的偵測率。

195. Conjecture 2:Multi-Tier Bench Better Predicts Reliability

Module + Interaction + Long-Horizon Bench 應比 static QA 更能預測 stateful research agent 的長期完整性。

196. Conjecture 3:Oracle Certification Reduces False Progress

對 oracle 做 mutation testing 與 leakage audit,將降低「分數上升但能力未上升」的假進步。

197. Conjecture 4:Generation Throttling Improves Verified Value

當:

νgenνverify,\nu_{gen}\gg\nu_{verify},

限制生成、增加 verification attention,會提高 verified value / lifecycle cost。

198. Conjecture 5:Full DEST May Not Be Optimal

不同 task family 的最優 Runtime 可能只需要 DEST 子集;這不是理論失敗,而是 ablation 應揭露的結果。

199. 實驗總綱

四軸:

Correctness+Integrity+Recovery+Cost.\boxed{ Correctness + Integrity + Recovery + Cost. }

200. Correctness

測 answer、verification、globality、domain classification。

201. Integrity

測 provenance、branch、certificate、version。

202. Recovery

測 rollback、reopen、replay、stale revalidation。

203. Cost

測 model、search、verification、storage、human、latency。

204. Statistical Reporting

報 mean、median、variance、confidence interval、per-case failure。

205. Long-Tail Failures

災難性長尾失敗單獨報,不被平均值吞掉。

206. Failure Case Archive

所有 fail 進:

Hfail.\mathcal H_{\mathrm{fail}}.

207. Regression from Failure Archive

新版本必測舊 failure。

208. Benchmark Expansion

新 failure 可以轉成新 benchmark case。

209. Self-Improving Benchmark Loop

FailureCaseRegressionRuntimeUpdate.Failure \to Case \to Regression \to RuntimeUpdate.

210. Benchmark Co-Evolution Risk

Runtime 和 benchmark 共同演化會過擬合,因此保留 frozen hidden set。

211. Evaluation Splits

DEV
FROZEN
LIVE

212. Final Acceptance Test

第一輪正典的工程驗收不是:

寫完 12 篇。

而是:

能否用 100-case MVP,讓簡單 baseline 和 DEST Runtime 產生可重複、可解釋的差異?

213. Minimum Publishable Engineering Result

至少有:

  • dataset;
  • runtime;
  • ablation;
  • replay bundle;
  • failure analysis。

214. Negative Result Also Valuable

某模組沒用:

刪掉。

這本身就是研究結果。

215. Runtime Whitepaper Candidate

後續可獨立做:

DEST Runtime v0.1
Implementation Specification

但不屬於本篇必要內容。

216. Series Closure

00 Mother Theory
01 Domains
02 Coverage
03 Gaps
04 Global Glue
05 Centers
06 Boundaries
07 Evolution
08 Concept Integral
09 Representation Navigation
10 Core Compression
11 View / Attention
12 Runtime / Benchmark / Certificates

217. 最小核心公式

Runtime State

RtDEST=Kt,Vt,Bt,Et,Qt,Lt,Ctcert,Mt.\boxed{ \mathfrak R_t^{DEST} = \langle \mathbb K_t, \mathcal V_t, \mathfrak B_t, \mathcal E_t, \mathcal Q_t, \mathcal L_t, \mathcal C_t^{cert}, \mathcal M_t \rangle. }

Commit Gate

Commit=IdentityTypeScopeProvenanceVerificationGlobalityNonCollapseVersion.\boxed{ Commit = Identity \land Type \land Scope \land Provenance \land Verification \land Globality \land NonCollapse \land Version. }

Certificate DAG

Gcert=(Vcert,Edepends).\boxed{ G_{cert} = (V_{cert},E_{depends}). }

Global DEST Certificate

DESTCert=(CD,Cρ,CG,CT,CL,CBr,CR,CV,CS,CB,CC,CView,CE,CReplay).\boxed{ DESTCert = ( C_D, C_\rho, C_G, C_T, C_L, C_{Br}, C_R, C_V, C_S, C_B, C_C, C_{View}, C_E, C_{Replay} ). }

Benchmark Oracle Certificate

BOC=(Correctness,Coverage,Independence,Leakage,Version,Replayability).\boxed{ BOC = ( Correctness, Coverage, Independence, Leakage, Version, Replayability ). }

Benchmark Hierarchy

ModuleInteractionEndToEndLongHorizonOpenWorld.\boxed{ Module \to Interaction \to EndToEnd \to LongHorizon \to OpenWorld. }

218. 結論

DEST 第一輪研究到這裡應正式停止繼續拆概念。

如果再持續增加概念,而不開始執行,框架本身會形成:

framework debt.\boxed{ \text{framework debt}. }

目前已足以回答:

  • 知識在哪個 Domain?
  • Coverage 到多少?
  • Gap 在哪?
  • 局部能不能黏成全域?
  • 哪些節點扮演什麼中心?
  • 邊界怎麼移動?
  • 新 evidence 如何更新 state?
  • 概念候選怎麼生成?
  • 表示怎麼逃逸?
  • 什麼值得壓成核心?
  • 當前到底載入/使用哪些知識?

下一個真正重要的問題不再是:

還能不能再多一個理論維度?

而是:

這些維度是否能在同一個 Runtime 中真正改善 AI 的研究行為?\boxed{ \text{這些維度是否能在同一個 Runtime 中真正改善 AI 的研究行為?} }

因此 DEST-12 將最終判決權交給 benchmark。

如果:

DESTfullDEST_{full}

在同 budget 下不能比:

RAG,StatefulGraph,EventRuntimeRAG, \quad StatefulGraph, \quad EventRuntime

降低 overclaim、提高 verification、replay、branch preservation、globality 與 recovery,那麼多出來的理論層就只是複雜度。

反過來,如果只有 DEST 的一部分有效:

就保留那一部分。\boxed{ \text{就保留那一部分。} }

這也是 DEST 自己應遵守的條件依賴演化原則。

所以整個系列最後不以:

DEST is true\boxed{ \text{DEST is true} }

作結。

而以:

DEST is now specified enough to be tested.\boxed{ \text{DEST is now specified enough to be tested.} }

作結。

一套 AI 原生知識理論真正進入工程與科學的分界,不是它有多少公式,而是:

它是否允許別人建立 baseline、重播實驗、找出失敗、撤銷證書,甚至證明某些模組根本沒有用。\boxed{ \text{它是否允許別人建立 baseline、重播實驗、找出失敗、撤銷證書,甚至證明某些模組根本沒有用。} }

從這一步開始,DEST 不再只是描述知識空間。

它成為:

可被反駁的 Research Runtime Hypothesis.\boxed{ \text{可被反駁的 Research Runtime Hypothesis}. }

附錄 A:DEST Kernel

DESTKernel:
  StateStore
  EventLedger
  SchemaRegistry
  GuardEngine
  CertificateGraph
  ReplayEngine

附錄 B:DEST Services

DESTServices:
  DomainRouter
  CoverageAuditor
  GapEngine
  GlueAuditor
  CenterTracker
  BoundaryTracker
  EvolutionController
  ConceptProposer
  RepresentationNavigator
  CoreCompressor
  ViewManager
  CertificateAuthority
  BenchmarkHarness

附錄 C:Certificate Status

CertificateStatus:
  PASS
  PARTIAL
  FAIL
  STALE
  UNKNOWN
  NOT_APPLICABLE
  REVOKED

附錄 D:Benchmark Tier

BenchmarkTier:
  MODULE
  INTERACTION
  END_TO_END
  LONG_HORIZON_ADVERSARIAL
  OPEN_WORLD

附錄 E:外部形式與工程對照

  1. W3C, PROV-O: The PROV Ontology, W3C Recommendation, 2013.
  2. SLSA Specification v1.2, Provenance / Build Provenance.
  3. OpenTelemetry official signals / traces documentation.
  4. NIST, AI Risk Management Framework 1.0 and AI Test, Evaluation, Validation and Verification (TEVV).
  5. Mialon et al. (2023), GAIA: a benchmark for General AI Assistants.
  6. Liu et al. (2023), AgentBench: Evaluating LLMs as Agents.
  7. Jimenez et al. (2023/2024), SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
  8. Aleithan et al. (2024), SWE-Bench+: Enhanced Coding Benchmark for LLMs,只作 benchmark leakage / weak-test 風險對照。

附錄 F:內部正典依賴

  • DEST-00 至 DEST-11。
  • ANKER Runtime v0.1。
  • AEREC MVP v0.3 Architecture。
  • 文明級知識編譯器。
  • Evidence-Ready / Verified Knowledge Runtime 系列。

附錄 G:下一階段

本輪正典到此封頂,不新增 DEST-13。

下一階段改成工程系列:

DEST Runtime v0.1\boxed{ \text{DEST Runtime v0.1} }

第一批交付物:

  1. schema/
  2. runtime/ledger.py
  3. runtime/state.py
  4. runtime/certificates.py
  5. runtime/replay.py
  6. benchmarks/module/
  7. benchmarks/interaction/
  8. benchmarks/long_horizon/
  9. dashboard/
  10. README.md

以及第一批:

100-case DEST Benchmark v0.1.\boxed{ 100\text{-case DEST Benchmark v0.1}. }

EML-DEST-2026-12 · v0.1 · 2026-08-13