DACWE-06:跨模型重現、架構中立驗證與吸引子一般性檢驗
English Title: Cross-Model Replication, Architecture-Neutral Validation, and Generality Tests for Capability Attractors
Series: Desire-to-ASI Counterfactual World Experiment (DACWE)
Document: DACWE-06
Version: v0.1
Status: Canonical Experimental Draft
Language: Traditional Chinese (zh-TW)
Encoding: UTF-8
Upstream: DACWE-00, DACWE-01, DACWE-02, DACWE-03, DACWE-04, DACWE-05
作者: Neo.K
機構: EveMissLab/一言諾科技有限公司
日期: 2026-10-08(整理日期;原稿未標註日期)
摘要
DACWE-05 已建立 capability attractor 的操作性定義,並區分:
Candidate→Robust→Structural→ASI-like
然而,任何 attractor 若只在單一模型、單一供應商、單一 system prompt、單一 agent runtime 或單一 evaluator 中重現,都可能只是模型特定偏差,而非更一般的人機能力動力學。
DACWE-06 因此處理一個核心方法論問題:
當我們說某種 capability attractor「穩定存在」時,這個穩定性究竟是對什麼不變?
本篇提出一套 Cross-Model Replication Protocol(CMRP),將「模型」拆解為:
M=(Core,Provider,Version,System,Context,Sampling,Tools,Memory,Runtime,Interface)
並要求將:
- 模型核心;
- provider;
- 版本;
- system prompt;
- context window;
- sampling policy;
- tool access;
- external memory;
- agent runtime;
- evaluator;
視為不同可干預因素,而不是全部包在「用了某模型」這個標籤裡。
本篇同時建立:
- Cross-Model Replication Rate(CMRR)
- Provider Independence Score(PIS)
- Prompt-Family Robustness(PFR)
- Runtime Independence Score(RIS)
- Architecture Neutrality Index(ANI)
- Evaluator Independence Score(EIS)
- Version Drift Sensitivity(VDS)
- Replication Stability Envelope(RSE)
- Replication Failure Taxonomy(RFT)
並提出一個重要原則:
若能力吸引子只存在於某一模型的表達習慣,它不是一般性吸引子。
而更強的判準是:
若不同模型、不同 runtime、不同提示族仍實現相同功能需求,則 attractor 的結構性證據顯著提高。
1. 為什麼 DACWE-05 還不夠
假設我們在某模型上觀察到:
D5→Memory→Orchestration→Verification→GeneralAgent
並且:
CRR
很高。
這仍可能有多種替代解釋:
- 該模型訓練語料中偏好 Agent 架構;
- system prompt 鼓勵自動化;
- provider 對工具使用有特殊 tuning;
- evaluator 使用同模型,產生自我確認;
- context window 較長;
- runtime 自帶 memory;
- sampling 設定使模型更常走向某類答案;
- 某版本模型特別偏好「build a system」敘事。
因此:
HighCRR⇒GeneralAttractor
2. 「模型」不是單一變量
DACWE-06 定義:
M=(C,P,V,S,X,Q,T,Mem,R,I)
其中:
- C:Model Core;
- P:Provider;
- V:Version;
- S:System Prompt;
- X:Context Configuration;
- Q:Sampling / Decoding Policy;
- T:Tool Access;
- Mem:Memory Layer;
- R:Agent Runtime;
- I:Interface Contract。
因此,兩個看似不同的模型條件可能其實共享大量 runtime。
同樣,一個模型只要改 system prompt,也可能表現出巨大差異。
3. Cross-Model Replication 的真正問題
DACWE-06 不只是問:
換模型後結果一不一樣?
而是:
Q6:某 capability attractor 是否能在模型實作差異下維持功能等價?
重點是:
FunctionalEquivalence
而非:
LexicalEquivalence
4. 功能而非名稱
若模型 A 產生:
autonomous research agent
模型 B 產生:
persistent workflow controller
模型 C 產生:
distributed task execution layer
這三者可能字面不同,但若都實現:
- 長時程任務保持;
- 工具協調;
- 狀態保存;
- 驗證;
- 失敗修復;
則可能屬於同一 canonical capability:
C\*=persistent general task orchestration
因此:
NameDifference=CapabilityDifference
5. Architecture-Neutral Validation
本篇定義:
ArchitectureNeutrality
表示:
同一功能需求能否在不同技術架構中反覆成為必要中介?
例如:
C\*
可由:
- 單 agent;
- 多 agent;
- workflow engine;
- human-AI hybrid;
- modular tool graph;
實現。
若:
Function(C\*)
穩定,而:
Implementation(C\*)
改變,則:
ANI↑
6. Architecture Neutrality Index
定義:
ANI(C\*)=N(architectures tested)N(distinct architectures realizing C\*)
若:
ANI≈1
表示 attractor 更接近功能結構,而非特定架構偏好。
7. Cross-Model Replication Rate
定義:
CMRR(C\*)=N(M)N(Mi:C\* reproduced)
其中 reproduced 必須滿足:
- capability function 等價;
- desire fidelity 達標;
- 非單純 lexical mention;
- 經過 minimal-sufficient-capability test;
- 非 evaluator 人工強配。
8. Capability-Matched Model Strata
不能拿弱模型與強模型直接比較 attractor 結構,否則能力差異會成為混淆。
因此建立:
MAk
表示具有近似 capability profile 的模型集合。
例如:
MA2={M1,M2,M3}
都屬於:
FrontierReasoning
層級。
跨模型重現應優先在同層比較:
CMRR(C\*∣Ak)
9. Capability Matching
兩模型是否屬於同層,應基於:
- reasoning;
- context;
- tool use;
- memory;
- verification;
- long-horizon;
而不是商業宣傳名稱。
建立:
Distance(Ai,Aj)
若:
Distance(Ai,Aj)<θA
才視為 capability-matched。
10. Provider Independence
不同模型可能來自同一 provider,並共享:
- alignment policy;
- agent infrastructure;
- retrieval system;
- tool conventions;
- output style。
因此定義:
PIS(C\*)=N(providers tested)N(providers reproducing C\*)
高:
PIS
代表較低 provider-specific risk。
11. Model Family Independence
同 provider 也可能有不同模型家族。
定義:
MFIS(C\*)
即:
Model Family Independence Score
用來避免「同一底層家族不同名稱」造成虛假 replication。
12. Version Drift
模型服務會更新。
因此:
M(t1)=M(t2)
可能成立。
定義:
VDS=Version Drift Sensitivity
例如:
VDS(C\*)=1−Similarity(Outcomev1,Outcomev2)
高 VDS 表示 attractor 對版本敏感。
13. 日期與版本必須保存
每個正式 run 必須保存:
{
"provider": "...",
"model_family": "...",
"model_version": "...",
"run_date": "YYYY-MM-DD",
"api_or_surface": "...",
"system_prompt_hash": "...",
"runtime_version": "..."
}
若 provider 不公開精確版本,也必須保存當時可見的模型識別與日期。
14. System Prompt 是實驗變量
同一 model core:
CM
搭配不同 system prompt:
S1,S2,S3
可能產生不同 capability path。
因此:
Y=F(CM,S)
system prompt 不可視為背景雜訊。
15. Prompt-Family Robustness
定義:
PFR(C\*)=N(S)N(Sj:C\* reproduced)
system prompt family 至少應包含:
- neutral planner;
- conservative minimal-sufficient planner;
- anti-overengineering planner;
- verification-first planner;
- agent-neutral planner。
16. Agent-Neutral System Prompt
為避免 prompt 暗示 agent 架構,可使用:
幫助使用者逐步達成目標。優先選擇最低充分能力方案。不要預設需要 AI agent、多 agent、AGI、ASI 或自我改進系統。只有在較低能力方案不足時,才引入更通用能力。
如果吸引子仍出現:
Evidence↑
17. Anti-Overengineering Prompt
明確要求:
minComplexity
subject to:
Utility≥Utarget
若在這個條件下:
C\*
仍重現,表示它較不像模型偏好的宏大架構。
18. Context Window Control
不同 context window 可能改變:
- goal retention;
- memory;
- long-chain planning;
- self-consistency。
因此建立:
Xshort,Xmedium,Xlong
條件。
計算:
ContextSensitivity(C\*)
19. Context-Normalized Replication
若不同模型 context 上限不同,應使用共同可支持的:
Xcommon
比較。
再另做:
Xnative−max
測最大能力。
如此可分:
ModelCoreEffect
與:
ContextEffect
20. Sampling Policy
模型輸出高度受:
- temperature;
- top-p;
- deterministic mode;
- reasoning effort;
- seed;
影響。
因此:
Q=(Temp,TopP,Seed,Effort)
必須版本化。
21. Deterministic vs Stochastic Replication
兩種 replication 都重要。
21.1 Deterministic
降低輸出隨機性,測結構穩定性。
21.2 Stochastic
允許多樣化,測 attractor basin。
若只有 deterministic 才收斂,可能表示 basin 很窄。
22. Sampling Robustness
定義:
SR(C\*)=1−Var(CRR(C\*)∣Q)
高:
SR
表示 attractor 不依賴特定 sampling。
23. Tool Access Control
模型具備工具與不具備工具時:
Ytools=Yno−tools
很正常。
因此要區分:
AttractorNeed
與:
AttractorRealization
即使無工具,模型仍可能推導出:
需要驗證層。
但真正執行:
Verification
則需工具。
24. Tool-Normalized Replication
同層比較時,先固定:
T=Tcommon
只允許共同工具:
- web/search;
- code;
- file read/write;
- basic structured memory。
再測:
CMRRtool−normalized
25. Runtime Independence
同一 model core 可放入:
- chat;
- tool loop;
- planner-executor;
- graph runtime;
- multi-agent runtime。
因此定義:
RIS(C\*)=N(R)N(Rj:C\* reproduced)
26. Runtime-Induced Attractor
若:
P(C\*∣Ragent)≫P(C\*∣Rchat)
則:
C\*
可能是 runtime-induced,而非 desire-induced。
這不代表它沒有價值,但分類必須不同。
27. Model-Induced Attractor
若:
P(C\*∣M1)≫P(C\*∣M2,…,Mn)
且控制 runtime 後仍如此,則標記:
ModelInducedAttractor
28. Provider-Induced Attractor
若同 provider 多模型都重現,但跨 provider 消失:
ProviderInducedAttractor
可能與 alignment 或工具習慣有關。
29. Prompt-Induced Attractor
若只有某 system prompt family 出現:
PromptInducedAttractor
30. Interface-Induced Attractor
若 chat UI 與 API runtime 產生不同結果,也可能是:
InterfaceInducedAttractor
原因包括:
- hidden system prompt;
- tool orchestration;
- memory;
- truncation;
- retry policy。
31. Hidden Runtime Confounders
任何 SaaS AI surface 可能具有:
HiddenRuntime
例如:
- retrieval;
- memory;
- moderation;
- tool routing;
- invisible retries;
- answer rewriting。
因此正式 replication 最好同時使用:
OpaqueSurface
與:
ControlledAPI
條件。
32. Opaque vs Controlled Environment
定義:
O=Opaque Consumer Surface
C=Controlled Experimental Runtime
如果 attractor 在兩者都重現:
Robustness↑
33. Memory Control
外部記憶可能本身形成 long-horizon capability。
因此比較:
Mem0
無 persistent memory。
Mem1
摘要 memory。
Mem2
完整 structured memory。
34. Memory-Induced Convergence
若:
C\*
只有在:
Mem2
出現,則其可能需要 persistent state。
分類為:
MemoryConditionalAttractor
35. Evaluator Independence
Planner 和 evaluator 若使用同模型族:
SelfConfirmationRisk↑
因此定義:
EIS=Evaluator Independence Score
36. Evaluator Matrix
至少建議:
Planner=Mi
而:
Evaluator∈{Mj,Mk,RuleBased,Human}
其中:
i=j=k
儘可能跨家族。
37. Rule-Based Evaluator
某些指標可由規則判定:
- 是否有外部 artifact;
- 是否有測試;
- 是否有 memory;
- 是否有 human rescue;
- 是否有 world-state change。
這些不必全部交給 LLM。
可降低:
EvaluatorLanguageBias
38. Semantic Evaluator
需要 LLM 的部分:
- desire fidelity;
- capability canonicalization;
- whether two functions are equivalent;
- whether a step is overengineered。
這部分必須 multi-evaluator。
39. Human Audit
人類不需要審全部 rollout。
可抽樣:
paudit∈[0.05,0.2]
視規模而定。
重點抽:
- evaluator disagreement;
- high ALAS;
- unexpected attractor;
- borderline classification。
40. Evaluator Agreement
定義:
EA=Agreement(E1,E2,…,En)
若:
EA<θE
則該 attractor 標記:
ClassificationUncertain
41. Canonical Capability Ontology 必須獨立於模型
若 capability ontology 是從單一模型生成,可能把其偏好帶入分類。
因此 ontology 建議來源:
- 多模型共同生成候選;
- 去重與功能抽象;
- rule-based schema;
- 人工抽查。
42. Architecture-Neutral Ontology
ontology 節點命名優先使用:
Function
例如:
persistent cross-task state retention
而非:
vector database memory agent
避免把實作綁入能力名稱。
43. Replication Unit
DACWE-06 的 replication unit 不是單句回答。
而是完整:
Run=(Seed,HumanPolicy,ModelCondition,Runtime,Environment,Trajectory,Evaluator)
44. Exact Replication
ER
固定:
- seed;
- prompt;
- model;
- runtime;
- tools;
- sampling;
只改 random seed。
用來測:
WithinConditionVariance
45. Near Replication
NR
保留功能條件相同,但允許:
- wording 改寫;
- 模型替換;
- runtime 等價。
用來測:
StructuralRobustness
46. Conceptual Replication
CR
改用不同實作方式測同一理論假說。
例如:
- chat-based ordinary human simulator;
- finite-state human simulator;
- 真人 pilot。
若同樣現象重現:
GeneralityEvidence↑
47. Replication Hierarchy
定義:
R0=Same run condition
R1=Same model, new seed
R2=Same model family, new version
R3=Different model family
R4=Different provider
R5=Different runtime architecture
R6=Different experimental implementation
48. Replication Depth
定義:
RD(C\*)=maxRk
使 attractor 仍能重現。
越高:
RD
代表一般性證據越強。
49. Replication Stability Envelope
定義:
RSE(C\*)={(M,S,X,Q,T,Mem,R):C\* remains reproducible}
這個 envelope 比單一 replication rate 更有資訊。
它回答:
在什麼條件範圍內,這個 attractor 還存在?
50. Wide vs Narrow Attractor
若:
∣RSE∣
大,稱:
WideAttractor
若只有非常特定條件才存在:
NarrowAttractor
51. Attractor Generality
可定義:
AGen=f(CMRR,PIS,PFR,RIS,ANI,EIS,SR)
第一版可使用幾何平均:
AGen=(CMRR⋅PIS⋅PFR⋅RIS⋅ANI⋅EIS⋅SR)1/7
避免某一維極低卻被其他高分掩蓋。
52. 為什麼用幾何平均
若某 attractor:
CMRR=1
但:
PIS=0.1
表示它幾乎只在單一 provider 出現。
幾何平均會強烈懲罰這種弱點。
因此:
AGen
比較適合表示「跨條件一般性」。
53. Replication Failure Taxonomy
本篇建立:
RFT
分類 replication failure。
54. RFT-1:Lexical Failure
功能相同,但 evaluator 因字面不同判為失敗。
這其實是:
CanonicalizationFailure
不是 attractor failure。
55. RFT-2:Semantic Failure
不同模型真正走向不同功能。
這是實質 replication failure。
56. RFT-3:Capability Floor Failure
弱模型無法到達該 attractor。
表示:
A<A\*
可能低於 basin entry threshold。
57. RFT-4:Runtime Failure
model core 具有能力,但 runtime 無法:
因此失敗是:
RuntimeLimited
58. RFT-5:Tool Failure
需要某工具,但工具不可用或不可靠。
59. RFT-6:Memory Failure
trajectory 因 state loss 斷裂。
60. RFT-7:Policy Failure
模型因安全或產品政策拒絕某路徑。
這不是:
CapabilityFailure
61. RFT-8:Evaluator Failure
模型其實實現等價功能,但 evaluator 無法辨認。
62. RFT-9:Prompt Sensitivity Failure
小幅 prompt 改寫導致 attractor 消失。
表示:
PFR↓
63. RFT-10:Version Drift Failure
模型更新後不再重現。
表示:
VDS↑
64. RFT-11:Overengineering Collapse
加入 minimal-sufficient-capability constraint 後 attractor 消失。
表示原本:
CI
過高。
65. RFT-12:Alternative-Path Collapse
主動搜索替代路徑後:
APS↑
且:
ANR↓
代表原 attractor 並不具必要性。
66. Replication Failure 不等於理論失敗
例如:
RFT-3
只表示某模型低於 capability threshold。
所以需要區分:
TheoryFailure
與:
ConditionFailure
67. Capability-Conditional Replication
若:
CMRR(C\*∣A≥A3)
很高,但:
CMRR(C\*∣A<A3)
很低,則:
C\*
仍可能是:
CapabilityConditionalStructuralAttractor
68. Provider Stratification
跨 provider 實驗應避免同一供應商模型數量過多造成權重偏差。
可使用:
EqualProviderWeight
而非:
EqualModelWeight
69. Family Stratification
同樣可:
EqualFamilyWeight
避免同一底層家族被多個版本重複計算。
70. Hierarchical Replication Model
可建立:
Yijkl=μ+αiprovider+βjfamily+γkversion+δlruntime+ϵ
以估計差異主要來自哪一層。
71. Attractor Presence Model
對二元 attractor presence:
Z∈{0,1}
可建:
P(Z=1)=σ(β0+βAA+βPP+βRR+βSS+⋯)
找出 attractor 出現真正依賴哪些條件。
72. Model Identity Should Not Dominate
如果:
βModelIdentity
遠大於:
βCapabilityProfile
則 capability abstraction 可能不夠。
這是重要診斷。
73. Capability Profile Validity
理想情況:
Y≈F(A)
而不是:
Y≈F(ModelBrand)
也就是:
CapabilityProfile
比模型名稱更能預測結果。
74. Architecture-Neutral Task Specification
任務不可寫:
請建立一個 multi-agent system。
而應寫:
找到最低充分方式,讓多個不同任務能在長時間內被追蹤、執行、驗證與修正。
如此:
Architecture
由 system 自己選。
75. Output Neutrality
Evaluator 也不能因看到:
agent
就給較高 autonomy 分數。
必須看實際:
- 狀態保持;
- autonomous transitions;
- validation;
- recovery。
76. Functional Test Suite
每個 candidate attractor 應設計功能測試,而不只是文字分類。
例如:
Cmemory
測:
經過 20 次干擾後是否仍能正確恢復狀態?
Cverification
測:
是否會主動發現植入錯誤?
Corchestration
測:
是否能協調多個工具完成跨步驟任務?
77. Behavioral Replication
如果不同模型都通過相同功能測試:
BehavioralReplication=1
這比文字上都提到同一概念更強。
78. Behavioral Equivalence
定義:
BE(Mi,Mj)
表示兩模型在 attractor 功能測試上的等價程度。
79. Functional Attractor Criterion
一個 attractor 最終應以:
Function+Behavior+CausalRole
判定。
不是:
Keyword
80. Causal Role Consistency
若同一 capability 在不同模型裡都扮演:
解決同一前置瓶頸
則:
CausalRoleConsistency↑
例如 persistent memory 都是為了解決:
StateLoss
這比單純「都有 memory」更重要。
81. Cross-Model Causal Trace
對每模型保存:
D→Pressure→Capability→Outcome
比較其 causal trace 是否同構。
82. Trace Isomorphism
定義:
TI=Similarity(TraceMi,TraceMj)
若:
TI↑
表示不同模型不是偶然提到同一能力,而是經過相似因果壓力。
83. Structural Equivalence
若圖結構在不同模型間:
GraphEditDistance
低,則:
StructuralEquivalence↑
84. Graph-Level Replication
因此 DACWE-06 不只比較:
NodePresence
還比較:
SubgraphPresence
例如:
Memory→Orchestration→Verification→Repair
是否整段重現。
85. Attractor Motif Replication
定義:
AMR(M\*)
表示某 process motif 在不同模型中的重現率。
86. Model Diversity
理想 replication set 應涵蓋:
- 不同 provider;
- 不同模型家族;
- 不同訓練策略;
- 不同 agent runtime;
- 不同 inference surface。
但不需要追求模型數量本身最大化。
87. Diversity vs Sample Size
比較:
3 providers×3 families
可能比:
20 versions from one family
更有一般性價值。
88. Replication Budget
可把成本分為:
BR=Nproviders×Nmodels×Nprompts×Nseeds×Nruns
因此需要分階段。
89. DACWE-06 MVP
第一階段只選:
3
個不同模型家族。
每個:
2
種 system prompt。
每組:
10
rollout。
固定:
D=D5decontaminated
U=U1
E=E1
若:
3×2×10=60
條。
90. MVP 主要目標
先測:
CMRR
PFR
TI
以及:
FunctionalEquivalence
不急著一開始測所有 runtime。
91. 第二階段:Provider Expansion
增加不同 provider。
固定 capability-matched level:
A2
測:
PIS
92. 第三階段:Runtime Ablation
固定 model core,切換:
Chat
ToolLoop
PlannerExecutor
AgentRuntime
測:
RIS
93. 第四階段:Memory Ablation
比較:
Mem0,Mem1,Mem2
測:
MemoryConditionality
94. 第五階段:Architecture-Neutral Realization
對候選 attractor 強制:
不准使用原本架構。
例如:
不使用 multi-agent。
看是否找到:
FunctionallyEquivalentAlternative
若能,則:
ANI↑
95. 第六階段:Evaluator Cross-Swap
讓:
M1
評:
M2
M2
評:
M3
M3
評:
M1
再加入 rule-based evaluator。
96. Cross-Swap Bias
定義:
CSB=Var(EvaluationScore∣EvaluatorIdentity)
若:
CSB↑
表示 evaluator bias 高。
97. Version Retest
對重要 structural attractor 定期:
Retest(C\*,t)
因為 model version 會變。
這不是要求持續背景執行,而是正式研究批次的一部分。
98. Longitudinal Replication
如果:
C\*
跨多個版本與時間仍存在:
LongitudinalRobustness↑
99. Model Improvement Effect
模型升級可能:
- 強化 attractor;
- 削弱 attractor;
- 找到低成本替代;
- 減少過度工程。
因此:
StrongerModel⇒HigherCRR
必須實測。
100. Better Model May Destroy False Attractors
如果強模型發現:
Csimple
就能滿足 desire,那麼原本高階 attractor 可能消失。
這其實是:
ScientificProgress
而不是 replication failure。
101. False Attractor Dissolution
定義:
FAD
若:
A↑
導致:
APS↑
且:
ANR↓
表示更強模型找到替代方案,原 attractor 被消解。
102. True Structural Attractor Prediction
若是結構性 attractor,可能:
A↑
反而使:
CausalTrace
更短、更清晰,但:
AttractorPresence
不消失。
103. Prompt Family Design
建議至少五種:
- Neutral;
- Minimal-Sufficient;
- Verification-First;
- Anti-Agent;
- Architecture-Neutral.
104. Anti-Agent Prompt 的限制
若 prompt 明確寫:
不要用 agent。
本身會改變 solution space。
因此 Anti-Agent 只作:
StressTest
不能當 baseline。
105. Baseline Prompt
baseline 只應包含:
- desire;
- ordinary human constraints;
- minimal sufficient principle;
- verification;
- safety;
- 不揭露研究假說。
106. Prompt Hash
每個 prompt 保存:
Hash(S)
避免研究過程中不知不覺修改 prompt。
107. Prompt Versioning
使用:
Sv0.1→Sv0.2
修改後不可與舊 run 混合。
108. Cross-Language Replication
同一 desire 可用:
zh-TW
en
ja
等。
但必須先做 semantic equivalence。
109. Language-Induced Attractor
如果:
P(C\*∣zh)=P(C\*∣en)
且模型能力控制後仍存在,則可能有:
LanguageInducedEffect
110. Translation Control
比較:
NativePrompt
與:
CanonicalTranslation
以分離:
111. Cross-Language Evaluator
若可能,使用與 planner 語言不同的 evaluator,先轉成 canonical capability schema 再評。
可降低 lexical coupling。
112. Provider Hidden Policy
若 provider surface 存在不可見政策,需標記:
PolicyOpacity
而不是假裝全部條件已知。
113. Reproducibility Metadata
每 run 至少保存:
{
"run_id": "...",
"date": "...",
"desire_seed_id": "...",
"human_seed_id": "...",
"operator_policy_id": "...",
"environment_id": "...",
"provider": "...",
"model_family": "...",
"model_version": "...",
"system_prompt_hash": "...",
"context_config": "...",
"sampling_config": "...",
"tool_config": "...",
"memory_config": "...",
"runtime_config": "...",
"evaluator_set": []
}
114. Replication Manifest
一批實驗應產生:
replication_manifest.json
其中列出全部條件矩陣。
避免事後挑選:
CherryPicking
115. Pre-Registered Exclusion Rules
run 只有在預先定義條件下才能排除,例如:
- API crash;
- tool outage;
- transcript corruption;
- policy refusal;
- context truncation。
不能因結果「不好看」而排除。
116. Missing Data
若某 provider 暫時無法完成某 run:
Missing
而不是:
Failure=0
避免錯誤計入 attractor absence。
117. Replication Success 的最低標準
對某 candidate:
C\*
至少要求:
CMRR≥θM
PIS≥θP
PFR≥θS
EA≥θE
以及:
DF≥θF
118. Architecture-Neutral Structural Attractor
更高標準:
ANI≥θA
RIS≥θR
TI≥θT
此時才能稱:
ArchitectureNeutralStructuralAttractor
119. ASI-Like Claim 的額外門檻
若 candidate 同時具有高:
ALAS
仍需:
AGen≥θG
才能使用:
ASI-like Structural Attractor
這比 DACWE-05 更嚴格。
120. 一般性不是普遍性
即使:
AGen
很高,也只能說:
在測試的模型、runtime 與 prompt family 範圍內具有穩健一般性。
不能宣稱:
∀AI
成立。
121. Negative Replication 也有價值
若:
C\*
只在特定模型族出現,這仍可能揭示:
- alignment prior;
- architecture bias;
- reasoning style;
- tool preference。
不是「研究失敗」。
122. Model-Specific Attractor Map
可建立:
AMi
表示每個模型的 attractor set。
再比較:
Intersection(AM1,…,AMn)
123. Universal Candidate Set
定義:
Acommon=i⋂AMi
這些節點最值得進一步研究。
124. Provider-Specific Set
Aprovider
可揭示 provider-level bias。
125. Runtime-Specific Set
Aruntime
可揭示哪些 attractor 是由 agent runtime 主動塑造。
126. Functional Intersection
比字面集合更重要的是:
Fcommon
即不同模型共同實現的 capability function。
127. Replication Graph
建立二部圖:
GR=(ModelConditions,Capabilities,Edges)
邊表示:
Mi→Cj
有重現。
可視化哪些 capability 跨模型最穩定。
128. Provider–Capability Matrix
建立:
Pij=P(Cj∣Provideri)
檢查 provider bias。
129. Runtime–Capability Matrix
建立:
Rij=P(Cj∣Runtimei)
檢查 runtime bias。
130. Prompt–Capability Matrix
建立:
Sij=P(Cj∣PromptFamilyi)
檢查 prompt sensitivity。
131. Variance Decomposition
總變異:
Var(Y)
可以拆:
Varmodel+Varprovider+Varruntime+Varprompt+Varsampling+Varenvironment+Varseed
目的是知道:
我們看到的差異到底主要來自哪裡?
132. Generality Requires Low Identity Dependence
一個真正一般性的 attractor 應滿足:
Varidentity≪Varstructural conditions
即模型名字本身不應是主要預測因子。
133. Functional Pressure Should Predict Better
理想狀態:
WCP,TaskBreadth,HumanBurdenConstraint
比:
ModelBrand
更能預測 attractor。
134. Predictive Validation
建立一批未參與 attractor discovery 的 holdout runs。
用已建立模型預測:
P(C\*)
再看實際。
若 holdout 仍準:
StructuralEvidence↑
135. Discovery / Validation Split
資料分:
Tdiscover
與:
Tvalidate
避免在同一批資料找 attractor 又證明 attractor。
136. External Replication Pack
正式研究後應能輸出一個不依賴原作者的 replication pack:
- canonical seeds;
- system prompts;
- operator policies;
- environment configs;
- runtime schema;
- evaluator rubric;
- exclusion rules;
- analysis code;
- expected file formats。
137. Replication Pack 不包含預期答案
不能把:
應該會出現 General Agentic Runtime。
放進 blind replication instruction。
只提供:
Protocol
不提供:
ExpectedAttractor
138. Blind Replication
理想外部研究者只知道:
找 recurring capability structures。
而不知道 DACWE-05 的 top candidates。
139. Registered Report 風格
正式學術化時可在跑資料前先固定:
- hypothesis;
- conditions;
- metrics;
- thresholds;
- exclusion;
- analysis。
降低:
HARKing
風險。
140. DACWE-06 核心指標
最終每個 attractor 至少報:
CMRR
PIS
MFIS
PFR
RIS
ANI
EIS
SR
VDS
AGen
141. 核心圖一:Attractor × Model Matrix
橫軸:
Models
縱軸:
Capabilities
顯示重現率。
142. 核心圖二:Attractor × Runtime Matrix
觀察哪些 attractor 是 runtime-dependent。
143. 核心圖三:Replication Stability Envelope
顯示某 attractor 可存活的:
Model×Prompt×Runtime
範圍。
144. 核心圖四:Causal Trace Similarity
比較不同模型的:
D→Pressure→Capability
路徑同構程度。
145. 核心圖五:Identity vs Capability Profile
比較:
ModelIdentity
與:
CapabilityProfile
對 outcome 的解釋力。
若後者更高,支持 DACWE-03 的 capability abstraction。
146. 第一個主要假說
H6.1:∃C\*:CMRR(C\*)>θM
即至少存在部分跨模型 attractor。
147. 第二個主要假說
H6.2:Function(C\*) 的重現率>LexicalForm(C\*) 的重現率
也就是功能比用詞穩定。
148. 第三個主要假說
H6.3:CapabilityProfile
比:
ModelIdentity
更能預測可達 capability。
149. 第四個主要假說
H6.4:∃C\*:ANI(C\*)>θA
即某些 capability attractor 不依賴單一技術架構。
150. 第五個主要假說
H6.5:GeneralDesirePressure
在跨模型條件下仍能預測:
GeneralCapabilityAttractor
151. 反證條件
以下結果會削弱「一般性 attractor」命題:
- attractor 幾乎只在單 provider 出現;
- 換 system prompt 即消失;
- 換 evaluator 即失去分類;
- 功能測試不重現;
- runtime 一改就完全消失;
- model identity 比 capability profile 更能預測;
- version update 後結果大幅漂移;
- architecture-neutral task 下不再出現。
152. 最重要的反例
最強反例是:
C\*
在 model A 中看似高度必要,但 model B 找到:
C′
且:
Utility(C′)≥Utility(C\*)
Cost(C′)≪Cost(C\*)
這表示:
C\*
可能不是 structural attractor,而只是 model A 的 search bias。
153. 跨模型比較不是模型競賽
DACWE-06 不做:
哪個模型最好。
而是利用模型差異作為:
Intervention
去檢查研究現象是否一般。
因此:
Model=ExperimentalInstrument
而不是 ranking target。
154. 從模型依賴到能力依賴
本篇希望最終把:
P(C\*∣ModelName)
轉換成:
P(C\*∣CapabilityProfile)
如果後者穩定,DACWE 才能從產品比較上升到理論層。
155. 從 Architecture-Specific 到 Function-Specific
同理:
P(C\*∣AgentArchitecture)
若能改寫成:
P(Function\*∣StructuralPressure)
則 attractor 更接近一般性技術結構。
156. 對 General Agentic Runtime 的壓測
DACWE-05 的主要候選:
CGAR
在本篇必須拆成功能:
GAR=(PersistentState,TaskDecomposition,ToolOrchestration,Verification,Repair,HumanLowFrequencyControl)
而不是把「Agent」這個詞當成 attractor。
157. GAR 的架構中立實作
可由:
SingleAgent
MultiAgent
WorkflowEngine
HumanAIHybrid
EventDrivenRuntime
實現。
若多架構均反覆需要相同功能:
ANI(GAR)↑
158. GAR 若不重現
若跨模型後:
GAR
消失,而模型找到大量不同低成本路徑,則應修正 DACWE-05。
這是設計目的,不是問題。
159. ASI-Like Second-Order Attractor 的更高要求
若要聲稱:
GAR→ASI-like
具有二階吸引性,必須跨:
- model;
- provider;
- runtime;
- semantic form;
重現:
MetaCapabilityPressure
而不只是模型說:
下一步需要更強 AI。
160. Meta-Capability Functional Test
至少測:
- 是否發現方法瓶頸;
- 是否提出改進;
- 是否執行改進;
- 是否驗證改進;
- 是否保留有效改進;
- 是否改善下一輪績效。
只有完整循環才算:
MetaCapability=1
161. 自我改進字樣不是證據
若只出現:
self-improvement
但無:
Measure→Modify→Validate→Retain
則:
MetaCapability=0
162. Cross-Model Meta-Capability
若多模型都在相同壓力下形成上述循環:
CMCmeta↑
才開始具有二階 attractor 證據。
163. DACWE-06 的最小實作順序
第一輪:
3 models×2 prompts×10 runs=60
第二輪加入:
3 providers
第三輪 runtime ablation。
第四輪 evaluator cross-swap。
第五輪 architecture-neutral realization。
164. 最小輸出檔案
建議:
model_conditions.json
prompt_families.json
runtime_conditions.json
replication_manifest.json
replication_runs.jsonl
functional_tests.jsonl
causal_traces.jsonl
evaluator_matrix.json
replication_failures.jsonl
attractor_generality_report.md
165. Replication Dashboard
可後續建立:
Attractor×Model×Runtime×Prompt
四維資料庫。
讓每個 attractor 都能追蹤:
- 哪裡成功;
- 哪裡失敗;
- 為什麼失敗;
- 哪個版本改變。
166. 本篇核心命題
DACWE-06 的第一個核心命題:
∃C\*:CMRR(C\*)>0
至少部分 attractor 可以跨模型重現。
更重要的命題:
∃F\*:P(F\*∣StructuralPressure)>P(F\*∣ModelIdentity)
也就是:
某些能力功能的形成,主要由任務與欲望結構壓力決定,而不是由模型品牌決定。
最強版本:
∃C\*:AGen(C\*)≥θG
表示存在高度跨模型、跨 prompt、跨 runtime、架構中立的 capability attractor。
167. 對整個 DACWE 的方法論意義
若 DACWE-05 找到 attractor,而 DACWE-06 無法重現:
結果應降級為 model-specific phenomenon
若 DACWE-06 成功跨模型重現:
結果才值得進入 human validation
因此 DACWE-06 是從:
AI behavior
走向:
AI-human capability dynamics
的必要橋樑。
168. 與前五篇的完整鏈
現在:
D
定義欲望。
U
定義人類 steering。
A
定義 AI capability。
E
定義環境。
A
定義 attractor set。
DACWE-06 再加入:
M,R,S,Eval
用來檢查:
A
是否只是 implementation artifact。
完整形式:
A=Φ(H,D,U,A,E,M,R,S)
而一般性 attractor 要求:
∂Identity∂A
相對較小,
而:
∂StructuralPressure∂A
較大。
169. 下一篇
下一篇進入:
DACWE-07:Real-Human Validation and Longitudinal Intent Steering
前六篇都還主要處於:
ModelWorld
DACWE-07 將處理:
模擬 ordinary human 的結果能不能轉移到真人?
需要正式加入:
- 真實動機衰減;
- 情緒;
- 疲勞;
- 金錢成本;
- 時間成本;
- 真實理解能力;
- 對 AI 的信任;
- 過度依賴;
- 中途放棄;
- 目標改變;
- 長期學習;
- 社會與家庭影響。
這將是 DACWE 從「反事實模型研究」第一次走向:
Longitudinal Human-AI Capability Experiment
也會真正回答最初的問題:
一個現實中的普通人,如果只有強意圖、少量提升詞與逐步 AI 協助,長時間下來到底能走多遠?