Paper 05 — 架構推理的跨 AI 可重現性

Cross-Agent Reproducibility of Architecture Reasoning

系列： TDD × MSSP Architecture Backtrace and Fresh Reconstruction
系列代號： ABFR Series
文件版本： v0.1
日期： 2026-08-28
作者： Neo.K / EveMissLab

摘要

Paper 01–04 已建立 ABFR（Architecture Backtrace and Fresh Reconstruction）的三閉包方法：Behavioral Closure、Structural Reconstruction Closure 與 Discriminative Closure。然而，只要方法仍主要由單一作者、單一 Agent、單一 repository 或單一既有上下文執行，就不能判斷成功究竟來自方法本身，還是特定模型能力、隱性上下文、熟悉工作區、工具配置或一次性的推理偶然性。

本文提出 Cross-Agent Reproducibility of Architecture Reasoning（架構推理的跨 AI 可重現性） 作為 ABFR 從方法設計走向通用性驗證的核心框架。其目標不是要求不同 AI 產生相同 private reasoning、檔案閱讀順序、工具呼叫序列或完全相同的 Minimal Sufficient Reconstruction Set。對存在合法替代 backend、不同 traversal route 與 stochastic policy 的 Agent 而言，要求 trace identity 不但沒有必要，也會錯誤懲罰合法差異。本文真正要求的是：在相同 canonical inputs、scope、execution contract、fresh context 與受控工具邊界下，不同執行者是否能獨立得到可比較的結構結論、覆蓋必要 critical nodes、重建可接受的 architecture profile、重現必要 falsifying witnesses，並得到一致或可解釋差異的三閉包 verdict。

本文將可重現性分為四層：intra-agent repeatability、cross-agent reproducibility、cross-model transportability、cross-project generalizability。並固定第一輪實驗條件：frozen repository revision、canonical ABFR specification、Inline Execution、禁止 sub-agent alternate path、相同工具與 authority contract、fresh session、predeclared replay equivalence、predeclared witness registry，以及所有 Additional Information Requests 的完整記錄。

本文定義 Critical Structural Coverage、Structural Jaccard、Relation Agreement、Divergence Detection、MSRS Equivalence-Class Agreement、Fresh Reconstruction Success、Witness Reproduction Rate、Three-Closure Verdict Agreement、Additional Information Request Rate、Human Intervention Count、成本與 run-to-run variance 等量測。其核心立場是：單一 Agent run 不足以支持方法論可重現性；同一 Agent 的 repeatability 與不同 Agent 的 reproducibility 必須分開測。

近期 repository-level Agent benchmark 已經暴露與本研究高度相關的問題。SWE-bench Verified 以人工驗證任務與 minimal execution setting 強化公平比較；Multi-Docker-Eval 指出 environment construction 仍是 Agent automation 的主要瓶頸之一；RepoReason 將 integration width 指認為 repository-level reasoning 的重要認知瓶頸；SWE-Mutation 顯示 LLM 生成 test suite 可能缺乏足夠 discriminative power；ReproEvalCard 則指出 LLM pipeline 評估若缺少 prompt、judge configuration、retrieval snapshot 與 intermediate traces，重現性會明顯受限。這些結果共同支持本文的實驗設計：不能只比較最終 pass rate，而必須控制 execution environment、保存可重播 evidence、執行多次獨立 rollout，並將方法輸出轉成可比較的結構狀態。

本文不宣稱 ABFR 已具跨 AI 可重現性，而將「其他 AI 是否也能獨立完成」轉換成可證偽問題，並作為後續 Spec B — Cross-AI ABFR Validation Protocol v0.1 的理論基礎。

關鍵詞： Cross-Agent Reproducibility；AI Coding Agent；ABFR；MSSP；Architecture Reasoning；Repository-Level Reasoning；Fresh Replay；Agent Evaluation；Structural Agreement

1. 從一次成功到方法成立

若某個 Agent $A$ 在 project $P$ 上成功執行 ABFR，只能得到：

\exists A: \operatorname{ABFRSuccess}(A,P)=1

不能推出：

\forall A,P: \operatorname{ABFRSuccess}(A,P)=1

更不能推出：

\text{ABFR is a general methodology}

因此本文研究的不是「ABFR 能不能被某個強 Agent 做到」，而是：

\boxed{ \text{ABFR 是否能在移除原始 Agent 的條件下被重新執行} }

2. 核心研究問題

本文將基本問題寫成：

\boxed{ \text{Same Method} + \text{Same Canonical Inputs} + \text{Fresh Executor} \overset{?}{\Longrightarrow} \text{Comparable Structural Conclusions} }

右側刻意不是：

\text{Identical Reasoning Trace}

而是：

\text{Comparable Structural Conclusions}

因為不同 Agent 可以合法採取不同路徑。

3. 可重現性不等於 Trace Identity

Paper 03 已定義一個 target $Q$ 可能存在多個合法 MSRS：

S_A,S_B\in\mathfrak M_Q

且：

S_A\neq S_B

但：

\mathcal R(S_A,E_f) \equiv_{Q,\mathcal I} \mathcal R(S_B,E_f)

因此 Agent 1 找到 $S_A$ 、Agent 2 找到 $S_B$ ，兩者都可能正確。

所以：

\boxed{ \text{Reproducibility} \neq \text{Trace Identity} }

本文採：

\boxed{ \text{Reproducibility} = \text{Constraint-Compatible Outcome Agreement} }

4. 四層可重現性

4.1 Intra-Agent Repeatability

同一模型、Agent shell、工具、repository 與 protocol，以 fresh session 重跑：

A_i^{(1)},A_i^{(2)},\ldots

是否能得到穩定核心結論？

它測：

\text{run-to-run variance}

而不是跨模型差異。

4.2 Cross-Agent Reproducibility

不同 Agent system：

A_1,A_2,\ldots,A_n

在相同 benchmark contract 下，是否能獨立重現 critical structure、fresh reconstruction、required witnesses 與 closure verdict？

4.3 Cross-Model Transportability

固定 Agent shell、工具與 protocol，只替換 underlying model：

M_1,M_2,\ldots,M_n

測方法是否依賴單一模型家族。

4.4 Cross-Project Generalizability

即使不同 AI 都能在 MSSP project 成功，也可能只是與 MSSP taxonomy 高度耦合。

因此必須比較：

P_{\mathrm{MSSP}}

與：

P_{\mathrm{non-MSSP}}

若 non-MSSP project 只要具有 explicit architecture、relations、tests 與 fresh boundary 也能執行 ABFR，才開始支持：

\text{ABFR-MSSP} \subseteq \text{ABFR-General}

5. Repeatability 先於 Reproducibility

若同一 Agent 的：

\text{Repeatability}\approx 0

那麼跨 Agent 差異很難解釋。

因此：

\boxed{ \text{Repeatability First} \rightarrow \text{Cross-Agent Reproducibility} }

單次成功不能代表一個 Agent condition。

Agent 執行可能受到 sampling、planner branch、tool timing、search ordering、environment state、retry path、context compression 與服務狀態影響。

第一輪 pilot 建議：

n_{\text{pilot}}\geq 3

正式比較可從：

n_{\text{formal}}\geq 5

起步，再依觀察 variance 調整。這些是工程起點，不是統計學普遍定理。

6. Model Effect 與 Agent-System Effect

完整 Agent system 可以表示為：

A_i= ( M_i, F_i, T_i, P_i )

其中：

$M_i$ ：model；
$F_i$ ：framework；
$T_i$ ：tool set；
$P_i$ ：policy / prompt / execution mode。

因此：

\boxed{ \text{Model Effect} \neq \text{Agent-System Effect} }

若比較模型本身，應盡量固定：

F,T,P

只改：

M

若比較完整產品 Agent，則必須把 shell / framework 當成實驗變項，而不能把差異全部歸因於 model。

7. 第一輪固定 Inline Execution

本系列第一輪通用性驗證固定：

\boxed{ \text{Execution Mode} = \text{Inline Execution} }

不提供：

sub-agent alternate path；
hidden worker；
automatic delegation；
secondary-model task splitting。

不是因為 multi-agent 不可行，而是要先降低 orchestration confound。

第一輪問題是：

\boxed{ \text{Can one fresh executor follow ABFR end-to-end?} }

8. Frozen Experimental Baseline

每次 experiment 都必須固定：

B = ( repo, commit, tests, artifacts, toolchain )

最低記錄：

repository
commit SHA
working tree status
language/runtime versions
dependency lock identity
test command
ABFR protocol version
task ID

若：

B_i\neq B_j

則兩個 run 不應直接比較。

9. Canonical Input Packet

所有 executor 得到相同：

I_C = \{ B, Q, R, A_d, \mathcal I, \mathcal F, \simeq_Q, W, \Pi \}

其中：

$B$ ：baseline；
$Q$ ：replay targets；
$R$ ：behavioral requirements；
$A_d$ ：declared architecture；
$\mathcal I$ ：architecture invariants；
$\mathcal F$ ：Freshness Contract；
$\simeq_Q$ ：Replay Equivalence；
$W$ ：witness registry；
$\Pi$ ：execution protocol。

但 benchmark oracle 不應全部提供給 executor。

因此：

I_C = I_{\text{executor}} \cup I_{\text{oracle}}

例如 injected hidden dependency、critical nodes 與 hidden divergence 放在：

I_{\text{oracle}}

避免把答案寫進提示詞。

10. Fresh Session

每個 run：

r_{i,j}

必須建立新的 execution context：

C_{\text{prior}}=0

至少在 protocol 可控制範圍內：

不提供前一 run 對話；
不提供其他 Agent 結果；
不提供作者口頭補充；
不沿用 hidden notes；
不把上一 run 的 private reasoning 直接餵入。

允許重用 canonical artifacts 與經 Freshness Contract 明示的 materials。

11. Tool Capability 與 Authority Contract

工具能力：

T_i = \{ t_1,\ldots,t_k \}

可能包括 file read、search、shell、tests、git、network、container、database、GUI。

第一輪應盡量固定 common denominator：

T_{\cap} = \bigcap_iT_i

若某 Agent 缺必要工具，應標記 capability-limited，而不是直接算 reasoning failure。

同時：

\text{Capability} \neq \text{Authority}

所以另固定：

read source: yes
modify worktree: yes
run tests: yes
network: protocol-defined
push git: no
deploy: no
access secrets: no

12. Human Interaction 與 AIR

primary experiment 原則：

\boxed{ \text{No non-canonical answer injection} }

若 Agent 詢問額外資訊，記錄：

AIR

包括 Paper 03 的：

AIR-1 Canonical Navigation；
AIR-2 Missing Documentation；
AIR-3 Hidden Environment；
AIR-4 Hidden Decision；
AIR-5 Authority Request。

定義：

N_{AIR}(r)

並記：

H_I(r)

即非 canonical human interventions。

理想：

H_I=0

但 pilot 中 $H_I>0$ 本身就是「哪些資訊尚未進 canonical method」的研究結果。

13. 輸出不能只有 Final Answer

每個 run 必須輸出：

O_r = ( B_r, S_r, M_r, F_r, R_r, D_r, W_r, V_r, C_r )

其中：

$B_r$ ：backtrace result；
$S_r$ ：structural coverage；
$M_r$ ：MSRS candidate；
$F_r$ ：freshness evidence；
$R_r$ ：replay evidence；
$D_r$ ：declared / observed / effective divergence；
$W_r$ ：witness results；
$V_r$ ：three-closure verdict；
$C_r$ ：cost / interaction metrics。

不要求保存 private chain-of-thought。

需要保存的是：

\boxed{ \text{Reproducible Evidence} \neq \text{Private Chain-of-Thought} }

例如 inspected artifacts、tool calls、frontier transitions、structured claims、test results 與 evidence links。

14. Structural Agreement

Agent $i$ 得到 structural node set：

V_i

可計算 exploratory Jaccard：

J_V(i,j) = \frac{ |V_i\cap V_j| }{ |V_i\cup V_j| }

但 Jaccard 不能作為唯一成功標準。

若 benchmark 已知 critical set：

K^*

則：

CSC(i) = \frac{ |V_i\cap K^*| }{ |K^*| }

稱為 Critical Structural Coverage。

同理 relation set：

E_i

可以計算：

CRA(i) = \frac{ |E_i\cap E^*| }{ |E^*| }

其中 $E^*$ 是 critical relation ground truth。

15. Divergence Detection

Controlled benchmark 可注入：

D^* = \{ d_1,\ldots,d_m \}

例如：

undeclared dependency；
false modularity；
authority leak；
stale evidence；
hidden runtime state。

Agent 回報：

\hat D_i

則：

Precision_D = \frac{ |\hat D_i\cap D^*| }{ |\hat D_i| }

Recall_D = \frac{ |\hat D_i\cap D^*| }{ |D^*| }

這讓 ABFR 可以與 TDD-only 直接比較 architecture-defect detection。

16. MSRS Agreement

不能要求：

M_i=M_j

因為多個合法 MSRS 可能同時存在。

應定義 equivalence class：

[M]_{Q,\mathcal I}

若：

M_i \sim_{Q,\mathcal I} M_j

即兩者都能 fresh reconstruct、replay equivalent 且保留 invariants，則：

Agreement_{MSRS}(i,j)=1

即使 literal set 不同。

這是「不同路徑、相容結論」的核心例子。

17. Fresh Reconstruction 與 Replay Metrics

對 run：

FRS(r) = \begin{cases} 1,&\text{fresh reconstruction succeeds}\\ 0,&\text{otherwise} \end{cases}

但失敗仍需依 Paper 03 分類：

FR\text{-}01,\ldots,FR\text{-}07

對 replay targets $q_k$ ，每個 Agent 輸出：

v_{i,k} \in \{ PASS, PARTIAL, FAIL, INCONCLUSIVE \}

若不同 Agent 使用相同：

\simeq_Q

卻得到不同 verdict，必須追查 evidence、environment、observation 或 reasoning 差異。

18. Witness Reproduction

Paper 04 定義 falsifying witness registry：

W^-

對 fresh Agent：

A_i

若能重現 witness $w$ 的 expected failure，記：

Rep_i(w)=1

定義：

WRR_i = \frac{ \sum_{w\in W^-}Rep_i(w) }{ |W^-| }

critical witness 可以要求：

WRR=1

若 Agent 找到 registry 之外的新有效反例：

w_{\text{new}}

則記 Novel Witness Discovery，但它是額外研究指標，不是基本 PASS 要求。

19. Three-Closure Verdict Agreement

每個 Agent 輸出：

V_i = ( C_B, C_S, C_D )

與：

V_{3C} \in \{ PASS, PARTIAL, FAIL, INCONCLUSIVE \}

可以報：

exact percent agreement；
pairwise agreement；
適用時使用 Cohen's kappa、Fleiss' kappa 或 Krippendorff's alpha。

但：

\boxed{ \text{Agreement} \not\Rightarrow \text{Correctness} }

如果所有 Agent 都犯同一錯誤，agreement 仍會很高。

所以 agreement 必須和 hidden oracle / injected ground truth 一起報。

20. Correctness 與 Reproducibility 必須分開

反過來：

\text{Correctness} \not\Rightarrow \text{Reproducibility}

如果每個 Agent 最後都修好功能，但：

有時漏 architecture divergence；
有時靠作者補充；
有時 fresh reconstruction 失敗；
有時 witness 無法重現；

則 final correctness 不足以支持 method reproducibility。

因此每個 experiment 至少同時報：

\text{Task Correctness}

與：

\text{Method Reproducibility}

21. Disagreement Taxonomy

不同 Agent verdict 不同時，至少分類：

DG-01 Coverage Disagreement

某 Agent 沒看到 critical structure。

DG-02 Relation Interpretation

節點相同，但 dependency / authority relation 判斷不同。

DG-03 Effective-State Interpretation

對：

A_e

推導不同。

DG-04 Equivalence Interpretation

對相同 replay output 是否：

\simeq_Q

判斷不同。

DG-05 Evidence Weighting

看到相同 evidence，但可信度不同。

DG-06 Tool Observation

實際 tool run 產生不同結果。

DG-07 Environment Drift

benchmark environment 沒固定好。

DG-08 Protocol Violation

Agent 沒遵守 ABFR procedure。

DG-09 Benchmark Ambiguity

canonical instructions 本身不足。

DG-10 Legitimate Alternative Architecture

不同結論都位於允許的 architecture equivalence class。

這個 taxonomy 比只報「模型不一致」更有診斷價值。

22. Run-to-Run Variance

對 scalar metric $m$ ：

m_1,\ldots,m_n

計算：

\bar m = \frac{1}{n} \sum_i m_i

與：

s_m = \sqrt{ \frac{ \sum_i(m_i-\bar m)^2 }{ n-1 } }

對 categorical verdict 則報 frequency、entropy 與 agreement。

如果同一 Agent 產生：

PASS,FAIL,PASS,INCONCLUSIVE,PASS

只報平均 pass rate 仍不足以描述其穩定性。

23. Stability Profile

每個 Agent 可有：

S_A = ( S_{coverage}, S_{replay}, S_{witness}, S_{verdict}, S_{cost} )

這區分：

平均很好但非常不穩定

與：

每次都中等但高度穩定。

兩者在工程使用上是不同風險。

24. Cost Metrics

每個 run 記錄：

C_r = ( T_r, K_r, N_r, L_r, H_r )

其中：

$T_r$ ：tokens / context usage；
$K_r$ ：tool calls；
$N_r$ ：files / structural nodes inspected；
$L_r$ ：wall-clock；
$H_r$ ：human interventions。

若平台不提供某項數值，應記：

UNKNOWN

而不是推估假數字。

效率排序只能在相同 closure class 中比較：

\boxed{ \text{Closure Correctness} > \text{Efficiency} }

25. 三級 Benchmark

Tier 1 — Synthetic / Controlled

刻意注入：

hidden dependency；
false modularity；
authority leak；
stale evidence；
wrong subject；
untracked fixture。

這一層的優勢是：

D^*

與：

K^*

有明確 ground truth。

Tier 2 — Small Real Repository

使用真實 project，但固定 commit、task、environment 與已知 architecture defect。

Tier 3 — Large Repository / Long-Horizon

測：

context traversal；
revisit；
environment reconstruction；
integration width；
multi-stage replay。

第一輪應先通過 Tier 1，再往大 repository 擴張。

26. Injected Defect 的要求

Injected defect 不應直接洩漏答案。

它應：

符合原專案 code style；
通過 baseline functional tests；
不在 task text 中直接命名；
能被 architecture backtrace 或 fresh reconstruction 揭露；
具有 deterministic 或可驗證 oracle。

理想 benchmark 正是：

\text{TDD-only passes}

但：

\text{ABFR should detect structural defect}

27. 三個主要 Method Conditions

第一輪至少比較：

G_0 = \text{TDD-only}

G_1 = \text{TDD + generic clean rerun}

G_2 = \text{TDD + ABFR}

其中 $G_1$ 非常重要，因為它回答：

ABFR 的收益是來自「重新跑一次」，還是來自 structured backtrace + MSRS + freshness + witness closure？

保持相同 Agent、repository、requirement、工具與 budget，再比較：

\Delta Recall_D

\Delta FRS

\Delta WRR

\Delta H_I

與成本差。

28. MSSP 與 Non-MSSP Profile

再比較：

P_M = \text{MSSP-native project}

與：

P_N = \text{non-MSSP project}

ABFR method core 不變，只替換 architecture adapter。

定義：

\mathcal A_{adapter} : A_{\text{native}} \rightarrow A_{\text{neutral}}

neutral representation 至少包含：

\{ Entity, Relation, Responsibility, Authority, State, Evidence \}

若只有 MSSP project 成功，就應稱：

\text{MSSP-specific methodology}

而不是直接聲稱 general methodology。

29. Adapter 也可能失敗

如果 native architecture 有重要 relation，但 adapter 漏掉：

A_{\text{native}} \not\rightarrow A_{\text{neutral}}

那麼 Agent backtrace 的漏失不能直接歸因於 model。

因此需要：

Coverage_{adapter}

或 controlled adapter tests。

這把：

\text{Agent Failure}

與：

\text{Representation Failure}

分開。

30. Cross-Agent Matrix

實驗空間可以寫成：

\mathcal E = A \times P \times M \times R

其中：

$A$ ：Agent / model condition；
$P$ ：project；
$M$ ：method condition；
$R$ ：repeated runs。

例如較完整設計：

3\times3\times2\times5 = 90

runs。

若第一輪資源有限，可先：

3\times2\times2\times3 = 36

runs。

這能初步回答：

同一 AI 自己穩不穩？
ABFR 是否比 TDD-only 多抓架構缺陷？
不同 AI 是否能使用同一 protocol？
MSSP / non-MSSP 是否皆有初步可行性？

31. Environment Reconstruction 是一級指標

Multi-Docker-Eval 的 2026 結果顯示，environment construction 本身仍是 software engineering Agent 的重要瓶頸。

對 ABFR 而言這不是前置雜務。

Fresh Reconstruction 本來就要求：

E_f

可以被建立。

因此：

\boxed{ \text{Environment Reconstruction} }

直接屬於：

C_F

與：

C_R

不能把：

測試在原工作區能跑

當成：

architecture 可以 fresh reconstruct。

32. Repository-Level Integration Width

RepoReason 2026 的 repository-level white-box evaluation 指出 integration width 是重要認知瓶頸之一。

這與 Paper 02 的 Structural Attention 假說直接相鄰。

所以 experiment 應至少記錄 integration-width proxy：

critical files；
critical modules；
relation hops；
cross-layer dependencies。

再觀察：

Performance \sim W_I

是否隨 integration width 上升而下降。

33. Test Discriminative Power 不能由 Agent 自我宣告

SWE-Mutation 顯示 LLM 生成 test suite 可能表面完整但 discriminative power 仍不足。

因此不能讓 executor：

自己寫 test；
自己決定 test 足夠；
只用自己那套 test 宣告成功。

至少 critical witness 必須由 frozen registry、hidden mutation 或 independent evaluator 提供外部約束。

這正是 Paper 04 的：

C_D

在 cross-agent experiment 中的必要性。

34. Evaluation Artifact Reproducibility

ReproEvalCard 對 LLM pipeline 評估的核心提醒是：模型與 dataset 不足以重現 pipeline evaluation，還需要 prompt、judge configuration、retrieval snapshot 與 intermediate traces 等 artifact。

ABFR evaluation 同樣需要：

canonical protocol
repository revision
architecture snapshot
tool capability contract
authority contract
freshness evidence
replay target definitions
equivalence profile
witness registry
structured run trace
verdict

換言之：

\boxed{ \text{A reproducibility methodology itself needs reproducible evaluation artifacts} }

35. Experiment Package

每個 experiment condition 建議輸出：

experiment/
  manifest.json
  canonical-input/
  oracle/
  runs/
    agent-A-run-01/
    agent-A-run-02/
    agent-B-run-01/
  evaluation/
  summary/

其中：

\text{oracle}

在 executor 執行期間不可見。

每個 run manifest 至少有：

run_id
agent_id
model_id
agent_shell
protocol_version
repo_commit
method_condition
execution_mode
tool_contract
authority_contract
freshness_mode
start_time
end_time
final_verdict

36. Structural Trace

不要求 private reasoning，但需要可重播 trace event：

visited_node
relation_followed
evidence_read
claim_created
claim_resolved
claim_unresolved
frontier_added
frontier_closed
test_executed
reconstruction_step
witness_executed

這使我們比較的是：

\text{architecture traversal}

而不是自然語言思考內容。

37. Protocol Compliance 與 Method Uptake

若 Agent 最後修對功能，但跳過：

backtrace；
fresh reconstruction；
replay；
attack；

則：

\text{Task Success}=1

但：

\text{ABFR Compliance}=0

不能算 ABFR 成功。

因此定義：

PC(r)

為 Protocol Compliance。

另定義：

MU(r)

為 Method Uptake。

最低 Method Uptake 要有 actual backtrace、fresh reconstruction、replay、witness execution 與 evidence emission。

所以：

\boxed{ \text{Vocabulary Adoption} \neq \text{Method Adoption} }

38. Blindness Levels

Cross-AI experiment 可分：

B0 — Open

Agent 知道 defect 類型。

B1 — Method-Blind Defect

Agent 知道 ABFR，但不知道 injected defect。

B2 — Partial Blind

Agent 知道 project area，不知道 exact target node。

B3 — Fully Hidden Oracle

Agent 只收到正常 task，所有 defect truth 都由 evaluator 保留。

第一輪最合理的是：

B1

因為我們要測「知道方法後，能不能自己找到未透露的 architecture defect」。

39. Leakage 與 Contamination

Benchmark 必須檢查：

filenames；
comments；
issue text；
commit messages；
test names；
generated artifacts；

是否洩漏 oracle。

公共 GitHub repository 也可能存在 training contamination，因此第一輪最好混合：

newly generated controlled benchmark；
recent injected mutation；
public real repository。

最可靠的 hidden defect 應在 experiment 建立後注入。

40. Cross-Agent Independence

Primary experiment 要求：

O_i \cap Context_j = \varnothing

對：

i\neq j

即 Agent B 不能看到 Agent A 的結果。

所有 independent runs 完成後，才可做 secondary：

\text{Peer Review Phase}

研究 evidence exchange 後的 convergence。

但：

\boxed{ \text{Consensus} \not\Rightarrow \text{Truth} }

仍需 external oracle。

41. 可接受與不可接受的差異

通常可接受：

讀檔順序不同；
tool call order 不同；
equivalent MSRS；
合法 backend 不同；
額外但無害的 structural nodes；
不同自然語言命名；
不同效率。

通常不可接受：

漏掉 critical hidden dependency；
authority verdict 相反；
一方靠 hidden context 才能 fresh reconstruct；
critical falsifying witness 一方通過；
replay equivalence 被 post-hoc 放寬；
unresolved 被當作 PASS；
critical three-closure verdict 相反且無法解釋。

42. General-Method Success Criterion

通用方法不要求所有模型永遠成功。

比較合理的是：

P( G_{3C}=1 \mid ABFR )

相對於：

P( G_{3C}=1 \mid control )

是否提高，以及：

P( \text{critical defect detected} \mid ABFR )

是否提高。

通用方法論的意義是：

多種 executor 能使用、效益可被重複觀察、失敗邊界可以描述。

而不是：

每一個 AI 永遠成功。

43. Capability Threshold

如果某些 Agent 穩定成功，另一些總是失敗在 Backtrace Frontier Management，這可能表示存在：

\theta_{ABFR}

使：

Capability(A)\geq\theta_{ABFR}

時方法才實用。

這仍是有價值的結果。

ABFR 不需要對最弱模型也成立，才可以成為工程方法；但最低能力邊界必須被實驗描述。

44. Failure Anatomy

每個 run 的 stage vector：

Z_r = ( z_B, z_{BT}, z_{REC}, z_{MS}, z_F, z_R, z_D )

其中每個：

z_i \in \{ PASS, PARTIAL, FAIL, INCONCLUSIVE \}

分別代表：

Behavioral；
Backtrace；
Reconciliation；
MSRS；
Freshness；
Replay；
Discrimination。

這比只發一個 leaderboard score 更重要。

45. Primary Endpoints

第一輪建議 primary endpoints：

Critical Structural Coverage；
Injected Divergence Recall；
Fresh Reconstruction Success；
Critical Witness Reproduction；
Three-Closure Verdict Correctness；
Human Intervention Count。

Secondary endpoints：

Structural Jaccard；
Relation Jaccard；
tool calls；
tokens；
wall time；
MSRS cost；
novel witness discovery。

46. 主要假說

H1 — Cross-Agent Feasibility

存在至少兩個不同 executor：

A_i\neq A_j

能在相同 canonical inputs 與 fresh condition 下獨立完成：

G_{3C}=1

且不需：

H_I>0

H2 — Architecture Defect Detection

相對 TDD-only：

Recall_D^{ABFR} > Recall_D^{TDD}

H3 — Fresh Reconstruction

相對 generic handoff：

FRS^{ABFR} > FRS^{generic}

H4 — Structural Agreement Exceeds Trace Agreement

不同 Agent 的 tool trace overlap 可以很低，但：

CSC

與：

CRA

仍高。

即：

\boxed{ \text{Different Paths} \rightarrow \text{Compatible Structural Conclusions} }

H5 — Multiple Valid MSRS

對可替換架構：

M_i\neq M_j

但：

M_i \sim_{Q,\mathcal I} M_j

支持 Paper 03 的：

|\mathfrak M_Q|>1

H6 — Witness Registry Improves Verdict Stability

提供：

W^+,W^-,W^{\equiv}

應比 vague architecture rules 提升 $C_D$ 的跨 Agent一致性。

H7 — Freshness Reveals Hidden Context Dependence

若 control 使用 previous state 而 PASS，但 fresh run FAIL 且可分類為 FR leakage，表示 ABFR 成功揭露 hidden causal support。

H8 — Cross-Project Transport

MSSP 與 non-MSSP project 都能被多 Agent 執行，才支持 taxonomy independence。

47. Negative Result Criteria

下列都應視為重要負面證據：

多數 Agent 無法理解 protocol；
backtrace 成本遠高於收益；
ABFR 與 TDD-only defect recall 無差；
fresh replay 大量失敗於 protocol 自身；
non-MSSP adapter 無法穩定建立；
MSRS 幾乎不可操作；
witness 維護成本過高；
Agent disagreement 無法由 evidence 解釋。

研究必須允許：

\boxed{ \text{ABFR is not generally useful} }

成為合法結論。

48. Success Levels

Level 0 — Anecdotal

單 Agent、單 project。

Level 1 — Repeatable

同 Agent 多次 fresh run。

Level 2 — Cross-Agent Reproducible

不同 Agent 成功。

Level 3 — Cross-Model Transportable

固定 shell 下不同模型成功。

Level 4 — Cross-Project Generalizable

MSSP / non-MSSP profile 均成功。

Level 5 — Comparative Benefit

相對 control 具有明顯工程與統計優勢。

只有 Level 4–5 才適合較強地稱：

\text{general methodology}

49. 第一輪建議流程

Phase A — Protocol Smoke Test

同一 Agent：

3

次 fresh run。

確認：

Spec B 沒歧義；
output schema 可用；
benchmark 可 reset；
oracle 沒洩漏。

Phase B — Cross-Agent Pilot

三個 AI 各：

3

次。

Phase C — Method Control

同一三個 AI 跑 TDD-only、generic clean rerun 與 ABFR。

Phase D — Non-MSSP Transfer

再加入至少一個 non-MSSP project。

50. Experiment Integrity Gate

在解讀 Agent 結果前，先驗：

G_E = B_F \land T_F \land A_F \land C_F \land O_H

其中：

$B_F$ ：baseline frozen；
$T_F$ ：tool contract fixed；
$A_F$ ：authority fixed；
$C_F$ ：fresh context；
$O_H$ ：oracle hidden。

若：

G_E=0

該 run 不應進 primary comparison。

51. Protocol Violation

若 Agent：

使用不允許的 sub-agent；
讀 oracle；
使用 previous run artifact；
跳過 fresh reconstruction；
修改 hidden test；
result 出來後才修改 equivalence；

則標：

PV

Protocol Violation。

final result 就算正確，也不能保留為 ABFR primary success。

52. Cross-Agent Reproducibility Criterion v0.1

對 project-task：

(P,Q)

若至少兩個獨立 executor：

A_i,A_j

在多次 fresh runs 中：

protocol compliance 成立；
critical structural coverage 達門檻；
critical divergence 被識別；
fresh reconstruction 成功；
critical witnesses 正確重現；
three-closure verdict 與 oracle 相容；
不依賴非 canonical human intervention；

則稱：

\boxed{ CAR(P,Q)=1 }

其中：

CAR = \text{Cross-Agent Reproducibility}

CAR 不要求所有 AI 都成功。

53. Method Generalization Criterion

令 project family：

\mathcal P = \{ P_1,\ldots,P_k \}

若：

CAR(P_i,Q_i)=1

跨越至少兩種不同 architecture profile，且至少一種不是 MSSP-native，則可以標記：

G_{method} = \text{SUPPORTED}

而不是：

\text{PROVEN}

有限 benchmark 永遠不等於 universal proof。

54. 為什麼現在不能先寫 Paper 06

Paper 06 預定為：

A Multi-Agent Empirical Evaluation of Architecture Backtrace and Fresh Reconstruction

目前還沒有 cross-agent dataset。

所以現在不應預先寫：

成功率；
effect size；
p-value；
model ranking；
generality conclusion。

Paper 05 到此只建立 protocol-ready research design。

55. 對 Spec B 的直接要求

Spec B 至少固定：

EXPERIMENT_ID
RUN_ID
AGENT_ID
MODEL_ID
AGENT_SHELL
REPOSITORY
COMMIT
METHOD_CONDITION
EXECUTION_MODE=INLINE
FRESH_CONTEXT=true
TOOL_CONTRACT
AUTHORITY_CONTRACT
TARGETS
INVARIANTS
EQUIVALENCE_PROFILE
WITNESS_REGISTRY
OUTPUT_SCHEMA
STOP_CONDITIONS
PROTOCOL_VIOLATIONS

並明確：

SUBAGENT_PATH = NOT PROVIDED

停止條件至少包括：

three-closure PASS；
blocking FAIL；
critical unresolved；
environment impossible under contract；
budget exhausted；
protocol violation。

56. Evaluator

Evaluator 最好與 executor 分開。

優先序：

\boxed{ \text{Executable / Deterministic Oracle} > \text{Frozen External Judge} > \text{LLM-Only Judge} }

如果只能使用 LLM judge，至少固定：

judge model；
prompt；
temperature；
rubric；
judge count。

57. Method-Level Fresh Replay

整個系列最初來自一個意外：某個本地 Agent 在精確 TDD plan 後，自主提出在進入 Direct runtime / UI 前先做 MSSP fresh replay。

Paper 01–04 把這個一次性組合抽象化。

Paper 05 現在做最後一個必要動作：

\boxed{ \text{Remove the original Agent from the experiment} }

如果換掉原始 Agent，方法仍能被另一個 fresh executor 重建，才開始說明：

被發現的不是某一個 Agent 的個人技巧，而是一個可轉移的方法。

這形成一個遞迴：

ABFR 對 software system 問：

\text{Can architecture reconstruct the system?}

Paper 05 對 ABFR 自己問：

\boxed{ \text{Can specification reconstruct the method in another AI?} }

如果：

\text{ABFR Spec} + \text{Fresh AI} \rightarrow \text{Comparable ABFR Execution}

那麼 ABFR 自己也通過了一種：

\text{Method-Level Fresh Replay}

這不是循環論證，因為 benchmark 與 oracle 仍由外部固定。

58. 不宣稱事項

本文明確不宣稱：

不同 AI 必須具有相同 reasoning trace。
高 structural Jaccard 等於正確。
高 agreement 等於 truth。
同一模型一次成功代表 repeatability。
三次 run 足以建立正式統計結論。
agent shell 差異可以忽略。
environment setup 只是測試雜務。
工具能力不同也可直接公平比較。
public repository 完全沒有 training contamination。
non-MSSP 成功一次就證明 architecture independence。
cross-agent success 等於 universal applicability。
LLM judge 可以無條件取代 deterministic oracle。
sub-agent architecture 永遠不好。
Inline Execution 是最終最佳 architecture。
ABFR 已被證明比 TDD-only 更好。
ABFR 已被證明具 cross-agent reproducibility。

59. 結論

一個方法由某個強 AI 成功執行，只能證明：

\exists A: Success(A)=1

不能證明方法具有通用性。

因此 ABFR 必須接受方法層的 fresh replay：

\boxed{ \text{Method Specification} + \text{Fresh Independent AI} \rightarrow \text{Comparable Structural Execution} }

本文將這個問題拆成：

\text{Repeatability}

\text{Cross-Agent Reproducibility}

\text{Cross-Model Transportability}

\text{Cross-Project Generalizability}

真正應比較的不是私人 reasoning trace，而是：

\boxed{ \text{Critical Structure} + \text{Divergence} + \text{Fresh Reconstruction} + \text{Witnesses} + \text{Three-Closure Verdict} }

健康的 cross-agent result 可以是：

\text{Different Traversal Paths}

但：

\text{Compatible Architecture Conclusions}

本文提出：

CAR(P,Q)

作為 Cross-Agent Reproducibility 的第一版操作定義，並建立 frozen baseline、canonical input、fresh context、fixed tools、fixed authority、Inline Execution、hidden oracle、repeated runs、TDD-only control、generic-rerun control、non-MSSP transfer 與 structured evidence output 的完整框架。

這使 ABFR Series 第一次真正具備「可以交給其他 AI 做盲測」的條件。

如果另一個 AI 無法由規格重建這個方法，我們就還沒有通用方法論。

如果不同 Agent、不同模型與不同 architecture profile 都能在 fresh condition 下反覆得到相容的三閉包結果，ABFR 才開始有資格從一次非常有價值的方法組合，轉變成：

\boxed{ \text{a reproducible AI-assisted software engineering methodology} }

參考文獻

[1] SWE-bench. (2025–2026). SWE-bench Verified. Human-validated subset of 500 SWE-bench instances and standardized evaluation settings.

[2] Fu, K., Liu, T., Shang, Z., Ma, Y., Liu, J., Yang, J., & Bian, K. (2026). Multi-Docker-Eval: A “Shovel of the Gold Rush” Benchmark on Automatic Environment Building for Software Engineering. Findings of ACL 2026. DOI: 10.18653/v1/2026.findings-acl.889.

[3] Li, J., Su, Y., & Lyu, M. R. (2026). From Laboratory to Real-World Applications: Benchmarking Agentic Code Reasoning at the Repository Level. Proceedings of ACL 2026, 8845–8869. DOI: 10.18653/v1/2026.acl-long.399.

[4] Sun, Y., Zhao, Y., Wang, Y., Du, Y., Ma, Z., Wang, J., Zhang, M., Zhang, K., & Huang, Z. (2026). SWE-Mutation: Can LLMs Generate Reliable Test Suites in Software Engineering? Findings of ACL 2026, 39651–39674. DOI: 10.18653/v1/2026.findings-acl.1976.

[5] Pattnayak, P., & Bhatia, A. (2026). ReproEvalCard: A Reporting Standard for Reproducible Evaluation of LLM Pipelines. Proceedings of ACL 2026, Short Papers.

[6] Hans, A., & Bilionis, I. (2026). Coding-agents can replicate scientific machine learning papers. arXiv:2607.02134.

[7] Jha, S., Paltenghi, M., Maddila, C., Murali, V., Ugare, S., & Chandra, S. (2026). ProdCodeBench: A Production-Derived Benchmark for Evaluating AI Coding Agents. arXiv:2604.01527.

[8] Jiang, J., Zheng, S., Vidra, N., & Setty, S. (2026). Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation. arXiv:2608.14711.

[9] Neo.K / EveMissLab. (2026). MSSP Field Manual 01–06 and Development Area. thisoneisneok.com/mssp.

[10] Neo.K / EveMissLab. (2026). ABFR Series Papers 01–04.

Canonical status

本文為 ABFR Series Paper 05 v0.1。

目前狀態：

Cross-agent reproducibility question: defined.
Repeatability / reproducibility / transportability / generalizability distinction: defined.
Inline Execution control: fixed for first-round validation.
Sub-agent alternate path: explicitly not provided.
Canonical input packet: defined.
Fresh-session policy: defined.
Tool / authority contract: defined.
Structured run output: defined.
Structural coverage metrics: defined.
Divergence detection metrics: defined.
MSRS equivalence-class agreement: defined.
Fresh reconstruction metric: defined.
Witness reproduction metric: defined.
Three-closure verdict comparison: defined.
AIR / human intervention metrics: defined.
TDD-only and generic-rerun controls: defined.
MSSP / non-MSSP transfer design: defined.
Cross-AI empirical results: pending.
Statistical superiority claim: not made.
General methodology claim: not yet established.

下一正式產出應為 Spec A — ABFR Methodology v0.1，接著 Spec B — Cross-AI ABFR Validation Protocol v0.1。Spec B 完成後即可開始第一輪 fresh cross-AI pilot。