title: "不可背答案的 AI Benchmark：半黑箱軟體考古作為真實研究能力測試" english_title: "A Benchmark Whose Target Answer Cannot Be Memorized in Advance: Semi-Black-Box Software Archaeology for Evaluating AI Research Capability" series: "AI Epistemic Reconstruction Series" paper: "08" author: "Neo.K" date: "2026-08-14" version: "v0.1" document_type: "Research Paper / Benchmark Proposal" language: "zh-Hant" status: "Research Draft" benchmark_name: "AER-Bench"

不可背答案的 AI Benchmark：半黑箱軟體考古作為真實研究能力測試

A Benchmark Whose Target Answer Cannot Be Memorized in Advance: Semi-Black-Box Software Archaeology for Evaluating AI Research Capability

作者：Neo.K
系列：AI Epistemic Reconstruction Series — Paper 08
Benchmark：AER-Bench — Active Epistemic Reconstruction Benchmark
版本：v0.1
日期：2026 年 8 月 14 日

摘要

大型語言模型 benchmark 面臨一個結構性困難：當測試題、答案、解析、程式碼或相近變體已公開存在於網路上，模型的正確表現可能混合了推理、工具使用、潛在記憶、資料污染與模式匹配。即使一個模型在已知 benchmark 上得到高分，也很難僅由 final answer 區分：

\text{Latent Retrieval}

與：

\text{Active Research}.

本文提出 AER-Bench（Active Epistemic Reconstruction Benchmark），以半黑箱軟體考古、私有變異與現場新證據為核心，測試 AI 是否能在 target-local 答案未預先公開的情況下，主動恢復未知表示、語義與規則。

AER-Bench 不要求模型「零先驗」。相反，受測 Agent 可以擁有：

CPU / OS / programming language 知識；
reverse-engineering 技術；
公開文件；
搜尋引擎；
程式執行；
debugger；
disassembler；
historical prior；
一般軟體工程知識。

benchmark 唯一刻意隱藏的是：

\boxed{ \Theta_\phi^* = (\rho_\phi^*,\delta_\phi^*,J_\phi^*) }

即某個測試 instance 經私有 mutation seed $\phi$ 產生後的 target-local representation、semantic mapping 與 judgment rules。

核心生成方式：

\boxed{ G_\phi = Mutate(G_0,\phi) }

其中 $\phi$ 在評測 instance 建立時才生成，並保持 evaluator-private。可能的 mutation 包括：

field relocation；
semantic permutation；
threshold mutation；
constant mutation；
rule rewiring；
checksum / serialization variation；
benign decoy fields；
version-specific behavior change。

因此，即使模型訓練資料中包含 $G_0$ 的公開攻略、HEX 表或 source，仍不能直接知道：

\phi.

Agent 必須透過：

\boxed{ \text{Prior} \rightarrow \text{Hypothesis} \rightarrow \text{Experiment} \rightarrow \text{Fresh Evidence} \rightarrow \text{External Verification} \rightarrow \text{Reconstruction} }

恢復 target-local truth。

本文將 benchmark 評分拆成七個維度：

Representation Recovery；
Semantic Recovery；
Judgment / Rule Recovery；
Falsification Quality；
Calibration；
Research Efficiency；
Behavioral Reimplementation Fidelity。

其中最強的終局驗證不是「Agent 說它理解」，而是要求它建立：

\hat G_\phi

並在 evaluator-private unseen traces 上滿足：

O(\hat G_\phi) \approx O(G_\phi).

本文同時提出 contamination resistance、fresh evidence ratio、private mutation secrecy、execution-based grading、evidence provenance、budget normalization、human comparison 與 benchmark regeneration 等機制。

AER-Bench 的核心哲學是：

允許 AI 帶著所有通用知識進場；只把這一個世界此刻真正的局部答案留到評測當下才生成。

如此，benchmark 測到的不再只是「模型是否曾見過這個答案」，而更接近：

在答案不能被直接預先記住時，Agent 能否利用先驗、工具、外部世界與實驗，把一個局部未知計算系統重新理解出來？

關鍵詞： AI Benchmark, Active Epistemic Reconstruction, Data Contamination, Dynamic Benchmarking, Software Archaeology, Reverse Engineering, Agent Evaluation, Fresh Evidence, Private Mutation, Research Capability

1. Benchmark 污染不是小問題

假設 benchmark：

B = \{(x_i,y_i)\}_{i=1}^n.

若：

(x_i,y_i)

已進入：

pretraining corpus；
fine-tuning data；
synthetic training data；
search index；
public solution set；

則：

Score(M,B)

很難被單純解讀為：

independent problem-solving ability。

2. LiveBench 的重要接口

LiveBench 的核心設計包括：

使用近期資料來源；
持續更新題目；
objective ground-truth scoring；
降低 test-set contamination。

這說明：

\boxed{ \text{Evaluation Freshness} }

本身已成為 LLM benchmark 的核心設計變量。

3. 但「題目新」仍不同於「target state 評測當下才生成」

LiveBench 的 freshness 主要來自：

新發布資料。

AER-Bench 再往前一步：

\boxed{ \phi \text{ is generated at evaluation time} }

所以 target-local answer：

\Theta_\phi^*

在 instance 生成前根本不存在。

4. RE-Bench 的重要接口

RE-Bench 已建立：

realistic AI R&D environments；
open-ended tasks；
human expert trajectories；
2h / 8h / 32h budget comparison。

這證明：

AI research capability 可以被放進時間受限、工具型、開放式環境，而不只是一次 QA。

AER-Bench 將保留這個精神。

5. OSWorld 的重要接口

OSWorld 使用：

real computer environment；
initial state setup；
execution-based evaluation；
reproducible task reset。

AER-Bench 同樣要求：

\boxed{ \text{Executable Environment} + \text{Execution-Based Grader} }

而不是只靠 LLM judge。

6. SWE-bench 的重要接口

SWE-bench 顯示：

真實 codebase + issue + execution environment

能測到遠超傳統 code generation 的能力。

AER-Bench 延伸：

不只修已知 issue，而是先恢復 hidden semantics，再完成可驗證重構。

7. Final Answer Benchmark 的限制

傳統：

Question
→ Answer
→ Score

AER-Bench：

Hidden System
→ Inspect
→ Act
→ Experiment
→ Accumulate Evidence
→ Reconstruct
→ Reimplement
→ Execute Hidden Tests

8. Benchmark 的核心不是「不知道知識」

Agent 可以知道：

x86。

可以知道：

DOS。

可以知道：

mutation testing。

甚至可以知道：

原版 PM2 的公開金手指。

仍然沒關係。

9. 我們真正隱藏的是 target-local configuration

\phi.

10. Target-Local Unknown

定義：

\Theta_\phi^* = (\rho_\phi,\delta_\phi,J_\phi).

11. Representation

\rho_\phi.

例如：

field offset；
width；
endian；
layout；
encoding。

12. Semantic Mapping

\delta_\phi.

例如：

field A = stress
field B = money

13. Judgment Rules

J_\phi.

例如：

if stress > 117:
    event probability changes

14. Benchmark Generator

令 seed：

\phi \sim P_\Phi.

產生：

G_\phi = M(G_0,\phi).

15. Benchmark 作者知道答案

Evaluator 保留：

mutation manifest；
source spec；
hidden semantic map；
hidden tests。

Agent 不可讀。

16. 對 Agent 而言是黑箱／半黑箱

Agent 可取得：

binary；
runtime；
save files；
partial docs；
public prior。

17. 對 evaluator 而言是 white box

因此可以精確算：

d( \hat\Theta, \Theta^* ).

18. 這是很重要的雙重視角

\boxed{ \text{Black to Agent} \quad \text{White to Evaluator} }

19. 為什麼不使用純未知真實軟體作唯一 benchmark？

如果連 evaluator 也不知道完整 truth：

很難精確打分。

20. 為什麼不只用 synthetic program？

完全 synthetic：

可控，但可能不夠真實。

21. AER-Bench 建議雙軌

Track S — Synthetic

完全 evaluator-known。

Track L — Legacy / Realistic

真實或 clean-room legacy-style system + controlled mutation。

22. 最佳 benchmark suite

\boxed{ \text{Synthetic Control} + \text{Realistic Complexity} }

23. Proprietary Legacy Game 的角色

像 PM2 這類研究可作：

pilot case study。

但公開 benchmark 不應依賴未授權 proprietary assets。

24. 公開 AER-Bench 建議

建立：

clean-room legacy-style games；
open-source old programs；
synthetic save-based worlds。

25. PM2 的價值

不是 benchmark distribution asset，

而是：

啟發真實 research workflow 與 failure modes。

26. Benchmark Instance Composition

每個 instance：

I_\phi = (G_\phi,D_\phi,T_\phi,B_\phi).

27. $G_\phi$

Target runtime / binary。

28. $D_\phi$

Allowed documentation / priors。

29. $T_\phi$

Tool environment。

30. $B_\phi$

Budget。

31. Budget 必須固定

至少：

wall time
model tokens
compute
environment actions

32. 否則

一個 Agent：

brute-force 100 小時。

另一個：

2 小時。

不可直接比 accuracy。

33. Budget Vector

\boxed{ B = (B_T,B_K,B_C,B_A) }

34. $B_T$

wall-clock。

35. $B_K$

model tokens / calls。

36. $B_C$

compute allowance。

37. $B_A$

environment interaction count。

38. Multiple Budget Curves

像 RE-Bench，

應看：

Performance(B).

不是只看單一 budget。

39. 例如

30 min
2 h
8 h
24 h

40. Research Return Curve

R(B) = Score(B).

41. 邊際收益

\frac{dR}{dB}.

非常重要。

42. 某 Agent 起步快

但長時間不會改善。

43. 另一 Agent 慢

但長時間持續收斂。

44. 這是長時研究能力的重要區別

45. Mutation Family 1 — Constant Mutation

原：

c=100.

新：

c'=117.

46. 用途

測：

背攻略 vs 現場驗證。

47. Mutation Family 2 — Field Relocation

offset(x) \rightarrow offset'(x).

48. 用途

測：

是否只背 offset。

49. Mutation Family 3 — Semantic Permutation

原：

A = Money
B = Stress

新：

A = Stress
B = Money

但 UI / rules 同步更新。

50. 用途

測：

是否真正透過 intervention 建立 mapping。

51. Mutation Family 4 — Judgment Mutation

representation 不動。

改：

J.

52. 例如

stress threshold:
100 → 117

53. 用途

測：

找到 field 是否等於理解 rule。

54. Mutation Family 5 — Serialization Mutation

例如：

field width；
byte order；
checksum；
version tag。

55. Mutation Family 6 — Decoy Fields

加入：

fake stress cache

數值看起來相關，

但不驅動 behavior。

56. 用途

測 Paper 02：

semantic label vs judgment role。

57. Mutation Family 7 — Hidden State

某 behavior 還依賴：

z.

讓簡單單變量模型失敗。

58. 用途

測：

contradiction 後是否 reframe。

59. Mutation Family 8 — Tool / UI Noise

可加入可控：

timing variability；
irrelevant file change；
UI-only state。

60. 但不能太多

不然變成：

測 UI 苦工，

而不是 research reasoning。

61. Difficulty Scaling

難度可以由：

d_\phi

控制：

hidden fields；
decoys；
interaction depth；
stochasticity；
tool latency。

62. Level 0

單一 visible variable。

63. Level 1

單一 hidden field。

64. Level 2

多 field + decoy。

65. Level 3

rule dependency。

66. Level 4

cross-version / hidden state。

67. Level 5

partial nondeterminism + multi-stage semantics。

68. Fresh Evidence

Agent action：

a_t

產生：

e_{t+1}.

69. Fresh Evidence Criterion

若：

instance 生成後才存在；
由 target runtime 產生；
evaluator 可 verify；
有 provenance；

則標：

Fresh(e)=1.

70. Fresh Evidence Ratio

定義：

\boxed{ FER = \frac{ N_{\mathrm{target\ claims\ supported\ by\ fresh\ evidence}} }{ N_{\mathrm{target\ claims}} } }

71. FER 高

代表 final mapping 更多依賴：

現場證據。

72. 但不要求 FER = 1

歷史 prior 有價值。

73. Benchmark 不是禁止 prior

而是：

prior 不能單獨取得 private mutation answer。

74. Historical Prior Trap

可以故意提供：

public original offset = 0x50

但 private target：

offset = 0x72

75. 好 Agent

把 0x50 當 prior，

然後驗證。

76. Memorization-Dominant Agent

直接回答 0x50。

77. 這不是懲罰使用知識

而是測：

是否知道 prior 需要 target validation。

78. False Prior Track

更進一步可加入 evaluator-known：

outdated docs。

79. 但倫理上／設計上要明確

不能讓 benchmark 變成純 deception puzzle。

80. Outdated Prior 應符合真實版本考古情境

81. Agent Output 不只 final answer

必須交：

\boxed{ \text{Epistemic Reconstruction Package} }

82. Package 內容

semantic map
rule map
confidence
evidence pointers
invalidated hypotheses
unknowns
reimplementation

83. 不要求 Chain-of-Thought

只要求：

externalizable research record。

84. Benchmark Artifact

claim:
  statement:
  confidence:
  status:
  evidence_ids:
  prediction:

85. Evidence Store

每個 experiment：

action
input
output
hash
scope

86. Scoring Dimension 1 — Representation Recovery

A_\rho.

測：

offset；
width；
endian；
encoding；
structure。

87. Dimension 2 — Semantic Recovery

A_\delta.

測：

field meaning。

88. Dimension 3 — Judgment Recovery

A_J.

測：

state 如何進入 rule / behavior。

89. Judgment 比 label 更重要

因為：

找到 Stress 不等於知道 Stress 怎麼用。

90. Dimension 4 — Falsification Quality

F_Q.

測：

rejection conditions；
contradiction response；
invalidated memory；
excluded run hygiene。

91. Dimension 5 — Calibration

C_Q.

UNKNOWN 能不能老實標 unknown。

92. Calibration 不應獎勵永遠低 confidence

需 proper scoring。

93. Dimension 6 — Research Efficiency

\eta.

94. 可使用

\eta = \frac{ Score_{\mathrm{semantic}} }{ C_{\mathrm{normalized}} }.

95. 或沿 Paper 06

\eta_D = \frac{ \Delta I_D }{ C }.

96. Dimension 7 — Behavioral Reimplementation

F_R.

97. 終局

Agent 建：

\hat G_\phi.

98. Evaluator 給 hidden traces

X_{\mathrm{hidden}}.

99. 比較

\boxed{ F_R = 1- d( O(\hat G_\phi,X), O(G_\phi,X) ) }

100. 這是最硬的一層

因為：

描述可以說對一半。

行為重建會把錯誤暴露出來。

101. 但 behavioral equivalence 也有 observation contract

不用 bit-identical。

102. Contract

\mathcal O = \{ state, event, output, save, timing? \}.

103. 哪些 timing 要不要算

由 benchmark task 定義。

104. Composite Score

\boxed{ S = w_\rho A_\rho + w_\delta A_\delta + w_J A_J + w_F F_Q + w_C C_Q + w_\eta \eta + w_R F_R }

105. 建議不只公布總分

還要 radar / vector。

106. Agent A

語義高，

效率低。

107. Agent B

效率高，

但 calibration 差。

108. 不能用一個數字掩蓋

109. Research Efficiency Scoring

需要避免：

不做實驗，亂猜，省成本。

110. 因此 efficiency 只在 minimum quality threshold 以上計分。

111. Quality Gate

若：

A_{\mathrm{semantic}}<\tau,

則：

EfficiencyBonus=0.

112. Research Budget Fairness

不同模型 API 成本難統一。

至少同時報：

wall time；
tokens；
tool calls；
environment actions。

113. Human Baseline

像 RE-Bench，

需要：

skilled human reverse engineers / software researchers。

114. Human 不一定要做所有 level

先在小型 suite。

115. Human Trace

保存：

actions；
tools；
findings；
time。

116. 比較

R_H(B)

與：

R_A(B).

117. 不只比較 final accuracy

還比較：

information gain curve；
action choice；
time-to-first-anchor；
replication behavior。

118. Time-to-Anchor

定義：

T_A(c)

找到第一個重要 verified semantic anchor 所需時間。

119. Time-to-Rule

T_J.

120. Time-to-Reimplementation

T_R.

121. Falsification Latency

錯 hypothesis：

h^-.

從提出到 invalidated：

T_F.

122. Error Half-Life

延續 Paper 04：

T_{1/2}^{error}.

123. Repeated Error Rate

R_E = \frac{ N_{\mathrm{repeated\ invalidated\ claims}} }{ N_{\mathrm{invalidated\ claims}} }.

124. Memory Continuity

做 context reset：

Agent 能不能從 external epistemic state 恢復？

125. Reset Challenge

Benchmark 可在中途：

restart agent session

保留合法 external memory。

126. 測 Paper 05

是否真的：

evidence-backed memory。

127. Trajectory Transfer Challenge

第二個 instance：

G_{\phi_2}.

允許使用第一個 instance 學到的 Research Options，

但不能讀 $\phi_2$ 。

128. 測 Paper 06

C_2<C_1?

129. Skill Contamination Problem

研究 skill 不能偷偷包含：

answer = 0x50.

130. Skill Auditor

檢查：

skill 是否 target-invariant。

131. Target-Invariant Skill

例如：

use single-variable intervention

132. Target-Leaking Skill

例如：

stress is always offset 0x50

133. Skill Transfer Score

S_T.

134. Benchmark Regeneration

LiveBench 的啟發：

benchmark 要持續更新。

AER-Bench 更適合：

\boxed{ \text{generate fresh instances continuously} }

135. Seed Rotation

每個 evaluation：

\phi_t.

136. Public Generator / Private Seed

最佳：

generator logic public；
seed private until evaluation over。

137. 但 generator 完全公開可能讓 Agent exploit mutation grammar

138. 因此可有

public mutation classes
private exact generators

139. Benchmark Security

需要防：

hidden file leakage；
environment variable leakage；
test extraction；
grader tampering。

140. Agent Permission Boundary

允許：

inspect target；
execute；
debug。

禁止：

read evaluator secret；
modify hidden tests；
access mutation manifest。

141. 這和真正研究很類似

可以研究物體，

不能翻答案本。

142. Grader Integrity

Paper 04 的 verifier integrity boundary 在這裡很重要。

143. Agent 不得改：

V_{\mathrm{hidden}}.

144. 但是可以寫自己的 tests

而且應鼓勵。

145. Self-Generated Tests

這本身是能力。

146. Mutation Testing 的歷史接口

軟體測試很早就使用：

program mutants

來評估 test 是否能區分正確程式與帶有人工 defect 的變體。

AER-Bench 的 private mutation 與此不同，

但共享：

人工產生有控制的行為差異，測試觀測／驗證能力。

147. Metamorphic Testing 的接口

當沒有單一簡單 oracle，

可使用：

related inputs / outputs 間應保持的 relation。

AER-Bench 某些 task 可加入 metamorphic relations。

148. 例如

如果只換 save slot：

canonical state 應不變。

149. Metamorphic Property

f(T(x)) = R(f(x)).

150. 這可測 Agent 是否找到 invariant

151. Dynamic Code Benchmark 的接口

近年的 dynamic code benchmark 也利用：

問題變體／動態生成

降低固定 dataset contamination。

AER-Bench 把這種思想搬到：

executable black-box semantics。

152. LiveBench vs AER-Bench

LiveBench：

fresh questions + objective ground truth。

AER-Bench：

fresh executable worlds + hidden semantic ground truth。

153. RE-Bench vs AER-Bench

RE-Bench：

realistic AI R&D task。

AER-Bench：

target semantics intentionally hidden / mutated for contamination resistance。

154. OSWorld vs AER-Bench

OSWorld：

real computer interaction。

AER-Bench：

interaction 是取得 unknown semantics 的手段，而不只是完成 user task。

155. SWE-bench vs AER-Bench

SWE-bench：

issue → code patch。

AER-Bench：

unknown system → semantic model → verified reimplementation。

156. Benchmark 不應變成 CTF

這一點很重要。

AER-Bench 不是：

誰會 exploitation。

157. 目標是研究方法

所以 target 應：

safe；
local；
sandboxed；
no real credential；
no hostile target。

158. Reverse Engineering Scope

只使用：

benchmark-owned；
open-source；
clean-room；
licensed artifacts。

159. 不鼓勵對第三方未授權系統做逆向 benchmark。

160. Task Family 1 — Save Archaeology

給：

binary；
save；
runtime。

找：

fields；
rules；
serialization。

161. Task Family 2 — Custom File Format

找：

container；
records；
compression；
checksums。

162. Task Family 3 — Event Engine

找：

trigger；
priority；
hidden flags；
transition。

163. Task Family 4 — Tiny VM

找：

opcode semantics；
stack；
control flow。

164. Task Family 5 — Legacy UI State Machine

找：

state；
transitions；
persistence。

165. Task Family 6 — Cross-Version Semantic Diff

兩版本：

G_1,G_2.

找：

\Delta\rho,\Delta\delta,\Delta J.

166. Task Family 7 — Reimplementation

只有黑箱 behavior。

重建：

\hat G.

167. Synthetic Legacy Game

最理想 initial benchmark：

2D / text UI；
20–100 state variables；
save file；
event rules；
RNG；
hidden flags。

168. 為什麼遊戲很好

遊戲：

state rich；
resettable；
safe；
observable；
reproducible。

169. 又有世界性

Agent 可以：

action → consequence。

170. 但不要一開始做超大遊戲

Benchmark 應可控。

171. Small Yet Deep

目標：

\operatorname{Bytes}(G)

小，

但：

\operatorname{SemanticDepth}(G)

高。

172. 這也延續 PM2 啟發

10 MB 不等於簡單。

173. Ground-Truth Semantic Graph

Evaluator 保留：

G_\Sigma.

174. Node

state；
rule；
event；
serialization field。

175. Edge

reads；
writes；
triggers；
encodes。

176. Agent Output Graph

\hat G_\Sigma.

177. Graph Matching

計算：

node precision / recall；
edge precision / recall；
weighted importance。

178. Weighted Semantics

不是每個 field 等價重要。

179. High-Impact Rules

權重高。

180. Decoy fields

權重低或 special score。

181. Hidden Rule Test

讓 Agent 必須：

discover behavior not obvious from static bytes。

182. Static-only Baseline

作對照：

M_{static}.

183. Active Agent

M_{active}.

184. 核心實驗

比較：

Score(M_{active}) - Score(M_{static}).

185. 直接測 Paper 03

active experimentation 的增益。

186. No-Verifier Baseline

移除：

hidden execution checks？

至少讓 Agent final response 無 runtime feedback。

187. 比較 Paper 04

external falsification 是否提升。

188. Summary-Only Memory Baseline

只給 prose summary。

189. Pointer Memory Agent

給 evidence-backed state。

190. 比較 Paper 05

191. No-Skill Baseline

每 instance 從零。

192. Skill-Library Agent

可 reuse research options。

193. 比較 Paper 06

194. Full-Agent vs Agent+Automation

穩定 loops：

LLM 全做；
deterministic tool 做。

195. 比較 Paper 07

196. 這使一個 benchmark 可以驗證整個系列

197. Ablation Matrix

Prior
Tools
External Verifier
Persistent Memory
Research Skills
Automation

逐一移除。

198. Agent Architecture Neutrality

AER-Bench 不限定：

ReAct；
planner；
model family。

只限定：

I/O、permissions、budget、grader。

199. 模型可以是 closed / open / local

200. Benchmark 得分必須記錄環境

model
version
agent scaffold
tools
budget
date

201. 因為 Agent 能力不是只有 model

Paper 01 已經指出。

202. 不公平比較

Model A + debugger + 8h
vs
Model B no tools + 5min

無意義。

203. Standard Tool Profiles

建立：

T0 text only
T1 filesystem + python
T2 debugger + disassembler
T3 full research toolkit

204. 這能看 tool leverage

205. Tool Leverage

L_T = Score(T_3)-Score(T_0).

206. Prior Profile

P0 no historical prior
P1 public docs
P2 public historical cheats/tools

207. Prior Leverage

L_P.

208. Mutation Robustness

同一 base：

G_{\phi_1},\ldots,G_{\phi_n}.

209. Score variance

Var_\phi(Score).

210. Memorization-heavy Agent

對 public-original-like instance 高，

mutation 後掉很多。

211. Reconstruction-heavy Agent

mutation robustness 較高。

212. Mutation Robustness Score

\boxed{ MRS = 1- \frac{ Score(G_0)-\mathbb E_\phi Score(G_\phi) }{ Score(G_0)+\epsilon } }

概念式。

213. Contamination Resistance 指標

不能證明 training corpus 內沒有相關知識。

但可以使：

exact target answer 不可能完整預先存在。

214. 這是一個較精確的 claim

不要說：

絕對不可作弊。

215. 正確說法

\boxed{ \text{Target-local answer is generated after model training and withheld from the agent.} }

216. 如果模型預先知道 generator

它仍可能：

猜 mutation distribution。

217. 但只要 seed private，

仍要識別這次：

\phi.

218. Random Guess Baseline

需要建立。

219. Mutation entropy

H(\Phi)

必須足夠大。

220. 太小

Agent 可以：

enumerate all mutations。

221. 太大

研究不可識別。

222. 所以設計要平衡

\boxed{ \text{Mutation Diversity} + \text{Experimental Identifiability} }

223. Identifiability

對不同：

\phi_i,\phi_j,

存在 allowed action：

a

使：

P(o\mid\phi_i,a) \neq P(o\mid\phi_j,a).

224. 否則 benchmark 只是猜。

225. Difficulty 應來自「要設計好實驗」

不是來自：

evaluator 故意藏到無法觀察。

226. Benchmark Quality Principle 1

Solvable by evidence.

227. Principle 2

Not solvable by answer leakage alone.

228. Principle 3

Execution-based grading.

229. Principle 4

Fresh target-local variation.

230. Principle 5

Reproducible environments.

231. Principle 6

Evidence provenance.

232. Principle 7

Budgeted long-horizon evaluation.

233. Principle 8

Partial-credit semantic scoring.

234. Principle 9

Explicit UNKNOWN allowed.

235. Principle 10

Behavioral reimplementation as strong final check.

236. Benchmark Lifecycle

Base templates
→ generate private mutations
→ package sandbox
→ run agents
→ collect epistemic trace
→ hidden evaluation
→ reveal mutation after closure
→ archive results
→ rotate seeds

237. Reveal Policy

評測關閉後可以公開：

instance；
mutation；
trajectories。

238. 下一輪用新 seed

防止 benchmark stagnation。

239. Leaderboard

應按：

model
agent
tool profile
budget
benchmark version

分列。

240. 不應只有一個「AI 排名」

241. Human Expert Track

也需同 tool profile。

242. Human + AI Track

甚至可測：

hybrid team。

243. 因為真科研未來很可能是 hybrid。

244. Team Score

可以比較：

H, A, H+A.

245. 這也測 Paper 07 的 labor routing

246. Benchmark Pilot — PM2-Inspired Clean-Room

建立一個全新：

Princess-like raising simulator

但不使用原角色、資產或 code。

247. 內含

monthly schedule；
30 stats；
hidden relationships；
event thresholds；
save file；
RNG；
endings。

248. Private mutation

每 instance：

reorder save fields；
change thresholds；
alter event priority；
change checksum；
decoys。

249. Agent task

Recover enough semantic specification to reproduce behavior.

250. 這會非常貼近我們真實 PM2 workflow

但 legal / distribution 更乾淨。

251. Benchmark Pilot 2 — Tiny DOS-like VM

自建：

16-bit-like bytecode；
undocumented opcodes；
stateful saves。

252. Agent 可：

disassemble；
execute；
probe。

253. Hidden mutations

opcode remap / constant change。

254. Pilot 3 — Custom Archive Format

Agent 必須：

parse；
identify records；
reconstruct exporter/importer。

255. 三個 pilot 能覆蓋

\rho,\delta,J.

256. Research Artifact Requirements

Agent 最後提交：

semantic_spec.yaml
evidence_graph.json
reimplementation/
report.md
unknowns.yaml

257. semantic_spec

Evaluator 比對 hidden truth。

258. evidence_graph

測 provenance / falsification。

259. reimplementation

跑 hidden behavioral tests。

260. unknowns

測 calibration。

261. report

只做人類閱讀，

不作主要 grader。

262. Automatic Grading First

避免：

LLM judge bias。

LiveBench 的 objective scoring 精神值得延續。

263. 但某些 semantic equivalence 可能多解

需要 graph canonicalization / behavior tests。

264. 不應要求變量名稱完全一樣

Agent 叫：

stress_level

Evaluator 叫：

fatigue_pressure

如果 behavior 對，

應可匹配。

265. Semantic Alignment Grader

可依：

interventions；
read/write relations；
behavior。

而非只 string match。

266. Hidden Probe Set

Evaluator 對 Agent mapping 問：

If this field is changed, predict X.

267. 這比 label string 更強。

268. Reimplementation Hidden Tests

包含：

seen-like；
boundary；
unseen combination；
negative control；
mutation-specific edge。

269. Holdout Trace

Agent 研究期間看不到。

270. 防 overfit。

271. Benchmark 的「研究」成分

如果只要求：

最後 parse file。

可能退化成 coding task。

272. 所以需要 hidden semantics + interactive experiments。

273. Research Necessity Criterion

若靜態一次分析即可幾乎滿分，

則 task 的 AER 強度不足。

274. 定義

AERGap = Score_{\mathrm{active}} - Score_{\mathrm{static}}.

275. 理想 task

AERGap>0

顯著。

276. Experiment Value

Agent 真的需要：

問世界。

277. 這就是 Paper 03 的 benchmark 化。

278. Falsification Necessity

加入 decoy / false prior，

讓沒有 Paper 04 能力的 Agent 容易錯。

279. Memory Necessity

長 task + reset，

測 Paper 05。

280. Skill Transfer Necessity

multi-instance，

測 Paper 06。

281. Labor Routing Necessity

routine protocol + exceptions，

測 Paper 07。

282. 所以前七篇不是背景裝飾

全部都有 ablation。

283. Series-to-Benchmark Mapping

Paper 01 → Model/Tool/Verifier ablation
Paper 02 → Representation/Semantic/Judgment scores
Paper 03 → Active-vs-static experiment gap
Paper 04 → Contradiction / falsification tests
Paper 05 → Reset / memory continuity
Paper 06 → Multi-instance trajectory transfer
Paper 07 → Agent-vs-automation routing

284. Paper 08 是系列的實驗封頂

285. 可證偽預測一

Private mutation 會降低只依賴 public original answer 的 Agent 表現。

286. 可證偽預測二

Active experiment access 應提高：

A_\delta,A_J.

287. 可證偽預測三

External verifier access 應降低 persistent false hypotheses。

288. 可證偽預測四

Pointer-backed memory 應提高 reset 後 continuity。

289. 可證偽預測五

Validated skill library 應降低第二個同類 instance 的 cost。

290. 可證偽預測六

Routine automation 應降低 token cost，但不降低 verifier-defined fidelity。

291. 可證偽預測七

Mutation robustness 應比 public benchmark original score 更能區分 memorization-heavy 與 reconstruction-heavy behavior。

292. 可證偽預測八

Behavioral reimplementation score 與 semantic graph score應正相關，但不完全等同。

293. 可證偽預測九

允許 UNKNOWN 且校準計分，應降低 overclaim。

294. 可證偽預測十

較高 LIDE 的 Agent 應在固定 budget 下更快達到 verified anchor。

295. 限制一：不能完全證明模型沒見過所有相關模式

AER-Bench 只能控制：

exact target-local mutation。

296. 模型仍然有大量相似先驗

這是允許的。

297. 限制二：Mutation 可能引入不自然 artifact

如果 permutation 太人工，

Agent 只學：

benchmark generator quirks。

298. 所以 mutation 要 behaviorally plausible。

299. 限制三：Benchmark Generator 會被研究

公開後 Agent 可能特化。

300. 需要多 generator / hidden seed / rotation。

301. 限制四：Execution cost 高

長時 benchmark 很貴。

302. 建議分

AER-Mini
AER-Standard
AER-Long

303. AER-Mini

5–30 min。

304. AER-Standard

1–4 h。

305. AER-Long

8–24 h。

306. 限制五：Human baseline 很昂貴

先小規模 expert study。

307. 限制六：Reverse engineering skill 不是所有 research skill

這是一種 research substrate，

不能直接代表全部科學。

308. 但它有優點

ground truth；
reset；
safety；
controllability；
fresh evidence。

309. 限制七：Tooling 差異巨大

需固定 tool profile。

310. 限制八：Agent 可能 exploit evaluator

要做 adversarial benchmark audit。

311. 限制九：Synthetic tasks 可能太 toy

所以要 legacy-realistic track。

312. 限制十：Realistic legacy tasks 又可能有 licensing / provenance 問題

所以 clean-room design 很重要。

313. 核心命題一

Proposition 1 — Evaluation-Time Private Mutation Reduces Exact-Answer Memorization as a Sufficient Explanation

若：

\phi

在模型訓練完成後才生成，

且不向 Agent 洩漏，

則模型不能直接從訓練 corpus 記住：

\phi

本身。

314. 注意

它仍可使用 general prior 推測。

315. 核心命題二

Proposition 2 — Interactive Fresh Evidence Makes Target-Local Reconstruction Measurable

若 target-local semantic differences 對 allowed actions 可識別，

則 Agent 可透過 interaction 產生 fresh evidence 來恢復：

\Theta_\phi.

316. 核心命題三

Proposition 3 — Behavioral Reimplementation Is a Stronger Test of Semantic Understanding Than Verbal Description Alone

若：

\hat G

在 unseen traces 保持 behavior，

則至少對 observation contract，Agent 的 semantic model 具有外部支持。

317. 核心命題四

Proposition 4 — A Dynamic Benchmark Can Separate Prior Use from Prior Obedience

Historical prior 可以提高搜尋效率，

但 private mutation 使 Agent 必須驗證 prior，而不能盲從。

318. 核心命題五

Proposition 5 — Multi-Dimensional Scoring Better Represents Research Capability Than Final Accuracy Alone

因為 research agent 的：

calibration；
efficiency；
falsification；
memory；

可能在同 final accuracy 下顯著不同。

319. 核心命題六

Proposition 6 — AER-Bench Can Serve as a Systems Benchmark for the Entire Epistemic Reconstruction Stack

因其可對：

M,T,E,S,V,\Pi

做 ablation，

測試 Paper 01 的 system view。

320. 核心命題七

Proposition 7 — Benchmark Regeneration Is Part of Benchmark Validity

在快速變化模型時代，

static dataset 的有效期有限。

因此：

\boxed{ \text{Fresh Instance Generation} }

應是 benchmark architecture，而不是事後維護。

321. 統一架構

PUBLIC KNOWLEDGE
docs / ISA / tools / historical priors
              │
              ▼
       PRIVATE INSTANCE GENERATOR
              │
      mutation seed φ
              │
              ▼
      SEMI-BLACK-BOX TARGET Gφ
              │
         ┌────┴─────┐
         ▼          ▼
      STATIC      ACTIVE
     INSPECTION  EXPERIMENTS
         │          │
         └────┬─────┘
              ▼
         FRESH EVIDENCE
              │
              ▼
       EPISTEMIC RECONSTRUCTION
    ρ̂ / δ̂ / Ĵ / confidence / unknown
              │
              ▼
        REIMPLEMENTATION Ĝφ
              │
              ▼
        HIDDEN EXECUTION TESTS
              │
              ▼
    MULTI-DIMENSIONAL SCORE VECTOR

322. 最終 benchmark 公式

Instance：

G_\phi = Mutate(G_0,\phi).

Agent：

\mathcal A = (M,T,E,S,V,\Pi).

Output：

Y = (\hat\rho,\hat\delta,\hat J,\hat G,K,E).

Score：

\boxed{ Score( \mathcal A, G_\phi, B ) = F( A_\rho, A_\delta, A_J, F_Q, C_Q, \eta, F_R ) }

323. 最終結論

「AI 到底是真的會研究，還是只是把訓練資料裡的答案重新組合？」這個問題若只靠哲學辯論，很難結束。

更好的方法是：

設計一個 target-local 答案在評測當下才生成、模型可以自由使用通用知識、但必須透過實驗才能知道這一次世界真正如何運作的 benchmark。

AER-Bench 因此不追求「無先驗」。

它追求：

\boxed{ \text{Known Methods} + \text{Unknown Local Truth} }

這更接近真實研究。

科學家不是沒有先驗。

工程師不是不知道工具。

真正的研究問題通常是：

你已經知道很多東西，但眼前這個具體世界仍有一部分沒有告訴你。你能不能想辦法讓它自己把答案露出來？

半黑箱軟體考古提供一個少見的理想 sandbox：

世界可以 reset；
evidence 可以 hash；
experiment 可以重播；
ground truth 可以由 evaluator 保留；
private mutation 可以在訓練後生成；
Agent 可以使用真實工具；
最後還可以重實作驗證理解。

因此本文提出：

\boxed{ \textbf{AER-Bench} }

作為一種研究能力 benchmark：

不是問 AI「你知道答案嗎？」；而是把一個它不可能預先知道這次局部答案的可執行世界放在它面前，然後觀察它是否知道如何提出假說、取得證據、接受反駁、保存不確定性、壓縮研究狀態、學習研究技能，最後重新生成足以匹配原世界行為的模型。

這正是前七篇理論最終可以被實驗化的地方。

324. 系列總結

整個 AI Epistemic Reconstruction Series 最終形成：

Paper 01

概率—確定性混合認識系統：

\mathcal A=(M,T,E,S,V,\Pi).

Paper 02

位元到語義：

B\rightarrow R\rightarrow S\rightarrow J\rightarrow O.

Paper 03

主動認識重構：

Prior\rightarrow Hypothesis\rightarrow Experiment\rightarrow Evidence.

Paper 04

世界反駁：

Hypothesis\rightarrow External\ Falsification.

Paper 05

證據再壓縮：

R\rightarrow K\rightarrow A.

Paper 06

研究軌跡壓縮：

\Pi\rightarrow\Omega.

Paper 07

認識勞動重分配：

Human\leftrightarrow Agent\leftrightarrow Automation.

Paper 08

全部進入可執行 benchmark：

\boxed{ \text{AER-Bench} }

因此整個系列的總命題可以濃縮成：

\boxed{ \text{AI Research Capability} \neq \text{Static Answer Accuracy} }

而更接近：

\boxed{ \text{AI Research Capability} = \text{Prior Use} + \text{Active Experimentation} + \text{External Falsification} + \text{Evidence Memory} + \text{Trajectory Learning} + \text{Verified Reconstruction} }

References

[1] White, C., Dooley, S., Roberts, M., et al. LiveBench: A Challenging, Contamination-Free LLM Benchmark. arXiv:2406.19314, 2024.
https://arxiv.org/abs/2406.19314

[2] Wijk, H., Lin, T., Becker, J., et al. RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts. arXiv:2411.15114, 2024.
https://arxiv.org/abs/2411.15114

[3] Xie, T., Zhang, D., Chen, J., et al. OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. arXiv:2404.07972, 2024.
https://arxiv.org/abs/2404.07972

[4] Jimenez, C. E., Yang, J., Wettig, A., et al. SWE-bench: Can Language Models Resolve Real-World GitHub Issues? arXiv:2310.06770, 2023.
https://arxiv.org/abs/2310.06770

[5] Chen, S., Pusarla, P., & Ray, B. Dynamic Benchmarking of Reasoning Capabilities in Code Large Language Models Under Data Contamination. arXiv:2503.04149, 2025.
https://arxiv.org/abs/2503.04149

[6] DeMillo, R. A., Lipton, R. J., & Sayward, F. G. Hints on Test Data Selection: Help for the Practicing Programmer. Computer 11(4), 34–41, 1978. DOI: 10.1109/C-M.1978.218136.
https://doi.org/10.1109/C-M.1978.218136

[7] Chan, F. T., Chen, T. Y., Cheung, S. C., Lau, M. F., & Yiu, S. M. Application of Metamorphic Testing in Numerical Analysis. SE'98, 1998.
https://hdl.handle.net/1783.1/70576

Appendix A — AER-Bench Task Instance

aer_bench_instance:
  benchmark_version:
  instance_id:

  template:
    id:
    family:

  mutation:
    private_seed:
    manifest_private: true
    families: []

  target:
    artifact_hashes: []
    runtime:
    reset_method:

  agent_permissions:
    filesystem:
    execute:
    debug:
    internet:
    historical_priors:
    hidden_evaluator_access: false

  budget:
    wall_time_seconds:
    model_tokens:
    compute:
    environment_actions:

  required_outputs:
    semantic_spec:
    evidence_graph:
    reimplementation:
    unknowns:

  hidden_evaluation:
    semantic_graph:
    behavioral_tests:
    holdout_traces:

Appendix B — AER-Bench Scoring Vector

Aρ   Representation Recovery
Aδ   Semantic Recovery
AJ   Judgment / Rule Recovery
FQ   Falsification Quality
CQ   Calibration Quality
η    Research Efficiency
FR   Behavioral Reimplementation Fidelity
FER  Fresh Evidence Ratio
MRS  Mutation Robustness Score

Appendix C — Agent Research Record

research_record:
  hypothesis:
    id:
    claim:
    confidence:
    status:

  experiment:
    id:
    action:
    expected_discrimination:
    cost:

  observation:
    fresh:
    raw_evidence:
    artifact_hashes:

  verdict:
    supports:
    contradicts:
    inconclusive:

  update:
    confidence_before:
    confidence_after:
    new_status:

  provenance:
    pointers: []

Appendix D — Minimum Pilot

AER-Mini-001

Artifact:
  clean-room save-based simulation

Hidden:
  20 state variables
  4 semantic permutations
  2 decoys
  3 threshold mutations
  checksum variant

Allowed:
  execute
  save
  diff
  python
  debugger
  public generic docs

Forbidden:
  hidden source
  mutation manifest
  grader files

Goal:
  recover ≥ 80% weighted semantic graph
  implement save parser
  reproduce hidden behavioral traces

Budget:
  2 hours

Appendix E — 一句話命題

最好的「防背答案」AI 研究 benchmark，不必讓模型什麼都不知道；只需要讓真正被評估的局部世界在模型訓練完成之後才生成，並要求模型用可重播實驗把那個世界重新理解出來。

不可背答案的 AI Benchmark：半黑箱軟體考古作為真實研究能力測試

不可背答案的 AI Benchmark：半黑箱軟體考古作為真實研究能力測試

A Benchmark Whose Target Answer Cannot Be Memorized in Advance: Semi-Black-Box Software Archaeology for Evaluating AI Research Capability

摘要

1. Benchmark 污染不是小問題

2. LiveBench 的重要接口

3. 但「題目新」仍不同於「target state 評測當下才生成」

4. RE-Bench 的重要接口

5. OSWorld 的重要接口

6. SWE-bench 的重要接口

7. Final Answer Benchmark 的限制

8. Benchmark 的核心不是「不知道知識」

9. 我們真正隱藏的是 target-local configuration

10. Target-Local Unknown

11. Representation

12. Semantic Mapping

13. Judgment Rules

14. Benchmark Generator

15. Benchmark 作者知道答案

16. 對 Agent 而言是黑箱／半黑箱

17. 對 evaluator 而言是 white box

18. 這是很重要的雙重視角

19. 為什麼不使用純未知真實軟體作唯一 benchmark？

20. 為什麼不只用 synthetic program？

21. AER-Bench 建議雙軌

Track S — Synthetic

Track L — Legacy / Realistic

22. 最佳 benchmark suite

23. Proprietary Legacy Game 的角色

24. 公開 AER-Bench 建議

25. PM2 的價值

26. Benchmark Instance Composition

27. GϕG_\phiGϕ​

28. DϕD_\phiDϕ​

29. TϕT_\phiTϕ​

30. BϕB_\phiBϕ​

31. Budget 必須固定

32. 否則

33. Budget Vector

34. BTB_TBT​

35. BKB_KBK​

36. BCB_CBC​

37. BAB_ABA​

38. Multiple Budget Curves

39. 例如

40. Research Return Curve

41. 邊際收益

42. 某 Agent 起步快

43. 另一 Agent 慢

44. 這是長時研究能力的重要區別

45. Mutation Family 1 — Constant Mutation

46. 用途

47. Mutation Family 2 — Field Relocation

48. 用途

49. Mutation Family 3 — Semantic Permutation

50. 用途

51. Mutation Family 4 — Judgment Mutation

52. 例如

53. 用途

54. Mutation Family 5 — Serialization Mutation

55. Mutation Family 6 — Decoy Fields

56. 用途

57. Mutation Family 7 — Hidden State

58. 用途

59. Mutation Family 8 — Tool / UI Noise

60. 但不能太多

61. Difficulty Scaling

62. Level 0

63. Level 1

64. Level 2

65. Level 3

66. Level 4

67. Level 5

68. Fresh Evidence

69. Fresh Evidence Criterion

70. Fresh Evidence Ratio

71. FER 高

72. 但不要求 FER = 1

73. Benchmark 不是禁止 prior

74. Historical Prior Trap

27. $G_\phi$

28. $D_\phi$

29. $T_\phi$

30. $B_\phi$

34. $B_T$

35. $B_K$

36. $B_C$

37. $B_A$