← Archive
lm-004326 · 2026-10

廣域能力斷層掃描:認知距離、能力流形與智能衰減曲線

下載 MD 檔 ⬇

前沿智能拓撲論 05

廣域能力斷層掃描:認知距離、能力流形與智能衰減曲線

Frontier Intelligence Topology 05
Broad Capability Tomography: Cognitive Distance, Capability Manifolds, and Intelligence Decay Curves

作者:Neo.K(許筌崴)
研究協作:GPT-5.6 Sol
機構:EveMissLab/一言諾科技有限公司
版本:v0.1
日期:2026-09-18
系列:前沿智能拓撲論(Frontier Intelligence Topology, FIT)


摘要

人工智慧能力通常被壓縮成少數 benchmark 分數、平均正確率或排行榜名次。然而,一個模型可能在熱門知識、常見題型與標準工程任務上極強,卻在冷門領域、跨域轉換、錯誤 frame、問題形成或未知 regime 中快速衰減。另一個模型則可能峰值較低,但能力隨認知距離增加時下降得更慢。

本文提出「廣域能力斷層掃描」(Broad Capability Tomography, BCT),將已完成訓練的人工智能視為黑箱:

M:Q→A,M: Q \rightarrow A,

並不直接推斷其訓練資料、內部表示或公司策略,而是透過系統性改變任務的認知距離與結構,反推出模型的有效能力拓撲。

本文首先定義多維認知距離向量:

d=(dP,dD,dX,dF,dN,dS,dE),\mathbf d = ( d_P, d_D, d_X, d_F, d_N, d_S, d_E ),

分別表示熱門度距離、領域距離、跨域距離、frame 距離、新穎度距離、scaffolding 移除距離與證據可得性距離。模型能力因此不再表示為單一分數,而是:

QM(d).Q_M(\mathbf d).

本文進一步定義:

  • 能力衰減曲線;
  • 能力梯度;
  • 方向性衰減;
  • 斷崖點;
  • 能力島;
  • 跨域橋;
  • Frame-Lift 斷層;
  • 問題形成斷層;
  • 搜尋依賴差;
  • 工具撤除差;
  • 廣域連通率;
  • 前沿半徑。

核心命題是:

Peak Capability≠Capability Volume≠Capability Connectivity.\boxed{ \text{Peak Capability} \neq \text{Capability Volume} \neq \text{Capability Connectivity}. }

因此,一個模型即使在局部 benchmark 上處於最前沿,也不能僅由此推出其在整體未知世界中的能力拓撲同樣前沿。

本文特別提出「無搜尋核心掃描」(No-Search Core Tomography):暫時禁止外部搜尋與工具,以測量模型完成訓練後自身可直接調用的知識、表示與推理拓撲;再與可搜尋、可工具增強狀態比較,以區分:

Core Capability≠Augmented Capability.\boxed{ \text{Core Capability} \neq \text{Augmented Capability}. }

這種方法不能反推出模型真正吃過哪些資料,卻能提供一種廣域行為測量:不是問「它知道多少」,而是問:

當問題逐步遠離它熟悉的知識中心時,它在哪裡開始失去能力?又是以什麼方向、什麼速度、什麼形狀失去?


關鍵詞

廣域能力斷層掃描、能力流形、認知距離、能力衰減、黑箱評估、熱門題、冷門題、跨域、Frame-Lift、問題形成、工具撤除、搜尋依賴、AGI、ASI、前沿智能拓撲論


1. 單一分數會把能力形狀壓扁

假設模型:

MM

在 benchmark:

BB

上的分數為:

SB(M).S_B(M).

排行榜通常比較:

SB(M1)>SB(M2).S_B(M_1) > S_B(M_2).

但這只告訴我們:

M1 在 B 的採樣區域表現較好。\boxed{ M_1 \text{ 在 }B\text{ 的採樣區域表現較好。} }

它沒有直接告訴我們:

  • 離開該題型後怎樣;
  • 冷門知識怎樣;
  • 跨域怎樣;
  • 錯 frame 怎樣;
  • 問題沒整理好時怎樣;
  • 沒搜尋時怎樣;
  • 沒工具時怎樣;
  • 沒標準答案時怎樣。

因此:

Benchmark Score≠Capability Topology.\boxed{ \text{Benchmark Score} \neq \text{Capability Topology}. }

2. 從排行榜轉向能力地形

本文提出:

CM=Capability Manifold of Model M.\boxed{ \mathcal C_M = \text{Capability Manifold of Model }M. }

其中每一點代表一類任務條件,

模型在該點有能力值:

QM(z).Q_M(\mathbf z).

z\mathbf z 不只是「題目」。

而是包含:

  • 領域;
  • 熱門度;
  • frame;
  • 新穎性;
  • 跨域程度;
  • 工具;
  • 提示結構;
  • 證據狀態。

因此模型能力應被理解成:

field over task space\boxed{ \text{field over task space} }

而不是單一 scalar。


3. 黑箱測試的基本立場

BCT 不要求知道:

  • 模型訓練資料;
  • 預訓練比例;
  • RL 資料;
  • 內部權重;
  • 公司私有資料庫。

只觀察:

M(x)\boxed{ M(x) }

對不同:

x.x.

所以:

Training Corpus\text{Training Corpus}

與:

Observed Capability\text{Observed Capability}

必須區分。


4. 能測的是「完成後的它」

若模型在冷門領域失敗,

我們不能直接推出:

它沒吃過相關資料。

因為失敗也可能來自:

  • 表示沒學好;
  • 路由錯;
  • recall 差;
  • 推理失敗;
  • 安全策略;
  • context interference;
  • 能力沒有被激活。

因此:

Behavioral Tomography⇏Training-Data Reconstruction.\boxed{ \text{Behavioral Tomography} \not\Rightarrow \text{Training-Data Reconstruction}. }

5. 但行為本身仍然重要

使用者真正互動的是:

Mdeployed.M_{\mathrm{deployed}}.

不是:

Dtrain.D_{\mathrm{train}}.

所以對產品與能力研究而言:

C(Mdeployed)\boxed{ \mathcal C(M_{\mathrm{deployed}}) }

本身就是重要研究對象。


6. 第一個軸:熱門度距離 dPd_P

定義:

dP=distance from high-frequency / popular knowledge.d_P = \text{distance from high-frequency / popular knowledge}.

可以粗分:

  1. 高熱門;
  2. 常見專業;
  3. 次冷門;
  4. 冷門;
  5. 極冷門;
  6. 邊緣;
  7. 幾乎無公共討論。

理想情況下:

QM(dP)Q_M(d_P)

不應在輕微變冷時立刻崩潰。


7. 熱門度不是難度

一個冷門問題可以很簡單。

一個熱門問題可以非常難。

因此:

dP≠ddifficulty.\boxed{ d_P \neq d_{\mathrm{difficulty}}. }

這正是測試價值所在。

否則「冷門失敗」會被誤認成「題目太難」。


8. 第二個軸:領域距離 dDd_D

令模型核心強域:

D0.D_0.

其他領域:

D1,D2,…D_1,D_2,\ldots

與:

D0D_0

有不同知識距離。

定義:

dD(Di,D0).d_D(D_i,D_0).

例如:

  • 同一子領域;
  • 同一大領域;
  • 鄰接領域;
  • 遠距領域。

9. 第三個軸:跨域距離 dXd_X

很多現實問題不是單域。

令:

Q∈D1∩D2∩⋯∩Dk.Q \in D_1 \cap D_2 \cap\cdots\cap D_k.

跨域距離可以與:

  • 領域數量;
  • 表示差異;
  • 接口密度;
  • 轉譯成本;

相關。

因此:

dXd_X

測量:

問題要求跨多少知識島,以及這些島有多難連接?


10. 領域多不等於跨域強

模型可以:

Knowledge(Di)≫0\text{Knowledge}(D_i)\gg0

對很多:

DiD_i

都成立,

但:

Transfer(Di,Dj)≈0.\text{Transfer}(D_i,D_j)\approx0.

所以:

Multi-Domain Knowledge≠Cross-Domain Intelligence.\boxed{ \text{Multi-Domain Knowledge} \neq \text{Cross-Domain Intelligence}. }

11. 第四個軸:Frame Distance dFd_F

給定常見 frame:

F0.F_0.

問題可能需要:

F1.F_1.

定義:

dF(F0,F1).d_F(F_0,F_1).

低:

dFd_F

可能只是換參數。

高:

dFd_F

可能需要:

  • 換表示;
  • 換尺度;
  • 換變量;
  • 換目標;
  • 換本體論假設。

12. 第五個軸:Novelty Distance dNd_N

定義:

dNd_N

為問題距離已知模板的結構新穎度。

不是文字不同。

而是:

solution structure novelty.\boxed{ \text{solution structure novelty}. }

例如:

  • 標準題;
  • 同構變種;
  • 多步組合;
  • 新 constraint;
  • 新 objective;
  • 新 representation;
  • 無已知解族。

13. 第六個軸:Scaffolding Distance dSd_S

外部 scaffold 可以包括:

  • 題目定義;
  • 領域提示;
  • 解題步驟;
  • 工具建議;
  • evaluation;
  • frame。

逐步拿掉 scaffold:

dS↑.d_S\uparrow.

因此:

QM(dS)Q_M(d_S)

測:

模型有多少能力其實依賴外部認知支架?


14. 第七個軸:Evidence Distance dEd_E

有些題目:

  • 證據完整;
  • 資料乾淨;
  • 文獻充分。

另一些:

  • 資料不足;
  • 證據衝突;
  • 沒有共識;
  • 需要自行提出驗證。

因此:

dEd_E

表示:

distance from evidence-rich closed problems.\boxed{ \text{distance from evidence-rich closed problems}. }

15. 多維認知距離向量

綜合:

d=(dP,dD,dX,dF,dN,dS,dE).\boxed{ \mathbf d = ( d_P, d_D, d_X, d_F, d_N, d_S, d_E ). }

模型能力寫成:

QM(d).\boxed{ Q_M(\mathbf d). }

這比單一:

Q(d)Q(d)

更一般。


16. 為什麼仍保留單一 dd?

有些分析需要簡化。

可定義:

d=∑iwidi.d = \sum_i w_i d_i.

或:

d=∥d∥W.d = \|\mathbf d\|_W.

但必須記住:

d\boxed{ d }

只是投影。

真正能力空間仍是:

d.\mathbf d.

17. 認知距離不是歐氏距離的必要假設

知識空間可能:

  • 非線性;
  • 非對稱;
  • 有捷徑;
  • 有斷層;
  • 有橋接節點。

所以:

d(A,B)d(A,B)

未必滿足:

d(A,B)=d(B,A).d(A,B)=d(B,A).

例如:

從數學轉物理

和:

從物理轉純數學

認知成本可能不同。


18. 可使用圖上的最短路徑距離

若知識圖:

G=(V,E),\mathcal G=(V,E),

可定義:

dG(u,v)=min⁡π:u→v∑e∈πw(e).d_{\mathcal G}(u,v) = \min_{\pi:u\rightarrow v} \sum_{e\in\pi}w(e).

其中邊權重代表:

  • 轉譯成本;
  • frame change;
  • 所需先備;
  • 概念差異。

19. 能力衰減曲線

最基本形式:

QM(d).\boxed{ Q_M(d). }

若能力隨距離增加下降:

dQMdd<0.\frac{dQ_M}{dd}<0.

但不同模型下降速度不同。


20. 能力衰減率

定義:

δM(d)=−dQMdd.\boxed{ \delta_M(d) = -\frac{dQ_M}{dd}. }

低:

δM\delta_M

表示:

能力離開熟悉區後下降較慢。

這可能比:

QM(0)Q_M(0)

更能描述 generality。


21. Peak Capability

定義:

PM=max⁡dQM(d).\boxed{ P_M = \max_{\mathbf d} Q_M(\mathbf d). }

它表示模型局部最高峰。

Benchmark 常偏向測:

PMP_M

附近。


22. Capability Volume

定義:

VM=∫ΩQM(d) dd.\boxed{ V_M = \int_{\Omega} Q_M(\mathbf d) \,d\mathbf d. }

它表示某任務域:

Ω\Omega

下的整體能力體積。


23. Capability Connectivity

令高能力區:

Ωτ={d:QM(d)≥τ}.\Omega_\tau = \{ \mathbf d: Q_M(\mathbf d)\geq\tau \}.

定義:

CM=Connectivity⁡(Ωτ).\boxed{ C_M = \operatorname{Connectivity}(\Omega_\tau). }

這測量:

高能力區域是否彼此連通?


24. 三者不可混同

因此:

PM≠VM≠CM.\boxed{ P_M \neq V_M \neq C_M. }

一個模型可能:

  • 峰值極高;
  • 體積普通;
  • 連通性差。

另一個可能:

  • 峰值略低;
  • 體積大;
  • 連通性高。

25. Capability Cliff

定義:

κM=max⁡d∣dQMdd∣.\boxed{ \kappa_M = \max_d \left| \frac{dQ_M}{dd} \right|. }

若:

κM\kappa_M

很大,

表示存在:

Capability Cliff.\boxed{ \text{Capability Cliff}. }

也就是:

問題只再偏一點,能力突然崩掉。


26. Cliff Location

定義:

dc=arg⁡max⁡d∣dQMdd∣.d_c = \arg\max_d \left| \frac{dQ_M}{dd} \right|.

它表示:

模型在哪個認知距離開始出現最強斷層?


27. 多維方向性斷層

真正重要的是:

∇QM(d).\nabla Q_M(\mathbf d).

例如:

∣∂Q∂dP∣\left| \frac{\partial Q}{\partial d_P} \right|

很小,

但:

∣∂Q∂dF∣\left| \frac{\partial Q}{\partial d_F} \right|

很大。

這表示:

模型對冷門知識不敏感,但對換 frame 很脆弱。


28. 能力各向異性

定義:

AM=Var⁡(∂Q∂di).\boxed{ A_M = \operatorname{Var} \left( \frac{\partial Q}{\partial d_i} \right). }

高:

AMA_M

表示能力下降高度方向化。

也就是:

Capability Anisotropy.\boxed{ \text{Capability Anisotropy}. }

29. 能力島

若存在兩個高能力區:

Ω1,Ω2,\Omega_1, \Omega_2,

但中間:

QM≪τ,Q_M\ll\tau,

則形成:

Capability Islands.\boxed{ \text{Capability Islands}. }

模型可能:

  • 很會數學;
  • 很會程式;

卻在:

math↔programming\text{math}\leftrightarrow\text{programming}

橋接問題上異常差。


30. 能力橋

若存在:

γ:Ω1→Ω2\gamma: \Omega_1\rightarrow\Omega_2

且沿途:

QM(γ(t))≥τ,Q_M(\gamma(t))\geq\tau,

則稱存在:

Capability Bridge.\boxed{ \text{Capability Bridge}. }

這對跨域智能尤其重要。


31. 廣度不是島嶼數量

如果模型有很多:

Ωi\Omega_i

但彼此不連通,

它是:

wide but fragmented.\boxed{ \text{wide but fragmented}. }

所以:

Breadth≠Connected Breadth.\boxed{ \text{Breadth} \neq \text{Connected Breadth}. }

32. Frontier Radius

定義:

RF(τ)=sup⁡{d:QM(d)≥τ}.\boxed{ R_F(\tau) = \sup \{ d: Q_M(d)\geq\tau \}. }

表示:

模型在能力保持高於門檻 τ\tau 的情況下,最遠能走多遠?


33. 多方向 Frontier Radius

對每一維:

Ri(τ)=sup⁡{di:QM(d)≥τ}.R_i(\tau) = \sup \{ d_i: Q_M(\mathbf d)\geq\tau \}.

可得到:

RF=(RP,RD,RX,RF,RN,RS,RE).\boxed{ \mathbf R_F = ( R_P, R_D, R_X, R_F, R_N, R_S, R_E ). }

這比一個「AGI 分數」更有解釋力。


34. 第一種掃描:Popularity Sweep

固定:

  • 難度;
  • 領域;
  • frame;
  • 推理步數。

只改:

dP.d_P.

例如:

popular→common professional→rare→very rare.\text{popular} \rightarrow \text{common professional} \rightarrow \text{rare} \rightarrow \text{very rare}.

測:

QP(dP).Q_P(d_P).

35. 第二種掃描:Variation Sweep

固定知識核心,

逐步增加:

dN.d_N.

例如:

  1. 原題;
  2. 表面變種;
  3. 結構變種;
  4. constraint 變更;
  5. objective 變更;
  6. representation 變更。

36. 第三種掃描:Cross-Domain Sweep

由:

D1D_1

開始,

依序增加:

D2,D3,…D_2,D_3,\ldots

觀察:

QX(k).Q_X(k).

若模型只在單域高,

但:

k=2k=2

就大幅衰減,

則其 cross-domain radius 很小。


37. 第四種掃描:Frame Mismatch Sweep

先故意以錯 frame 提問。

例如:

Q(Fwrong).Q(F_{\mathrm{wrong}}).

觀察模型:

  1. 是否直接在錯 frame 內求解;
  2. 是否指出 frame mismatch;
  3. 是否提出替代 frame;
  4. 是否重寫問題。

38. 第五種掃描:Scaffolding Withdrawal

逐步移除:

  1. 解題提示;
  2. 領域標籤;
  3. frame;
  4. 工具建議;
  5. 問題定義;
  6. 最後只剩原始資料或世界狀態。

得到:

QS(dS).Q_S(d_S).

39. 第六種掃描:Evidence Degradation

從:

clean evidence\text{clean evidence}

逐步變為:

  • incomplete;
  • noisy;
  • contradictory;
  • sparse;
  • unknown。

測:

QE(dE).Q_E(d_E).

這對科研型智能非常重要。


40. 第七種掃描:Problem-Formation Sweep

由:

Q∗Q^\ast

完整問題開始,

逐步退回:

Q0,Q_0,

再退回:

W.W.

觀察模型是否仍能恢復:

Q∗.Q^\ast.

41. No-Search Core Tomography

本文提出一個特別重要的測試模式:

No-Search Core Tomography.\boxed{ \text{No-Search Core Tomography}. }

條件:

  • 禁止 web search;
  • 禁止外部 retrieval;
  • 禁止工具補知識。

只允許模型本體。

測得:

QMcore(d).Q_M^{\mathrm{core}}(\mathbf d).

42. 為什麼禁止搜尋?

不是因為搜尋不好。

而是為了隔離:

Model Internalized Capability.\boxed{ \text{Model Internalized Capability}. }

否則:

Search Engine Quality\text{Search Engine Quality}

與:

Model Capability\text{Model Capability}

會混在一起。


43. Search-Augmented Tomography

再打開搜尋:

QMsearch(d).Q_M^{\mathrm{search}}(\mathbf d).

比較:

ΔS(d)=QMsearch(d)−QMcore(d).\boxed{ \Delta_S(\mathbf d) = Q_M^{\mathrm{search}}(\mathbf d) - Q_M^{\mathrm{core}}(\mathbf d). }

44. Search Dependency Index

定義:

DS=∫ΩΔS(d) dd∫ΩQMsearch(d) dd.\boxed{ D_S = \frac{ \int_\Omega \Delta_S(\mathbf d) \,d\mathbf d }{ \int_\Omega Q_M^{\mathrm{search}}(\mathbf d) \,d\mathbf d }. }

高:

DSD_S

表示:

模型大比例能力依賴外部搜尋增強。

這不是壞事。

但它描述了能力來源。


45. 工具增強同理

定義:

QMtool(d)Q_M^{\mathrm{tool}}(\mathbf d)

與:

QMcore(d).Q_M^{\mathrm{core}}(\mathbf d).

工具依賴:

ΔT(d)=QMtool−QMcore.\Delta_T(\mathbf d) = Q_M^{\mathrm{tool}} - Q_M^{\mathrm{core}}.

因此:

Core Capability≠Augmented Capability.\boxed{ \text{Core Capability} \neq \text{Augmented Capability}. }

46. 系統能力仍然是真能力

本文不主張:

靠搜尋就不算能力。

如果目標是完整 AI 系統,

那麼:

M+Search+Tools\boxed{ M+\text{Search}+\text{Tools} }

本身就是可研究能力單位。

只是在科學分析時必須拆開來源。


47. 三層能力表示

因此建議至少報告:

Ccore\boxed{ C_{\mathrm{core}} } Caugmented\boxed{ C_{\mathrm{augmented}} } Csystem\boxed{ C_{\mathrm{system}} }

分別表示:

  • 模型本體;
  • 模型+工具;
  • 完整 agent/memory/runtime 系統。

48. 熱門到冷門的測試不能只換名詞

如果熱門題:

解釋牛頓第二定律。

冷門題:

解釋某個少見專有名詞。

兩題難度與結構不同,

就無法純測:

dP.d_P.

所以必須做:

matched difficulty sampling.\boxed{ \text{matched difficulty sampling}. }

49. Matching 原則

對每個熱門度層級,盡量匹配:

  • 推理深度;
  • 答案長度;
  • 公式需求;
  • 專業前置;
  • 任務形式。

這樣:

dPd_P

才不會被:

ddifficultyd_{\mathrm{difficulty}}

污染。


50. 同理,跨域題不能單純更難

需要建立:

QsingleQ_{\mathrm{single}}

與:

QcrossQ_{\mathrm{cross}}

在局部計算量上近似,

主要差別只有:

cross-domain bridge requirement.\text{cross-domain bridge requirement}.

51. Behavioral Capability Tomography

本文正式定義:

Behavioral Capability Tomography(BCT)是透過對任務空間進行多方向、分層、受控擾動,從黑箱輸出重建智能系統能力流形、衰減梯度、斷崖與連通結構的方法。

記為:

BCT(M).\boxed{ \mathsf{BCT}(M). }

52. Tomography 的類比

醫學斷層掃描不是只從一個方向拍照。

同理:

BCT\mathsf{BCT}

不靠:

一套 benchmark。

而是從多方向:

θ1,θ2,…,θn\theta_1,\theta_2,\ldots,\theta_n

掃描能力。

最後重建:

C^M.\hat{\mathcal C}_M.

53. 採樣方向

最低建議:

Θ={P,D,X,F,N,S,E}.\Theta = \{ P,D,X,F,N,S,E \}.

進階可再加入:

  • temporal distance;
  • cultural distance;
  • representation distance;
  • tool distance;
  • interaction horizon;
  • adversarial perturbation;
  • self-correction demand。

54. 不是所有方向都同樣重要

對 coding assistant:

wX,wSw_X,w_S

可能重要。

對科研 AI:

wF,wN,wEw_F,w_N,w_E

可能更重要。

所以:

BCT\boxed{ \mathsf{BCT} }

應有 task profile。


55. General Frontier Profile

對 AGI/ASI 候選,

本文建議提高:

wX,wF,wN,wS,wE.w_X, w_F, w_N, w_S, w_E.

因為一般智能與前沿研究的核心問題恰好是:

離開標準題後還剩多少?


56. Capability Retention

定義:

RM(d)=QM(d)QM(0).\boxed{ R_M(d) = \frac{ Q_M(d) }{ Q_M(0) }. }

若:

RM(d)R_M(d)

下降慢,

表示能力保留率高。


57. Half-Capability Radius

定義:

d1/2=inf⁡{d:RM(d)≤0.5}.\boxed{ d_{1/2} = \inf \left\{ d: R_M(d)\leq0.5 \right\}. }

這是很直觀的 generality 指標:

距離熟悉中心多遠時,能力掉到一半?


58. Directional Half-Radius

每個方向:

d1/2(i).d_{1/2}^{(i)}.

得到:

d1/2=(dP1/2,dD1/2,dX1/2,dF1/2,dN1/2,dS1/2,dE1/2).\boxed{ \mathbf d_{1/2} = ( d_P^{1/2}, d_D^{1/2}, d_X^{1/2}, d_F^{1/2}, d_N^{1/2}, d_S^{1/2}, d_E^{1/2} ). }

59. Cliff 不一定發生在很遠

模型可能:

Q(0)≫0Q(0)\gg0

但:

dc≪1.d_c\ll1.

即:

只要題目稍微偏離常見形式就快速崩潰。

這種模型:

high peak, short radius.\boxed{ \text{high peak, short radius}. }

60. 另一種模型可能峰值略低但半徑大

模型 B:

PB<PA,P_B<P_A,

但:

d1/2(B)>d1/2(A).d_{1/2}^{(B)} > d_{1/2}^{(A)}.

所以:

Which model is stronger?\boxed{ \text{Which model is stronger?} }

取決於使用情境。


61. 前沿智能更關心長半徑

若任務分布:

Pfrontier\mathcal P_{\mathrm{frontier}}

本身遠離已知中心,

則:

d1/2d_{1/2}

與:

VMV_M

可能比:

PMP_M

更重要。


62. Unknown-Regime Discovery Test

給模型一批資料:

WW

其中存在:

Rnew,R_{\mathrm{new}},

但不告訴它:

有 regime change。

測它是否能:

  1. 發現異常;
  2. 判斷舊模型失效;
  3. 建立新 regime;
  4. 找可驗證差異。

63. Frame Mismatch Detection Score

定義:

SFMD=P(detect frame mismatch).\boxed{ S_{FMD} = P( \text{detect frame mismatch} ). }

這是 BCT 的重要子指標。


64. Frame Recovery Score

若偵測錯 frame 後,

能重建有效 frame:

SFR=P(Fnew is useful∣Fold mismatch).\boxed{ S_{FR} = P( F_{\mathrm{new}}\text{ is useful} \mid F_{\mathrm{old}}\text{ mismatch} ). }

65. Problem Formation Score

定義:

SPF=f(relevance,testability,novelty,information gain).\boxed{ S_{PF} = f( \text{relevance}, \text{testability}, \text{novelty}, \text{information gain} ). }

這比:

題目像不像人類題目

更合理。


66. Residue Recovery Score

給模型:

  • 失敗紀錄;
  • abandoned code;
  • 低引用研究;
  • 舊 frame。

再給新問題:

Qnew.Q_{\mathrm{new}}.

測:

SRR=P(recover useful structure).\boxed{ S_{RR} = P( \text{recover useful structure} ). }

67. Low-Value Revaluation Test

先提供:

xx

且在問題:

Q0Q_0

中確實低價值。

後來切換:

Q0→Q1.Q_0\rightarrow Q_1.

測模型能否把:

xx

重新提高權重。

這測:

RV.R_V.

68. Cross-Domain Bridge Test

給:

D1,D2D_1,D_2

各自熟悉知識,

但真正解需要橋:

B12.B_{12}.

測模型能否:

D1→B12→D2.D_1 \rightarrow B_{12} \rightarrow D_2.

而不是各自回答兩段不相干內容。


69. 當模型用同一模板硬套所有領域

這是一種:

false connectivity.\boxed{ \text{false connectivity}. }

看似跨域,

其實只是:

F0F_0

被強制投影到所有:

Di.D_i.

因此 cross-domain test 必須檢查:

模型是否知道不可類比的部分?


70. Negative Transfer

定義:

NT=Q(D2)−Q(D2∣misleading transfer from D1).\boxed{ N_T = Q(D_2) - Q(D_2\mid\text{misleading transfer from }D_1). }

若:

NT≪0,N_T\ll0,

表示模型容易把跨域相似性用錯。

所以:

Transfer Ability\boxed{ \text{Transfer Ability} }

還要包含:

Transfer Restraint.\boxed{ \text{Transfer Restraint}. }

71. Confidence Decay

模型能力下降時,

置信度是否同步下降?

定義:

CM(d)C_M(d)

為模型主觀 confidence。

理想:

QM(d)↓Q_M(d)\downarrow

時:

CM(d)C_M(d)

也適度下降。


72. Calibration Gap

定義:

Gcal(d)=∣CM(d)−QM(d)∣.\boxed{ G_{\mathrm{cal}}(d) = |C_M(d)-Q_M(d)|. }

若:

QM(d)↓Q_M(d)\downarrow

但:

CM(d)C_M(d)

維持高,

則:

frontier overconfidence\boxed{ \text{frontier overconfidence} }

增加。


73. 前沿智能不能只衰減得慢,也要知道自己在衰減

因此 generality 至少包含:

Capability Retention+Uncertainty Calibration.\boxed{ \text{Capability Retention} + \text{Uncertainty Calibration}. }

74. Self-Correction Retention

定義:

SC(d)S_C(d)

表示模型在認知距離:

dd

下的自我修正能力。

有些模型:

A0A_0

第一次錯,

但:

A1A_1

經 critique 後可修正。

所以:

QfirstQ_{\mathrm{first}}

與:

QrepairQ_{\mathrm{repair}}

應分開。


75. Repair Gain

定義:

GR(d)=Qrepair(d)−Qfirst(d).\boxed{ G_R(d) = Q_{\mathrm{repair}}(d) - Q_{\mathrm{first}}(d). }

如果:

GRG_R

在遠距問題仍高,

模型可能具有良好 recovery topology。


76. Persistence Under Unknown

前沿研究往往需要多輪。

定義:

QM(d,t)Q_M(d,t)

表示經過:

tt

輪探索後的能力。

一些模型:

QM(d,1)Q_M(d,1)

普通,

但:

QM(d,t)Q_M(d,t)

可逐步提升。

另一些可能:

QM(d,t)Q_M(d,t)

快速陷入局部迴圈。


77. Long-Horizon Frontier Persistence

定義:

PL=QM(d,T)QM(d,1).\boxed{ P_L = \frac{ Q_M(d,T) }{ Q_M(d,1) }. }

若合理探索後:

PL>1,P_L>1,

表示模型能從未知互動中成長。

若:

PL<1,P_L<1,

可能出現漂移、錯誤累積或過早閉合。


78. BCT 不應只做一次性問答

真正廣域測試至少包含:

  • single-turn;
  • self-critique;
  • iterative research;
  • tool withdrawal;
  • context perturbation。

因此:

BCT\boxed{ \mathsf{BCT} }

是多輪測試框架,而不是題庫。


79. 不能讓搜尋污染 Core Test

若要測:

Ccore,C_{\mathrm{core}},

必須:

  • 明確禁止搜尋;
  • 避免工具提示;
  • 固定 context;
  • 不在中途補答案。

否則測到的是:

Csystem.C_{\mathrm{system}}.

80. 但禁止搜尋也不能被誤讀成真實產品評價

No-Search Test 的用途是:

capability decomposition.\boxed{ \text{capability decomposition}. }

不是宣稱:

不准用工具才算真正智能。

完整 AI 系統本來就可能合理使用:

Search+Tools+Memory.\text{Search}+\text{Tools}+\text{Memory}.

81. 模型比較需要同條件

如果比較:

M1,M2,M_1,M_2,

必須固定:

  • prompt;
  • tool access;
  • search access;
  • temperature;
  • response budget;
  • number of attempts;
  • evaluator。

否則:

Capability Difference\boxed{ \text{Capability Difference} }

會與:

Test Condition Difference\boxed{ \text{Test Condition Difference} }

混在一起。


82. 評估器也可能成為瓶頸

如果答案很前沿,

人類 evaluator:

EHE_H

可能無法快速判斷。

所以需要:

  • formal check;
  • executable test;
  • independent models;
  • domain experts;
  • delayed verification。

因此:

Evaluator Capacity\boxed{ \text{Evaluator Capacity} }

也是 BCT 的限制。


83. 冷門題尤其需要防 evaluator error

如果:

dP↑,d_P\uparrow,

評估者也可能:

Knowledge⁡(EH)↓.\operatorname{Knowledge}(E_H)\downarrow.

因此不能把:

evaluator disagreement\text{evaluator disagreement}

直接等於:

model error.\text{model error}.

84. BCT 的最低報告格式

建議每個模型至少報告:

(PM,VM,CM,d1/2,RF,κM,DS,Gcal)\boxed{ ( P_M, V_M, C_M, \mathbf d_{1/2}, \mathbf R_F, \kappa_M, D_S, G_{\mathrm{cal}} ) }

其中:

  • PMP_M:峰值能力;
  • VMV_M:能力體積;
  • CMC_M:連通性;
  • d1/2\mathbf d_{1/2}:各方向半能力半徑;
  • RF\mathbf R_F:frontier radius;
  • κM\kappa_M:最大斷崖;
  • DSD_S:搜尋依賴;
  • GcalG_{\mathrm{cal}}:校準差。

85. 為什麼這比總分更接近「模型個性」

這裡的「個性」不是人格。

而是:

capability geometry.\boxed{ \text{capability geometry}. }

兩個平均分相同模型,

可能具有完全不同:

  • 峰值;
  • 半徑;
  • cliff;
  • bridge;
  • island;
  • tool dependency。

86. Capability Fingerprint

因此定義:

FM=Fingerprint⁡(CM).\boxed{ \mathcal F_M = \operatorname{Fingerprint} ( \mathcal C_M ). }

這是一個模型的:

能力指紋。

不是一個排名分數。


87. 前沿模型不一定在每個維度第一

真正 general frontier model 可能不是:

max⁡iQi.\max_i Q_i.

而是:

large connected high-capability region.\boxed{ \text{large connected high-capability region}. }

也就是:

  • 峰值夠高;
  • 體積夠大;
  • 連通夠好;
  • cliff 不過早;
  • 校準合理。

88. 一個候選的 Frontier Generality Index

若未來需要壓縮成一個數,

可暫時定義:

GF=VM⋅CM⋅RF⋅(1−Gˉcal)\boxed{ G_F = V_M \cdot C_M \cdot R_F \cdot (1-\bar G_{\mathrm{cal}}) }

但本文不推薦把它當最終真理。

因為:

the vector is more informative than the scalar.\boxed{ \text{the vector is more informative than the scalar}. }

89. BCT 與 Paper 02 的關係

Paper 02 問:

不同資訊拓撲會不會形成不同能力拓撲?

Paper 05 提供一種行為層測量:

T(D)→C(M)→BCT(M).\boxed{ \mathcal T(D) \rightarrow \mathcal C(M) \rightarrow \mathsf{BCT}(M). }

但:

BCT(M)\mathsf{BCT}(M)

只能觀察:

C(M),\mathcal C(M),

不能唯一反推出:

T(D).\mathcal T(D).

90. BCT 與 Paper 03 的關係

Paper 03 定義:

d∗d^\ast

為效率排序反轉距離。

Paper 05 則提供:

QM1(d),QM2(d)Q_{M_1}(d), Q_{M_2}(d)

用來實際估計:

d∗.d^\ast.

91. BCT 與 Paper 04 的關係

Paper 04 定義:

W→O→Q→F→R→H→V→A.W \rightarrow O \rightarrow Q \rightarrow F \rightarrow R \rightarrow H \rightarrow V \rightarrow A.

Paper 05 可以對每一段分別測:

QO(d),QQ(d),QF(d),QR(d),QH(d),QV(d),QA(d).Q_O(d), Q_Q(d), Q_F(d), Q_R(d), Q_H(d), Q_V(d), Q_A(d).

所以:

different cognitive stages can have different cliffs.\boxed{ \text{different cognitive stages can have different cliffs}. }

92. 一個模型可能回答不崩,但問題形成先崩

例如:

QA(d)Q_A(d)

下降慢,

但:

QQ(d)Q_Q(d)

下降快。

這表示:

題目給對時仍然很強,但離開熟悉世界後不會自己找到題目。

這是傳統 benchmark 很難看到的差異。


93. 另一模型可能知識先崩,但 Frame-Lift 還在

它可能不知道冷門答案,

但會說:

我缺資料;先建立三個候選框架與需要驗證的資訊。

這種能力在:

QfactQ_{\mathrm{fact}}

低,

但:

QF,QVQ_F,Q_V

可能仍高。

因此:

Knowledge Failure≠Reasoning Topology Failure.\boxed{ \text{Knowledge Failure} \neq \text{Reasoning Topology Failure}. }

94. 這也是為什麼「不知道」不能直接當弱

真正要看:

不知道之後,它做什麼?

可能是:

  1. 停止;
  2. 幻覺;
  3. 搜尋;
  4. 建立假說;
  5. 設計驗證;
  6. 重寫問題。

所以:

Response to Unknown\boxed{ \text{Response to Unknown} }

本身就是能力維度。


95. Unknown Response Topology

定義:

UR=(Stop,Search,Generate,Verify,Reframe,Recover).\boxed{ U_R = ( \text{Stop}, \text{Search}, \text{Generate}, \text{Verify}, \text{Reframe}, \text{Recover} ). }

這會在 Paper 07 進一步連到:

Epistemic Courage.\text{Epistemic Courage}.

96. 可否證條件

BCT 本身也可能失敗。

96.1 Distance Failure

若無法建立穩健、可重複的認知距離,

則:

Q(d)Q(d)

只能作為描述性工具。

96.2 Matching Failure

若熱門/冷門、單域/跨域任務無法匹配難度,

則衰減可能只是 difficulty effect。

96.3 Evaluator Failure

若前沿回答無法可靠驗證,

則:

QMQ_M

估計會被 evaluator capability 限制。

96.4 Prompt Sensitivity Dominance

若不同 prompt 使結果波動大於模型間差異,

則必須先控制 prompt distribution。

96.5 Tool Confounding

若工具使用差異未被控制,

則 core capability 與 system capability 不能直接比較。


97. 非主張

本文不主張:

  • benchmark 無用;
  • 搜尋能力不算智能;
  • 冷門題越多越好;
  • 不搜尋才是真 AI;
  • 能力一定沿距離平滑下降;
  • 認知距離必須是單一數值;
  • 一個 general model 必須每個領域都最強;
  • 黑箱測試能反推出完整訓練資料;
  • 市場表現等於 BCT 結果。

本文真正主張的是:

如果我們只測能力峰值,就看不到能力的形狀。\boxed{ \text{如果我們只測能力峰值,就看不到能力的形狀。} }

98. 核心結論

一個模型的真正能力不應只寫成:

S=92.7.S=92.7.

更合理的是:

CM=QM(d).\boxed{ \mathcal C_M = Q_M(\mathbf d). }

我們要知道:

  • 峰值在哪;
  • 體積多大;
  • 哪些區域連通;
  • 哪裡有 cliff;
  • 哪個方向最脆弱;
  • 搜尋能補多少;
  • 工具能補多少;
  • scaffold 拿掉後剩多少;
  • 遇到未知後是否能恢復。

99. 最終命題

本文提出:

Generality is better characterized by capability retention across cognitive distance than by peak performance near the center of familiar task distributions.\boxed{ \text{Generality is better characterized by capability retention across cognitive distance than by peak performance near the center of familiar task distributions.} }

中文:

一般性與其說是「熟悉區域能有多高」,不如說是「離開熟悉區域後還能保留多少能力」。


100. 說成人話

如果兩個 AI:

  • 都會熱門題;
  • 都會寫程式;
  • benchmark 都很好;

我真正想知道的不是:

誰多 2 分?

而是:

當我開始問冷門的、跨域的、沒有標準答案的、frame 本身可能錯的問題時,誰先掉下去?

再更進一步:

它是慢慢變弱,還是突然斷崖?

它不知道答案時,是停住、亂猜,還是會自己找新路?

這才是廣域能力斷層掃描真正想看的東西。


附錄 A:認知距離向量

d=(dP,dD,dX,dF,dN,dS,dE)\boxed{ \mathbf d = ( d_P, d_D, d_X, d_F, d_N, d_S, d_E ) }

其中:

  • dPd_P:Popularity Distance;
  • dDd_D:Domain Distance;
  • dXd_X:Cross-Domain Distance;
  • dFd_F:Frame Distance;
  • dNd_N:Novelty Distance;
  • dSd_S:Scaffolding Distance;
  • dEd_E:Evidence Distance。

附錄 B:核心能力拓撲量

PM=max⁡QM\boxed{ P_M = \max Q_M } VM=∫ΩQM(d)dd\boxed{ V_M = \int_\Omega Q_M(\mathbf d)d\mathbf d } CM=Connectivity⁡(Ωτ)\boxed{ C_M = \operatorname{Connectivity}(\Omega_\tau) } κM=max⁡d∣dQMdd∣\boxed{ \kappa_M = \max_d \left| \frac{dQ_M}{dd} \right| } RF(τ)=sup⁡{d:QM(d)≥τ}\boxed{ R_F(\tau) = \sup \{ d: Q_M(d)\geq\tau \} }

附錄 C:搜尋依賴

ΔS(d)=QMsearch(d)−QMcore(d)\boxed{ \Delta_S(\mathbf d) = Q_M^{\mathrm{search}}(\mathbf d) - Q_M^{\mathrm{core}}(\mathbf d) } DS=∫ΩΔS(d)dd∫ΩQMsearch(d)dd\boxed{ D_S = \frac{ \int_\Omega \Delta_S(\mathbf d)d\mathbf d }{ \int_\Omega Q_M^{\mathrm{search}}(\mathbf d)d\mathbf d } }

附錄 D:Half-Capability Radius

RM(d)=QM(d)QM(0)\boxed{ R_M(d) = \frac{ Q_M(d) }{ Q_M(0) } } d1/2=inf⁡{d:RM(d)≤0.5}\boxed{ d_{1/2} = \inf \left\{ d: R_M(d)\leq0.5 \right\} }

附錄 E:能力指紋

FM=(PM,VM,CM,d1/2,RF,κM,DS,Gcal)\boxed{ \mathcal F_M = ( P_M, V_M, C_M, \mathbf d_{1/2}, \mathbf R_F, \kappa_M, D_S, G_{\mathrm{cal}} ) }

附錄 F:Paper 06 接口

BCT 測:

Behavioral Capability Projection.\boxed{ \text{Behavioral Capability Projection}. }

Paper 06 將進一步研究另一個巨大投影器:

Market Projection.\boxed{ \text{Market Projection}. }

市場會用真實使用者的:

  • 留存;
  • 支付;
  • 切換;
  • 重複使用;
  • 任務完成;

對 AI 進行大規模分散式投票。

但:

Market Success≠Frontier Intelligence.\boxed{ \text{Market Success} \neq \text{Frontier Intelligence}. }

因此下一篇將正式處理:

市場到底能告訴我們多少 AI 能力,又有哪些東西它永遠告訴不了我們?