成果品質到底怎麼量?:從形式化正確性到結構化智能品質
How Should Output Quality Be Measured? From Formal Correctness to Structured Intelligence Quality
系列: 《智能的物理計量:從最小語意執行到成果品質與計算時空》英文系列: Physical Metrology of Intelligence: From Minimal Semantic Execution to Quality and Computational Spacetime 系列編號: EML-IPM篇次: Paper 06 / 10文件編號: EML-IPM-06作者: Neo.K with Aletheia(GPT-5.6 Sol)機構: EveMissLab/一言諾科技有限公司版本: v0.1日期: 2026-09-02文件性質: 公開純理論論文/智能品質計量方法論工程狀態: 無 MVP;本文建立品質分子側的客觀與結構化測量框架,主觀殘餘交由 Paper 07–08
摘要
IPM Paper 01–05 已逐步建立智能成果的「分母側」:
Physical Resources → Semantic Work → Q . \boxed{
\text{Physical Resources}
\rightarrow
\text{Semantic Work}
\rightarrow
Q.
} Physical Resources → Semantic Work → Q .
其中 Paper 05 已將物理成本展開為:
P c o m p u t e = ( C P , V C S T , Θ C S T , H p e a k , E , B o u n d a r y P , G M ) . \boxed{
\mathfrak P_{\mathrm{compute}}
=
(
\mathbf C_P,
\mathbf V_{CST},
\Theta_{CST},
H_{\mathrm{peak}},
\mathcal E,
Boundary_P,
\mathcal G_M
).
} P compute = ( C P , V C S T , Θ C S T , H peak , E , B o u n d a r y P , G M ) .
但所有智能效率公式都還存在一個尚未解決的分子:
Q . \boxed{
Q.
} Q .
若 Q Q Q 本身只是:
評審覺得這個答案有 8.7 分,
那麼前五篇再精確的 Joule、memory traffic、 μ I \mu_I μ I 、computational spacetime 都會被一個高度任意的分子破壞。
因此本文首先提出:
Quality is not an intrinsic scalar of an artifact. \boxed{
\textbf{
Quality is not an intrinsic scalar of an artifact.
}
} Quality is not an intrinsic scalar of an artifact.
品質不是作品自身攜帶的一個絕對數值,而是輸出 Y Y Y 相對於任務 X X X 、規格 S \mathcal S S 、環境 W W W 與評估邊界 B Q B_Q B Q 的關係:
Q = Q ( Y ∣ X , S , W , B Q ) . \boxed{
Q
=
Q(
Y
\mid
X,\mathcal S,W,B_Q
).
} Q = Q ( Y ∣ X , S , W , B Q ) .
同一份程式、證明、計畫或文章,在不同目標下可以具有完全不同品質。
本文因此拒絕一開始定義:
Q ∈ [ 0 , 1 ] Q\in[0,1] Q ∈ [ 0 , 1 ]
的唯一總分,而先建立 Structured Quality Vector :
Q S = ( Q C , Q A , Q K , Q R , Q B , Q V , Q P ) \boxed{
\mathbf Q_S
=
(
Q_C,
Q_A,
Q_K,
Q_R,
Q_B,
Q_V,
Q_P
)
} Q S = ( Q C , Q A , Q K , Q R , Q B , Q V , Q P )
其中:
Q C Q_C Q C :Correctness,正確性;
Q A Q_A Q A :Alignment,與任務/規格的對齊;
Q K Q_K Q K :Completeness / Coverage,完成度與覆蓋度;
Q R Q_R Q R :Internal Consistency,一致性;
Q B Q_B Q B :Robustness,對擾動、邊界案例與替代條件的穩健性;
Q V Q_V Q V :Verifiability / Reproducibility,可驗證與可重現性;
Q P Q_P Q P :Provenance / Evidence Adequacy,證據與來源充分性。
不同領域可以增加或刪除 typed dimensions:
Q S [ d ] . \boxed{
\mathbf Q_S[d].
} Q S [ d ] .
本文將可測品質分成三個主要層級:
Q L = ( Q F , Q S , Q H ) \boxed{
\mathcal Q_L
=
(
Q_F,
Q_S,
Q_H
)
} Q L = ( Q F , Q S , Q H )
其中:
Q F Q_F Q F :Formal Objective Quality,可由形式系統直接判定;
Q S Q_S Q S :Structured Objective / Semi-Objective Quality,可拆成明確可核查條件;
Q H Q_H Q H :Human Residual Quality,仍需人類感知/偏好/價值判斷的殘餘品質。
Paper 06 主要處理前兩者; Q H Q_H Q H 留給 Paper 07–08。
在程式領域,形式化程度可以從:
Parse → Type Check → Compile → Tests → Property Tests → Model Checking → Formal Proof \boxed{
\text{Parse}
\rightarrow
\text{Type Check}
\rightarrow
\text{Compile}
\rightarrow
\text{Tests}
\rightarrow
\text{Property Tests}
\rightarrow
\text{Model Checking}
\rightarrow
\text{Formal Proof}
} Parse → Type Check → Compile → Tests → Property Tests → Model Checking → Formal Proof
逐步提高。
然而:
C o m p i l e S u c c e s s ≠ C o r r e c t P r o g r a m . \boxed{
CompileSuccess
\neq
CorrectProgram.
} C o m p i l e S u ccess = C or r ec tP r o g r am .
A l l T e s t s P a s s e d ≠ U n i v e r s a l C o r r e c t n e s s . \boxed{
AllTestsPassed
\neq
UniversalCorrectness.
} A l l T es t s P a sse d = U ni v er s a l C or r ec t n ess .
H i g h C o v e r a g e ≠ C o m p l e t e S p e c i f i c a t i o n . \boxed{
HighCoverage
\neq
CompleteSpecification.
} H i g h C o v er a g e = C o m pl e t e S p ec i f i c a t i o n .
F o r m a l P r o o f ≠ C o r r e c t R e a l W o r l d G o a l . \boxed{
FormalProof
\neq
CorrectRealWorldGoal.
} F or ma l P r oo f = C or r ec tR e a l W or l d G o a l .
形式證明通常能建立:
I m p l e m e n t a t i o n ⊨ F o r m a l S p e c i f i c a t i o n \boxed{
Implementation
\models
FormalSpecification
} I m pl e m e n t a t i o n ⊨ F or ma l S p ec i f i c a t i o n
但若 specification 本身漏掉重要世界條件,proof 並不會自動修復錯誤問題定義。
因此本文提出 Specification–Verification Separation :
Q v e r i f i e d = Q v e r i f i c a t i o n ⊗ Q s p e c i f i c a t i o n . \boxed{
Q_{\mathrm{verified}}
=
Q_{\mathrm{verification}}
\otimes
Q_{\mathrm{specification}}.
} Q verified = Q verification ⊗ Q specification .
其中:
Q v e r i f i c a t i o n Q_{\mathrm{verification}} Q verification
問:
是否真的符合已寫出的規格?
而:
Q s p e c i f i c a t i o n Q_{\mathrm{specification}} Q specification
問:
這個規格是否真的代表我們想要的任務?
在數學領域,同樣必須區分:
Proof Validity ≠ Goal Equivalence . \boxed{
\text{Proof Validity}
\neq
\text{Goal Equivalence}.
} Proof Validity = Goal Equivalence .
一個完全形式正確的 theorem 可能只證明原問題的弱化版本、局部版本或不同命題。因此數學品質至少需同時量:
Q m a t h = ( Q w e l l f o r m e d , Q d e r i v a t i o n , Q g o a l , Q s c o p e , Q a x i o m , Q c o u n t e r e x a m p l e ) . \boxed{
\mathbf Q_{math}
=
(
Q_{\mathrm{wellformed}},
Q_{\mathrm{derivation}},
Q_{\mathrm{goal}},
Q_{\mathrm{scope}},
Q_{\mathrm{axiom}},
Q_{\mathrm{counterexample}}
).
} Q ma t h = ( Q wellformed , Q derivation , Q goal , Q scope , Q axiom , Q counterexample ) .
本文進一步提出 Hard Gate / Soft Quality Separation 。
令必要條件集合:
H = { h 1 , … , h m } , \mathcal H
=
\{h_1,\ldots,h_m\}, H = { h 1 , … , h m } ,
軟品質集合:
O = { o 1 , … , o n } . \mathcal O
=
\{o_1,\ldots,o_n\}. O = { o 1 , … , o n } .
Hard Gate:
G H ( Y ) = ⋀ i = 1 m h i ( Y ) . \boxed{
G_H(Y)
=
\bigwedge_{i=1}^{m}
h_i(Y).
} G H ( Y ) = i = 1 ⋀ m h i ( Y ) .
若任務要求「證明定理」而 proof invalid,
或要求「可執行程式」而程式無法 parse,
則:
G H = 0. \boxed{
G_H=0.
} G H = 0.
此時漂亮文風、短程式碼或優雅架構不能補償基本任務失敗。
因此:
F a t a l C o n s t r a i n t F a i l u r e ≁ S o f t Q u a l i t y T r a d e o f f . \boxed{
FatalConstraintFailure
\not\sim
SoftQualityTradeoff.
} F a t a l C o n s t r ain tF ai l u r e ∼ S o f tQ u a l i t y T r a d eo f f .
本文再提出 Coverage 不等於 Correctness 的三層拆分:
C o v e r a g e = ( C s p e c , C t e s t , C s t a t e ) \boxed{
Coverage
=
(
C_{\mathrm{spec}},
C_{\mathrm{test}},
C_{\mathrm{state}}
)
} C o v er a g e = ( C spec , C test , C state )
其中:
C s p e c C_{\mathrm{spec}} C spec :已知需求被規格表示的程度;
C t e s t C_{\mathrm{test}} C test :規格/行為被測試探測的程度;
C s t a t e C_{\mathrm{state}} C state :實際可能狀態空間被探索的程度。
即使:
C t e s t = 1 C_{\mathrm{test}}=1 C test = 1
相對某個有限 test suite 成立,
仍可能:
C s p e c < 1 C_{\mathrm{spec}}<1 C spec < 1
或:
C s t a t e ≪ 1. C_{\mathrm{state}}\ll1. C state ≪ 1.
因此:
100 % T e s t P a s s ≠ 100 % T a s k T r u t h . \boxed{
100\%\ TestPass
\neq
100\%\ TaskTruth.
} 100% T es tP a ss = 100% T a s k T r u t h .
為了量 test suite 本身是否有辨識力,本文借入 mutation-testing 思想:故意引入小型錯誤變異體 M j M_j M j ,若測試能抓出,表示 suite 具有較高 fault sensitivity。
可定義:
M S = N k i l l e d N n o n − e q u i v a l e n t m u t a n t s . \boxed{
MS
=
\frac{
N_{\mathrm{killed}}
}{
N_{\mathrm{non-equivalent\ mutants}}
}.
} M S = N non − equivalent mutants N killed .
這不使測試變成 proof,但能避免:
測試全部通過,因為測試根本沒測到東西。
本文接著提出 Quality Evidence Ladder :
Q-Grade E — Surface Validity
格式正確、可 parse、可開啟。
Q-Grade D — Example Validity
通過有限範例/公開 benchmark cases。
Q-Grade C — Structured Verification
通過系統化 tests、property checks、constraint coverage 與 adversarial cases。
Q-Grade B — Independent Verification
存在獨立 verifier、第二實作、交叉工具或重現。
Q-Grade A — Formal Verification
相對形式規格存在 machine-checkable proof / exhaustive finite verification。
Q-Grade A+ — Formal + Goal Alignment
除形式驗證外,還有充分證據表明 formal specification 與原始任務目標對齊。
因此:
P r o o f G r a d e ≠ G o a l A l i g n m e n t G r a d e . \boxed{
ProofGrade
\neq
GoalAlignmentGrade.
} P r oo f G r a d e = G o a l A l i g nm e n tG r a d e .
本文亦主張,效率不應預先混入品質分數 。
若任務只是:
求出正確答案,
則:
Q Q Q
應先描述成果品質,
而時間、能源與計算時空保留在:
P c o m p u t e . \mathfrak P_{\mathrm{compute}}. P compute .
只有當任務規格本身明示:
必須在 100 ms 內完成,
那麼 latency 才成為:
S \mathcal S S
的一部分,進而成為 correctness/alignment constraint。
所以:
C o s t ≠ Q u a l i t y \boxed{
Cost
\neq
Quality
} C os t = Q u a l i t y
但:
C o s t C o n s t r a i n t ⊆ S p e c i f i c a t i o n ⇒ C o s t C o m p l i a n c e ⊆ Q u a l i t y . \boxed{
CostConstraint
\subseteq
Specification
\Rightarrow
CostCompliance
\subseteq
Quality.
} C os tC o n s t r ain t ⊆ S p ec i f i c a t i o n ⇒ C os tC o m pl ian ce ⊆ Q u a l i t y .
本文最後提出 IPM 品質測量的總結形式:
Q = ( Q S , G H , C Q , G r a d e Q , U Q , B o u n d a r y Q ) \boxed{
\mathfrak Q
=
(
\mathbf Q_S,
G_H,
\mathcal C_Q,
Grade_Q,
U_Q,
Boundary_Q
)
} Q = ( Q S , G H , C Q , G r a d e Q , U Q , B o u n d a r y Q )
其中:
Q S \mathbf Q_S Q S :結構化品質向量;
G H G_H G H :Hard Gate 狀態;
C Q \mathcal C_Q C Q :Coverage profile;
G r a d e Q Grade_Q G r a d e Q :品質證據等級;
U Q U_Q U Q :測量不確定性;
B o u n d a r y Q Boundary_Q B o u n d a r y Q :品質評估邊界。
這使 IPM 的完整鏈第一次變成:
P c o m p u t e → N μ → Q . \boxed{
\mathfrak P_{\mathrm{compute}}
\rightarrow
\mathbf N_{\mu}
\rightarrow
\mathfrak Q.
} P compute → N μ → Q .
而不是:
Compute → 一個隨手打的 8/10 . \boxed{
\text{Compute}
\rightarrow
\text{一個隨手打的 8/10}.
} Compute → 一個隨手打的 8/10 .
本文終端命題為:
能形式化的品質,先形式化; 能結構化的品質,先結構化; 只有無法被更客觀表示的殘餘, 才交給人類主觀判斷。 \boxed{
\textbf{
能形式化的品質,先形式化;
能結構化的品質,先結構化;
只有無法被更客觀表示的殘餘,
才交給人類主觀判斷。
}
} 能形式化的品質,先形式化; 能結構化的品質,先結構化; 只有無法被更客觀表示的殘餘, 才交給人類主觀判斷。
1. 品質不是作品自身的一顆數字
一個答案:
Y Y Y
沒有脫離任務的絕對品質。
2. 同一輸出在不同任務中品質不同
若任務 A 要:
寫一首詩。
任務 B 要:
證明一個定理。
同一段華麗文字可能:
Q A ↑ Q_A\uparrow Q A ↑
但:
Q B = 0. Q_B=0. Q B = 0.
3. 所以品質是關係量
Q = Q ( Y ∣ X , S , W , B Q ) . \boxed{
Q
=
Q(Y\mid X,\mathcal S,W,B_Q).
} Q = Q ( Y ∣ X , S , W , B Q ) .
4. X X X 是 Task
原始問題/目標。
5. S \mathcal S S 是 Specification
已被明確表示的:
requirements;
constraints;
success conditions。
6. W W W 是 World / Evaluation Environment
例如:
compiler version;
theorem axioms;
operating system;
data distribution;
execution environment。
7. B Q B_Q B Q 是 Quality Boundary
例如:
只驗核心函數;
驗完整服務;
驗 deployment;
驗現實世界。
8. 同一 artifact 在不同 boundary 下可得不同結果
程式 unit tests 通過,
不代表:
Q d e p l o y m e n t = 1. Q_{\mathrm{deployment}}=1. Q deployment = 1.
9. 第一個品質型別:Formal Objective Quality
若可以建立 predicate:
P ( Y ) ∈ { 0 , 1 } , P(Y)\in\{0,1\}, P ( Y ) ∈ { 0 , 1 } ,
則可以直接驗證。
10. 例如數學
P r o o f C h e c k e r ( π , ϕ ) = 1. ProofChecker(\pi,\phi)=1. P r oo f C h ec k er ( π , ϕ ) = 1.
11. 程式
C o m p i l e ( Y ) = 1. Compile(Y)=1. C o m p i l e ( Y ) = 1.
12. Schema
S c h e m a V a l i d ( Y ) = 1. SchemaValid(Y)=1. S c h e maV a l i d ( Y ) = 1.
13. Constraint Satisfaction
⋀ i c i ( Y ) = 1. \bigwedge_i c_i(Y)=1. i ⋀ c i ( Y ) = 1.
14. 這是最強的客觀性來源
因為 evaluator 不必回答:
我覺得它大概 8 分。
15. 但 formal objective 不是全部品質
一個程式 compile:
C o m p i l e = 1 Compile=1 C o m p i l e = 1
仍可以完全做錯事。
16. 所以:
S y n t a c t i c V a l i d i t y ≠ S e m a n t i c C o r r e c t n e s s . \boxed{
SyntacticValidity
\neq
SemanticCorrectness.
} S y n t a c t i c V a l i d i t y = S e man t i c C or r ec t n ess .
17. Parse / Type / Compile 是逐層門檻
可以建立:
V s u r f a c e = ( V p a r s e , V t y p e , V c o m p i l e ) . \boxed{
V_{\mathrm{surface}}
=
(
V_{parse},
V_{type},
V_{compile}
).
} V surface = ( V p a r se , V t y p e , V co m p i l e ) .
18. 每一層只能證明一部分
Parse 成功:
語法符合 grammar。
19. Type check 成功:
某些型別關係合法。
20. Compile 成功:
可以被某 compiler translation 接受。
21. 不能推出:
P r o g r a m M e e t s I n t e n t = 1. \boxed{
ProgramMeetsIntent=1.
} P r o g r am M ee t s I n t e n t = 1.
22. Test 是下一層
令 test suite:
T = { t 1 , … , t n } . \mathcal T=
\{t_1,\ldots,t_n\}. T = { t 1 , … , t n } .
23. Pass Rate
P T = ∑ i 1 [ t i ( Y ) = p a s s ] n . \boxed{
P_T
=
\frac{
\sum_i \mathbf 1[t_i(Y)=pass]
}{
n
}.
} P T = n ∑ i 1 [ t i ( Y ) = p a ss ] .
24. 若:
P T = 1 , P_T=1, P T = 1 ,
只代表:
對這些 test,全通過。
25. 不代表未測輸入全正確
因此:
A l l T e s t s P a s s e d ≠ U n i v e r s a l C o r r e c t n e s s . \boxed{
AllTestsPassed
\neq
UniversalCorrectness.
} A l l T es t s P a sse d = U ni v er s a l C or r ec t n ess .
26. 測試本質上是 sampling / probing
它從巨大行為空間中取樣。
27. 若 state space:
∣ Ω ∣ ≫ n , |\Omega|\gg n, ∣Ω∣ ≫ n ,
測試只看:
Ω T ⊂ Ω . \Omega_T\subset\Omega. Ω T ⊂ Ω.
28. Test Coverage 也不是只有 code coverage
常見 coverage 可能包括:
statement;
branch;
path;
condition。
29. 但執行過一行程式
不代表驗證了那一行的所有語意。
所以:
C o d e C o v e r a g e ≠ S e m a n t i c C o v e r a g e . \boxed{
CodeCoverage
\neq
SemanticCoverage.
} C o d e C o v er a g e = S e man t i c C o v er a g e .
30. 三層 Coverage
本文定義:
C Q = ( C s p e c , C t e s t , C s t a t e ) . \boxed{
\mathcal C_Q
=
(
C_{\mathrm{spec}},
C_{\mathrm{test}},
C_{\mathrm{state}}
).
} C Q = ( C spec , C test , C state ) .
31. Specification Coverage
C s p e c C_{\mathrm{spec}} C spec
問:
我們知道的重要需求,有多少真的被寫進可檢查規格?
32. Test Coverage
C t e s t C_{\mathrm{test}} C test
問:
已寫出的規格與行為,有多少真的被 test probing?
33. State Coverage
C s t a t e C_{\mathrm{state}} C state
問:
實際可能世界/輸入/狀態空間,有多少被探索?
34. 三者可以完全不同
例如:
C t e s t = 1 C_{\mathrm{test}}=1 C test = 1
相對一個小 test suite,
但:
C s t a t e ≪ 1. C_{\mathrm{state}}\ll1. C state ≪ 1.
35. 因此:
100 % T e s t P a s s ≠ 100 % T a s k T r u t h . \boxed{
100\%\ TestPass
\neq
100\%\ TaskTruth.
} 100% T es tP a ss = 100% T a s k T r u t h .
36. Mutation Testing 的意義
如果 test suite 太弱,
即使程式被故意改壞,也可能照樣全過。
37. 建立 mutants
M 1 , … , M k . M_1,\ldots,M_k. M 1 , … , M k .
每個包含小型 fault。
38. 若 tests 能 detect:
M j → k i l l e d . M_j\rightarrow killed. M j → k i l l e d .
39. Mutation Score
M S = N k i l l e d N n o n − e q u i v a l e n t . \boxed{
MS
=
\frac{
N_{\mathrm{killed}}
}{
N_{\mathrm{non-equivalent}}
}.
} M S = N non − equivalent N killed .
40. Mutation Score 不是 proof
但它可以衡量:
test suite fault sensitivity . \boxed{
\text{test suite fault sensitivity}.
} test suite fault sensitivity .
41. Property-Based Testing
不是只寫:
input 1 應輸出 2。
而是寫 property:
P ( x ) P(x) P ( x )
並在大量 generated inputs 上測。
42. 它提高 state probing
但仍不是 exhaustive proof,
除非 domain 有限且全部走過。
43. Model Checking
若系統 state space 可形式化且有限/可抽象,
可以驗證 temporal / safety properties。
44. 形式證明更進一步
目標是建立:
I m p l e m e n t a t i o n ⊨ S p e c i f i c a t i o n . \boxed{
Implementation\models Specification.
} I m pl e m e n t a t i o n ⊨ S p ec i f i c a t i o n .
45. Hoare-style reasoning
例如:
{ P } C { Q } . \boxed{
\{P\}\ C\ \{Q\}.
} { P } C { Q } .
若 precondition P P P 成立,
執行 command C C C 後,
postcondition Q Q Q 成立。
46. 這是非常強的 correctness statement
但只相對:
P , Q P,Q P , Q
有效。
47. Specification Problem
若 postcondition 寫錯:
Q w r o n g , Q_{\mathrm{wrong}}, Q wrong ,
proof 可以完美證明:
C ⊨ Q w r o n g . C\models Q_{\mathrm{wrong}}. C ⊨ Q wrong .
48. 但真實需求仍然失敗
因此:
F o r m a l V e r i f i c a t i o n ≠ R e a l W o r l d G o a l C o r r e c t n e s s . \boxed{
FormalVerification
\neq
RealWorldGoalCorrectness.
} F or ma l V er i f i c a t i o n = R e a l W or l d G o a l C or r ec t n ess .
49. Specification–Verification Separation
本文定義兩軸:
Q v e r i f i c a t i o n \boxed{
Q_{\mathrm{verification}}
} Q verification
以及:
Q s p e c i f i c a t i o n . \boxed{
Q_{\mathrm{specification}}.
} Q specification .
50. 第一軸問
是否正確符合已寫出的規格?
51. 第二軸問
已寫出的規格是否捕捉真正想要的事情?
52. 兩者都高才真正強
Q v e r i f i e d = Q v e r i f i c a t i o n ⊗ Q s p e c i f i c a t i o n . \boxed{
Q_{\mathrm{verified}}
=
Q_{\mathrm{verification}}
\otimes
Q_{\mathrm{specification}}.
} Q verified = Q verification ⊗ Q specification .
53. 不宜直接乘法當唯一數字
⊗ \otimes ⊗ 表示組合,
不是預設普通乘法。
54. 數學也有完全同構問題
Proof checker 可以驗:
π ⊢ ϕ . \pi\vdash\phi. π ⊢ ϕ .
55. 但原始目標可能是:
ψ . \psi. ψ .
56. 如果:
ϕ ≢ ψ , \phi\not\equiv\psi, ϕ ≡ ψ ,
即使:
π ⊢ ϕ \pi\vdash\phi π ⊢ ϕ
完全正確,
也沒完成原任務。
57. 所以:
P r o o f V a l i d i t y ≠ G o a l E q u i v a l e n c e . \boxed{
ProofValidity
\neq
GoalEquivalence.
} P r oo f V a l i d i t y = G o a l E q u i v a l e n ce .
58. 數學品質向量
本文提出:
Q m a t h = ( Q W , Q D , Q G , Q S , Q A , Q X ) . \boxed{
\mathbf Q_{math}
=
(
Q_W,
Q_D,
Q_G,
Q_S,
Q_A,
Q_X
).
} Q ma t h = ( Q W , Q D , Q G , Q S , Q A , Q X ) .
59. Q W Q_W Q W — Well-Formedness
符號、定義、語法合法。
60. Q D Q_D Q D — Derivation Validity
推導每一步合法。
61. Q G Q_G Q G — Goal Alignment
最後 theorem 是否真的是原始目標。
62. Q S Q_S Q S — Scope Fidelity
局部版本、特殊情況、弱化命題是否被誤寫成全域結果。
63. Q A Q_A Q A — Axiom / Assumption Transparency
用了哪些假設?
是否偷偷加入等價於結論的假設?
64. Q X Q_X Q X — Counterexample Resistance
對可能反例與 edge case 是否存活。
65. 這比只問「有 proof 嗎」更完整
因為:
P r o o f E x i s t s ≠ R e s e a r c h P r o b l e m S o l v e d . \boxed{
ProofExists
\neq
ResearchProblemSolved.
} P r oo f E x i s t s = R ese a r c h P r o b l e m S o l v e d .
66. Hard Gate / Soft Quality
有些品質維度不能互相補償。
67. 必要條件
H = { h 1 , … , h m } . \mathcal H
=
\{h_1,\ldots,h_m\}. H = { h 1 , … , h m } .
68. Hard Gate
G H ( Y ) = ⋀ i h i ( Y ) . \boxed{
G_H(Y)
=
\bigwedge_i h_i(Y).
} G H ( Y ) = i ⋀ h i ( Y ) .
69. 例如程式任務要求可執行
若:
C o m p i l e = 0 , Compile=0, C o m p i l e = 0 ,
則:
G H = 0. G_H=0. G H = 0.
70. 即使 code 很優雅
也不能抵消:
not executable . \boxed{
\text{not executable}.
} not executable .
71. 數學 proof task
若存在 fatal invalid step:
P r o o f V a l i d = 0. ProofValid=0. P r oo f V a l i d = 0.
72. 文風漂亮不能補回 theorem validity
73. 所以:
F a t a l C o n s t r a i n t F a i l u r e ≁ S o f t Q u a l i t y T r a d e o f f . \boxed{
FatalConstraintFailure
\not\sim
SoftQualityTradeoff.
} F a t a l C o n s t r ain tF ai l u r e ∼ S o f tQ u a l i t y T r a d eo f f .
74. Soft Objectives
若 hard gate 通過,
才比較:
elegance;
brevity;
maintainability;
explanatory clarity。
75. 這形成 lexicographic quality
先:
G H . G_H. G H .
再:
Q s o f t . \mathbf Q_{soft}. Q so f t .
76. 不一定要硬乘成:
Q = G H × s c o r e . Q=G_H\times score. Q = G H × scor e .
因為保留結構更安全。
77. Structured Quality Vector
跨領域先建立:
Q S = ( Q C , Q A , Q K , Q R , Q B , Q V , Q P ) . \boxed{
\mathbf Q_S
=
(
Q_C,
Q_A,
Q_K,
Q_R,
Q_B,
Q_V,
Q_P
).
} Q S = ( Q C , Q A , Q K , Q R , Q B , Q V , Q P ) .
78. Correctness Q C Q_C Q C
是否符合已知真值/形式條件。
79. Alignment Q A Q_A Q A
是否真正回答所問問題。
80. Completeness Q K Q_K Q K
是否漏掉關鍵需求、分支、條件。
81. Consistency Q R Q_R Q R
前後是否衝突。
82. Robustness Q B Q_B Q B
輸入稍微改變是否崩壞?
edge cases 是否存活?
83. Verifiability Q V Q_V Q V
第三方是否能重現、驗證。
84. Provenance / Evidence Q P Q_P Q P
需要外部事實時,證據是否充分。
85. 不同領域可以 typed
Q S [ d ] . \boxed{
\mathbf Q_S[d].
} Q S [ d ] .
86. Code Quality
可以:
Q c o d e = ( C o r r e c t n e s s , S p e c A l i g n m e n t , T e s t S t r e n g t h , R o b u s t n e s s , S e c u r i t y , R e p r o d u c i b i l i t y , M a i n t a i n a b i l i t y ) . \mathbf Q_{code}
=
(
Correctness,
SpecAlignment,
TestStrength,
Robustness,
Security,
Reproducibility,
Maintainability
). Q co d e = ( C or r ec t n ess , S p ec A l i g nm e n t , T es tS t r e n g t h , R o b u s t n ess , S ec u r i t y , R e p r o d u c ibi l i t y , M ain t ainabi l i t y ) .
87. 但 maintainability 是否屬核心品質取決於 task
如果題目只是一次性函數,
它可能權重低。
88. 所以沒有 universal fixed weights
W e i g h t s = W e i g h t s ( T a s k ) . \boxed{
Weights
=
Weights(Task).
} W e i g h t s = W e i g h t s ( T a s k ) .
89. Planning Quality
可以拆:
feasibility;
constraint satisfaction;
coverage;
ordering;
contingency;
goal reachability。
90. Structured Data Quality
可以拆:
schema validity;
missingness;
consistency;
referential integrity;
duplication;
provenance。
91. 科學回答
可以拆:
factual correctness;
evidence match;
uncertainty calibration;
citation adequacy;
causal restraint;
reproducibility。
92. 這些很多都能先結構化
不必先問人:
你覺得好不好?
93. Objective / Semi-Objective / Residual
本文因此分三層:
Q F \boxed{
Q_F
} Q F
Formal Objective。
94. Q S Q_S Q S
Structured Objective / Semi-Objective。
95. Q H Q_H Q H
Human Residual。
96. Formal Objective 例子
proof checker;
compiler;
exact constraint solver;
schema validator。
97. Structured Objective
例如:
有沒有漏掉 prompt 明寫的 12 個要求?
這可以拆成 12 個 binary checks。
98. 或:
引用了不存在的文獻嗎?
也可以核查。
99. Human Residual
例如:
這個畫面美嗎?
這個比喻自然嗎?
這篇小說有感染力嗎?
100. Paper 07 的核心原則已經出現
不是立刻叫人打:
8.2 / 10. 8.2/10. 8.2/10.
而是把 Q H Q_H Q H 繼續拆成低負擔判斷。
101. 但 Paper 06 先做最大客觀化
因此:
Q H = Q t o t a l − Q o b j e c t i f i a b l e \boxed{
Q_H
=
Q_{\mathrm{total}}
-
Q_{\mathrm{objectifiable}}
} Q H = Q total − Q objectifiable
只是概念式,
不是數值減法。
102. Evaluation Oracle
任何自動評估都依賴 oracle:
O ( Y ) . \mathcal O(Y). O ( Y ) .
103. Oracle 可能是
test;
proof checker;
judge model;
human;
environment outcome。
104. 但 oracle 自身也會錯
所以:
E v a l u a t o r C o r r e c t n e s s \boxed{
EvaluatorCorrectness
} E v a l u a t or C or r ec t n ess
也必須被考慮。
105. Weak Oracle Problem
如果 evaluator 很弱:
高品質輸出可能被判錯,
低品質也可能漏過。
106. 所以:
O b s e r v e d Q u a l i t y = F ( T r u e Q u a l i t y , E v a l u a t o r P o w e r , C o v e r a g e ) . \boxed{
ObservedQuality
=
F(
TrueQuality,
EvaluatorPower,
Coverage
).
} O b ser v e d Q u a l i t y = F ( T r u e Q u a l i t y , E v a l u a t or P o w er , C o v er a g e ) .
107. 這與 Paper 03 的 proxy epistemology 完全一致
評分器本身不是神。
108. Independent Verification
若兩個不同 verifier:
V 1 , V 2 V_1,V_2 V 1 , V 2
獨立實現,
且:
V 1 ( Y ) = V 2 ( Y ) , V_1(Y)=V_2(Y), V 1 ( Y ) = V 2 ( Y ) ,
可信度增加。
109. 但兩者若共享同一 bug
仍可能一起錯。
所以:
A g r e e m e n t ≠ T r u t h . \boxed{
Agreement
\neq
Truth.
} A g r ee m e n t = T r u t h .
110. Diversity of Verification
更強的是不同方法:
execution;
proof;
static analysis;
independent implementation。
111. Evidence Triangulation for Quality
本文提出:
E Q = ( E F , E T , E P , E I , E H ) \boxed{
\mathcal E_Q
=
(
E_F,
E_T,
E_P,
E_I,
E_H
)
} E Q = ( E F , E T , E P , E I , E H )
其中:
E F E_F E F :formal evidence;
E T E_T E T :test evidence;
E P E_P E P :property / adversarial evidence;
E I E_I E I :independent verification;
E H E_H E H :human/world evidence。
112. Quality Confidence
C o n f Q = F ( E Q , C o v e r a g e , O r a c l e Q u a l i t y ) . \boxed{
Conf_Q
=
F(
\mathcal E_Q,
Coverage,
OracleQuality
).
} C o n f Q = F ( E Q , C o v er a g e , O r a c l e Q u a l i t y ) .
113. Quality Evidence Grade
Q-Grade E — Surface Validity
格式/語法層。
114. Q-Grade D — Example Validity
有限 benchmark examples。
115. Q-Grade C — Structured Verification
系統化 tests、properties、adversarial cases。
116. Q-Grade B — Independent Verification
獨立 verifier / reimplementation / cross-tool。
117. Q-Grade A — Formal Verification
machine-checkable proof 或 exhaustive finite verification。
118. Q-Grade A+ — Formal + Goal Alignment
形式證明之外,
有強證據 formal spec 真的是原始任務。
119. 所以:
P r o o f G r a d e ≠ G o a l A l i g n m e n t G r a d e . \boxed{
ProofGrade
\neq
GoalAlignmentGrade.
} P r oo f G r a d e = G o a l A l i g nm e n tG r a d e .
120. Reproducibility
一個結果如果只能:
這次剛好成功,
品質可信度不同。
121. 所以要區分:
Q e p i s o d e \boxed{
Q_{\mathrm{episode}}
} Q episode
與:
Q d i s t r i b u t i o n . \boxed{
Q_{\mathrm{distribution}}.
} Q distribution .
122. Single-pass 研究尤其重要
某次一次答對:
Q e p i s o d e = 1. Q_{\mathrm{episode}}=1. Q episode = 1.
123. 但重跑 100 次只對 20 次
可靠度低。
所以:
P e a k E p i s o d e ≠ R e l i a b l e Q u a l i t y . \boxed{
PeakEpisode
\neq
ReliableQuality.
} P e ak E p i so d e = R e l iab l e Q u a l i t y .
124. 因此品質也有 distribution
Q ∼ P ( Q ∣ T a s k , M o d e l , C o n f i g ) . \boxed{
Q
\sim
P(Q\mid Task,Model,Config).
} Q ∼ P ( Q ∣ T a s k , M o d e l , C o n f i g ) .
125. Paper 09 會把這與 Pass@1 / scaffolding 重新接起來
126. Robustness 不是額外裝飾
如果輸入做微小語意保持變換:
x → x ′ , x\rightarrow x', x → x ′ ,
理想輸出品質不應崩潰。
127. 定義 robustness sensitivity
S R = Δ Q d ( x , x ′ ) . \boxed{
S_R
=
\frac{
\Delta Q
}{
d(x,x')
}.
} S R = d ( x , x ′ ) Δ Q .
128. 若 d d d 很小但 Δ Q \Delta Q Δ Q 很大
表示 brittle。
129. Metamorphic-style evaluation
有時不知道 exact answer,
但知道變換後輸出應保持某 relation。
130. 例如排序函數
若輸入 permutation 改變,
排序後結果應一致。
131. 這提供沒有完整 oracle 時的 structured verification
132. Completeness 也不能只看篇幅
長答案:
L e n g t h ↑ Length\uparrow L e n g t h ↑
不代表:
C o m p l e t e n e s s ↑ . Completeness\uparrow. C o m pl e t e n ess ↑ .
133. 更合理是 requirement coverage
若需求集合:
R = { r 1 , … , r n } , \mathcal R=
\{r_1,\ldots,r_n\}, R = { r 1 , … , r n } ,
則:
C R = ∣ { r i : s a t i s f i e d } ∣ n . \boxed{
C_R
=
\frac{
|\{r_i:\ satisfied\}|
}{
n
}.
} C R = n ∣ { r i : s a t i s f i e d } ∣ .
134. 但 requirement importance 不一定相同
因此可以 typed:
135. Weighted coverage 只有在權重來源透明時才能使用
否則又回到任意打分。
136. Consistency
可以建立 contradiction graph。
若答案內命題集合:
Φ = { ϕ 1 , … , ϕ n } , \Phi=\{\phi_1,\ldots,\phi_n\}, Φ = { ϕ 1 , … , ϕ n } ,
找:
ϕ i ∧ ϕ j ⇒ ⊥ . \phi_i\land\phi_j\Rightarrow\bot. ϕ i ∧ ϕ j ⇒ ⊥.
137. 這比問:
你覺得前後一致嗎?
更可結構化。
138. Evidence adequacy
若 output 含可外部核查 claims:
c 1 , … , c m , c_1,\ldots,c_m, c 1 , … , c m ,
可以測:
cited?
source exists?
source supports claim?
source freshness?
source authority?
139. 因此:
Q P Q_P Q P
也能大量結構化。
140. Efficiency 不要先塞進品質
這點必須再次固定。
如果 A、B 都:
Q = 1 , Q=1, Q = 1 ,
但 A 花 1 J,
B 花 1000 J,
這是 efficiency 差異,
不是成果 correctness 差異。
141. 所以:
C o s t ≠ Q u a l i t y . \boxed{
Cost
\neq
Quality.
} C os t = Q u a l i t y .
142. 但如果規格說:
必須在 100 ms 內回答,
那:
T ≤ 100 m s T\le100ms T ≤ 100 m s
就是 hard requirement。
143. 因此:
C o s t C o n s t r a i n t ⊆ S p e c i f i c a t i o n ⇒ C o s t C o m p l i a n c e ⊆ Q u a l i t y . \boxed{
CostConstraint
\subseteq
Specification
\Rightarrow
CostCompliance
\subseteq
Quality.
} C os tC o n s t r ain t ⊆ S p ec i f i c a t i o n ⇒ C os tC o m pl ian ce ⊆ Q u a l i t y .
144. 這避免 double counting
否則 latency 一次算品質,
又一次算效率,
會重複計分。
145. Quality Boundary
像能源 boundary 一樣,
品質也要寫:
B o u n d a r y Q . \boxed{
Boundary_Q.
} B o u n d a r y Q .
146. 例如 code
function;
module;
service;
production deployment。
147. function 正確
不代表 service 正確。
148. service 正確
不代表 socio-technical deployment 正確。
149. 所以:
Q u a l i t y C o m p a r i s o n ⇒ S a m e B o u n d a r y Q . \boxed{
QualityComparison
\Rightarrow
SameBoundary_Q.
} Q u a l i t y C o m p a r i so n ⇒ S am e B o u n d a r y Q .
150. Measurement Uncertainty
即使 Formal predicate 可精確,
其 coverage 與 specification mapping 仍可能不確定。
151. 所以品質報告應含:
U Q . \boxed{
U_Q.
} U Q .
152. U Q U_Q U Q 可以來自
unknown requirements;
incomplete oracle;
judge disagreement;
environmental uncertainty。
153. 最終品質物件
本文定義:
Q = ( Q S , G H , C Q , E Q , G r a d e Q , C o n f Q , U Q , B o u n d a r y Q ) . \boxed{
\mathfrak Q
=
(
\mathbf Q_S,
G_H,
\mathcal C_Q,
\mathcal E_Q,
Grade_Q,
Conf_Q,
U_Q,
Boundary_Q
).
} Q = ( Q S , G H , C Q , E Q , G r a d e Q , C o n f Q , U Q , B o u n d a r y Q ) .
154. 這不是一個 score
而是一個品質測量物件。
155. 若應用真的需要 scalar
可在明示:
T a s k , W e i g h t s , G a t e s , B o u n d a r y Task,\ Weights,\ Gates,\ Boundary T a s k , W e i g h t s , G a t es , B o u n d a r y
後投影:
Q ∗ = Π Q ( Q ) . \boxed{
Q^*
=
\Pi_Q(\mathfrak Q).
} Q ∗ = Π Q ( Q ) .
156. 所以:
Q ∗ = Q ∗ ( T a s k , P r o j e c t i o n R u l e ) . \boxed{
Q^*
=
Q^*(Task,ProjectionRule).
} Q ∗ = Q ∗ ( T a s k , P r o j ec t i o n R u l e ) .
157. 不存在無條件 universal quality scalar
158. 對 IPM 的完整接合
現在:
P c o m p u t e → N μ → Q . \boxed{
\mathfrak P_{\mathrm{compute}}
\rightarrow
\mathbf N_{\mu}
\rightarrow
\mathfrak Q.
} P compute → N μ → Q .
159. 若需要效率比較
可以使用:
η Q / E = Π Q ( Q ) E m a r g \boxed{
\eta_{Q/E}
=
\frac{
\Pi_Q(\mathfrak Q)
}{
E_{\mathrm{marg}}
}
} η Q / E = E marg Π Q ( Q )
160. 但 projection rule 必須公開
否則:
η Q / E \eta_{Q/E} η Q / E
不可重現。
161. 更推薦 Pareto 表示
直接比較:
( Q , P c o m p u t e ) . \boxed{
(
\mathfrak Q,
\mathfrak P_{\mathrm{compute}}
).
} ( Q , P compute ) .
162. 直到決策場景確實需要 scalar 才投影
163. 十六個 Canonical Invariants
Invariant 1
Q u a l i t y ≠ I n t r i n s i c S c a l a r . \boxed{
Quality
\neq
IntrinsicScalar.
} Q u a l i t y = I n t r in s i c S c a l a r .
Invariant 2
S y n t a c t i c V a l i d i t y ≠ S e m a n t i c C o r r e c t n e s s . \boxed{
SyntacticValidity
\neq
SemanticCorrectness.
} S y n t a c t i c V a l i d i t y = S e man t i c C or r ec t n ess .
Invariant 3
C o m p i l e S u c c e s s ≠ C o r r e c t P r o g r a m . \boxed{
CompileSuccess
\neq
CorrectProgram.
} C o m p i l e S u ccess = C or r ec tP r o g r am .
Invariant 4
A l l T e s t s P a s s e d ≠ U n i v e r s a l C o r r e c t n e s s . \boxed{
AllTestsPassed
\neq
UniversalCorrectness.
} A l l T es t s P a sse d = U ni v er s a l C or r ec t n ess .
Invariant 5
C o d e C o v e r a g e ≠ S e m a n t i c C o v e r a g e . \boxed{
CodeCoverage
\neq
SemanticCoverage.
} C o d e C o v er a g e = S e man t i c C o v er a g e .
Invariant 6
F o r m a l V e r i f i c a t i o n ≠ R e a l W o r l d G o a l C o r r e c t n e s s . \boxed{
FormalVerification
\neq
RealWorldGoalCorrectness.
} F or ma l V er i f i c a t i o n = R e a l W or l d G o a l C or r ec t n ess .
Invariant 7
P r o o f V a l i d i t y ≠ G o a l E q u i v a l e n c e . \boxed{
ProofValidity
\neq
GoalEquivalence.
} P r oo f V a l i d i t y = G o a l E q u i v a l e n ce .
Invariant 8
F a t a l C o n s t r a i n t F a i l u r e ≁ S o f t Q u a l i t y T r a d e o f f . \boxed{
FatalConstraintFailure
\not\sim
SoftQualityTradeoff.
} F a t a l C o n s t r ain tF ai l u r e ∼ S o f tQ u a l i t y T r a d eo f f .
Invariant 9
E v a l u a t o r A g r e e m e n t ≠ T r u t h . \boxed{
EvaluatorAgreement
\neq
Truth.
} E v a l u a t or A g r ee m e n t = T r u t h .
Invariant 10
P e a k E p i s o d e ≠ R e l i a b l e Q u a l i t y . \boxed{
PeakEpisode
\neq
ReliableQuality.
} P e ak E p i so d e = R e l iab l e Q u a l i t y .
Invariant 11
L e n g t h ≠ C o m p l e t e n e s s . \boxed{
Length
\neq
Completeness.
} L e n g t h = C o m pl e t e n ess .
Invariant 12
C o s t ≠ Q u a l i t y . \boxed{
Cost
\neq
Quality.
} C os t = Q u a l i t y .
Invariant 13
Q u a l i t y C o m p a r i s o n ⇒ S a m e B o u n d a r y Q . \boxed{
QualityComparison
\Rightarrow
SameBoundary_Q.
} Q u a l i t y C o m p a r i so n ⇒ S am e B o u n d a r y Q .
Invariant 14
S c a l a r Q u a l i t y ⇒ D e c l a r e d P r o j e c t i o n R u l e . \boxed{
ScalarQuality
\Rightarrow
DeclaredProjectionRule.
} S c a l a r Q u a l i t y ⇒ D ec l a r e d P r o j ec t i o n R u l e .
Invariant 15
P r o o f G r a d e ≠ G o a l A l i g n m e n t G r a d e . \boxed{
ProofGrade
\neq
GoalAlignmentGrade.
} P r oo f G r a d e = G o a l A l i g nm e n tG r a d e .
Invariant 16
O b j e c t i f i a b l e F i r s t , H u m a n R e s i d u a l L a s t . \boxed{
ObjectifiableFirst,
HumanResidualLast.
} O bj ec t i f iab l e F i r s t , H u man R es i d u a l L a s t .
164. 結論:品質測量應先把「可以不用問人」的部分拿掉
如果一個 theorem proof 可以用 proof assistant 驗,
就不應先問:
你覺得這個 proof 有幾分?
如果程式能跑 tests、properties、model checker,
就不應把所有 correctness 壓給人工評審。
如果 prompt 有 20 個明確要求,
就應先逐項核查:
r i ∈ { s a t i s f i e d , u n s a t i s f i e d } . r_i\in\{satisfied,unsatisfied\}. r i ∈ { s a t i s f i e d , u n s a t i s f i e d } .
而不是直接問:
整體來說你給幾分?
因此本文的核心順序是:
Formalize what can be formalized \boxed{
\text{Formalize what can be formalized}
} Formalize what can be formalized
↓ \boxed{
\downarrow
} ↓
Structure what can be structured \boxed{
\text{Structure what can be structured}
} Structure what can be structured
↓ \boxed{
\downarrow
} ↓
Leave only genuine residual ambiguity to humans . \boxed{
\text{Leave only genuine residual ambiguity to humans}.
} Leave only genuine residual ambiguity to humans .
這樣做不是因為人類主觀判斷沒有價值。
恰恰相反。
是因為人的注意力與認知資源非常昂貴。
如果機器可以客觀確認:
程式 compile 失敗,
就沒有理由叫 100 個人評:
這個程式看起來是否可用?
如果 proof checker 已經找到 invalid derivation,
也沒有理由讓評審用文風補回 correctness。
所以:
人類評審應該被保留給機器真正無法可靠決定的品質維度。 \boxed{
\textbf{
人類評審應該被保留給機器真正無法可靠決定的品質維度。
}
} 人類評審應該被保留給機器真正無法可靠決定的品質維度。
而且即使需要人類,
下一步也不應立刻使用:
0 ∼ 10 0\sim10 0 ∼ 10
的 arbitrary rating。
我們已經在 FDCS/IBQF 中有另一條路:
many low-load binary judgments → latent quality reconstruction . \boxed{
\text{many low-load binary judgments}
\rightarrow
\text{latent quality reconstruction}.
} many low-load binary judgments → latent quality reconstruction .
這就是 Paper 07:
《不要叫人類替自己的感覺打分數:IBQF 二元測量與低負擔品質評估》 。
到那一篇,我們會把這次對「成果品質」剩下的主觀殘餘正式接回:
{ 0 , 1 } n → Q ^ H . \{0,1\}^{n}
\rightarrow
\widehat{\mathbf Q}_H. { 0 , 1 } n → Q H .
如此,IPM 的品質端才真正完整。
文獻基礎
[1] Hoare, C. A. R. (1969). An Axiomatic Basis for Computer Programming. Communications of the ACM , 12(10), 576–580. DOI: 10.1145/363235.363259.
[2] Dijkstra, E. W. (1972). The Humble Programmer. Communications of the ACM , 15(10), 859–866. DOI: 10.1145/355604.361591.
[3] DeMillo, R. A., Lipton, R. J., & Sayward, F. G. (1978). Hints on Test Data Selection: Help for the Practicing Programmer. Computer , 11(4), 34–41. DOI: 10.1109/C-M.1978.218136.
[4] Jia, Y., & Harman, M. (2011). An Analysis and Survey of the Development of Mutation Testing. IEEE Transactions on Software Engineering , 37(5), 649–678. DOI: 10.1109/TSE.2010.62.
[5] Claessen, K., & Hughes, J. (2000). QuickCheck: A Lightweight Tool for Random Testing of Haskell Programs. ICFP 2000 , 268–279. DOI: 10.1145/351240.351266.
[6] Clarke, E. M., Emerson, E. A., & Sistla, A. P. (1986). Automatic Verification of Finite-State Concurrent Systems Using Temporal Logic Specifications. ACM Transactions on Programming Languages and Systems , 8(2), 244–263. DOI: 10.1145/5397.5399.
[7] Avizienis, A., Laprie, J.-C., Randell, B., & Landwehr, C. (2004). Basic Concepts and Taxonomy of Dependable and Secure Computing. IEEE Transactions on Dependable and Secure Computing , 1(1), 11–33. DOI: 10.1109/TDSC.2004.2.
[8] Weyuker, E. J. (1982). On Testing Non-Testable Programs. The Computer Journal , 25(4), 465–470. DOI: 10.1093/comjnl/25.4.465.
系列路徑
Paper 01|一輪到底是一輪什麼?:使用者回合、隱藏 LOOP 與單次智能的重新定義
Paper 02|智能到底算了一次什麼?:最小智能語意執行單位的候選理論
Paper 03|從認知到神經元:人腦如何跨層測量智能計算
Paper 04|從神經元到焦耳:智能計算的能量、熱力學與物理下界
Paper 05|計算不是只有 FLOPs:記憶體、互連、硬體占用與計算時空體積
Paper 06|成果品質到底怎麼量?:從形式化正確性到結構化智能品質
Paper 07|不要叫人類替自己的感覺打分數:IBQF 二元測量與低負擔品質評估
Paper 08|自然語言、圖像與創意如何被量?:高歧義成果的結構化品質空間
Paper 09|拿掉 LOOP 還剩多少智能?:單次智能、鷹架依賴與隱藏計算成本
Paper 10|一個答案值多少物理世界?:智能產率的統一計量框架