GLOBAL STYLE RUNTIME BENCHMARK & SCORING SPEC v0.7

1. 目標

v0.7 的目標，是讓 v0.6 的 Execution Runtime 從「能執行」進一步變成：

能比較
能評分
能診斷
能重新編譯
能重新綁定

完整閉環為：

Search \to Compile \to Bind \to Run \to Score \to Diagnose \to Recompile/Rebind

本版不採用「一個總分決定一切」的設計，而使用：

\boxed{\text{Hard Gates} + \text{Metric Vector} + \text{Optional Composite Score}}

原因是生成圖的不同品質軸彼此並不等價：prompt adherence、單張美感、style consistency、技術畫質、diversity/coverage、anti-homogenization 可能互相衝突。

2. Metric Vector

定義每一張圖或每一批圖的核心評分向量：

M = (P,Q,A,S,D,H,C,R)

其中：

$P$ — Prompt / Constraint Adherence
$Q$ — Technical Image Quality
$A$ — Human Preference / Aesthetic Proxy
$S$ — Style Consistency
$D$ — Diversity / Coverage
$H$ — Anti-Homogenization
$C$ — Character / Subject Consistency
$R$ — Reference / Control Consistency

這八個值都標準化到：

[0,100]

但每個值的 Provider 可以不同。

3. Hard Gates

在計算總分前，先過最低門檻。

Gate G0 — Execution Validity

圖像成功產出
無 corrupt artifact
metadata 完整

Gate G1 — Prompt / Constraint Minimum

主要主體存在
必要數量正確
必要關係基本成立

Gate G2 — Technical Quality Minimum

無嚴重 blur / corruption / broken image

Gate G3 — Project Constraint Minimum

若 project recipe 指定：

角色身份
palette
reference style
control pose

則至少達到最低門檻。

任一硬門檻失敗：

score_status = rejected

不應靠其他高分補回來。

4. Prompt / Constraint Adherence — P

推薦採混合 Provider：

P1 — VQA-based alignment

對複雜自然語言 prompt，用 VQA 類 evaluator 檢查物件、屬性、關係。

P2 — Object / Count / Position checks

對可明確結構化的條件，使用 object-focused evaluator。

P3 — Rule-specific validators

例如：

是否有劍
是否為雨夜
是否是兩個人物
是否滿足指定色彩區間

定義：

P = w_{vqa}P_{vqa}+w_{obj}P_{obj}+w_{rule}P_{rule}

預設：

(w_{vqa},w_{obj},w_{rule})=(0.45,0.30,0.25)

5. Technical Image Quality — Q

Q 只評估技術品質，不評估風格好不好。

可包含：

blur
noise
distortion
exposure
compression artifact
broken anatomy detector（可選）

定義：

Q = \sum_i w_i q_i

工程上可接 MUSIQ / IQA provider 或其他 image-quality evaluator。

6. Human Preference / Aesthetic Proxy — A

A 不應當成「藝術真理」，只作為：

一般人類偏好／視覺完成度的 proxy。

可接：

HPS v2
ImageReward
project-specific preference model

若專案已累積自己的人工選擇資料，應逐步增加：

A_{project}

權重，而不是永遠依賴通用 preference model。

7. Style Consistency — S

對一組同專案圖片：

\mathcal I = \{I_1,\ldots,I_n\}

可使用 pairwise style similarity。

基準方案：

S_{DINO} = \frac{2}{n(n-1)}\sum_{i<j}\cos(E_D(I_i),E_D(I_j))

其中 $E_D$ 是 DINO 類 embedding。

更進階可使用：

DiffSim
CSD-style descriptor
project-trained style encoder

注意：

\text{Style Consistency} \neq \text{Image Similarity}

必須避免把「所有構圖都一樣」誤認為風格一致。

8. Diversity / Coverage — D

D 分兩層。

8.1 Batch Diversity

評估同一 query / recipe 的候選是否真的有變化。

可用：

pairwise DINO distance
LPIPS / DiffSim distance
composition embedding spread

8.2 Dataset / Mode Coverage

對大量生成結果，應使用 coverage-oriented metric。

本版預留 IRS（Image Retrieval Score）Provider，用於估計生成集合覆蓋真實／參考分佈的程度。

因此：

D = w_bD_{batch}+w_cD_{coverage}

小批生成時：

w_c=0

大規模 benchmark 時才啟用 coverage。

9. Anti-Homogenization — H

這是本系統自訂的實驗性指標，不宣稱為現有學術標準。

H 的目的不是追求「越不像越好」，而是避免：

同一張臉
同一個半身正面構圖
同一種霓虹光
同一種皮膚質感
同一種高概率商業審美模板

本版定義：

H = 100 - Penalty_{hom}

其中：

Penalty_{hom} = \alpha F+ \beta C+ \gamma P+ \delta T

$F$ ：Face-template repetition
$C$ ：Composition repetition
$P$ ：Palette / lighting repetition
$T$ ：Texture / finish repetition

預設：

(\alpha,\beta,\gamma,\delta)=(0.35,0.30,0.20,0.15)

10. Character / Subject Consistency — C

如果是同一角色跨圖生成：

C = Similarity(E_{identity}(I_i),E_{identity}(I_{ref}))

可依角色類型選：

face embedding
DINO subject embedding
project character encoder

但需要同時檢查：

\text{Identity Consistency} \neq \text{Pose/Composition Repetition}

因此 C 高不代表 H 高。

11. Reference / Control Consistency — R

R 分為：

$R_{style}$ ：style reference consistency
$R_{subject}$ ：subject reference consistency
$R_{control}$ ：pose / depth / edge / color control consistency

可定義：

R = w_sR_{style}+w_uR_{subject}+w_cR_{control}

沒有某類 reference 時，對應項目不計分並重新正規化權重。

12. Optional Composite Score

只有通過 Hard Gates 後，才計算：

Score = 0.20P+ 0.10Q+ 0.10A+ 0.20S+ 0.15D+ 0.15H+ 0.05C+ 0.05R

這只是預設 profile。

不同任務應有不同權重，例如：

Character Production

提高：

Concept Exploration

提高：

Marketing Key Art

提高：

13. Scoring Status

建議狀態：

rejected
weak
acceptable
good
excellent

預設：

< 55 → weak
55–69 → acceptable
70–84 → good
85+ → excellent

但 hard-gate failure 一律：

rejected

14. Diagnose Layer

評分後不是只說「差」。

系統應輸出診斷向量：

prompt_failure
quality_failure
style_drift
low_diversity
generic_face_repetition
composition_repetition
identity_drift
reference_drift

持續低於門檻，則可能是：

current model profile / asset binding cannot reach target domain.

此時：

rebind model
switch LoRA / adapter family
switch backend

而不是繼續無限改 prompt。

16. Retry Budget

每一次 refinement 都消耗 budget。

定義：

B=(N_{retry},T_{gpu},Cost_{cloud})

預設 Runtime 可設：

max_recompile = 2
max_rebind = 1
max_backend_switch = 1

避免無限自動重試。

17. Benchmark Suite

v0.7 建議先建立 6 類 benchmark：

Prompt Adherence Suite
Style Stability Suite
Anti-Homogenization Suite
Character Consistency Suite
Reference / Control Suite
Coverage / Exploration Suite

每類至少 20 prompts，第一版共：

120\ prompts

即可開始。

18. Benchmark Reproducibility

每一次 benchmark run 必須保存：

benchmark_version
model_profile
adapter versions
recipe version
seed policy
runner version
metric provider versions
raw metric outputs
normalized metric vector
final status

否則分數不可比較。

19. Metric Provider 原則

本系統正式沿用：

\boxed{Metric \neq Provider}

例如 StyleConsistency 可以由：

DINO provider
DiffSim provider
CSD provider
Project Style Encoder

實作。

因此 metric schema 不綁定單一模型。

20. 現有研究對應

本版參考的主要公開評估方向包括：

GenEval：物件、數量、位置、顏色等細粒度 prompt alignment；
VQAScore / GenAI-Bench：以 VQA 形式處理複雜 compositional prompt alignment；
HPS v2 / ImageReward：人類偏好 proxy；
StyleAligned：以 CLIP text alignment + DINO set consistency 衡量風格一致生成；
DiffSim：用 diffusion features 評估 appearance / style similarity；
ICE-Bench：將 aesthetic、imaging quality、prompt following、reference consistency 等拆成多維評估；
IRS：專門衡量生成模型的 distribution diversity / coverage。

本系統不把任何一個 metric 當唯一真值，而把它們放入 Metric Provider Registry。

21. v0.8 方向

v0.8 最自然的下一步是：

Adaptive Evaluation & Auto-Refinement Runtime

也就是讓 v0.7 的分數真正控制 v0.6 的執行：

Run \to Score \to Diagnose \to Recompile/Rebind \to Run

並加入：

metric calibration
human feedback weighting
project-specific evaluator
adaptive backend selection
evidence store

22. 結論

v0.7 的真正價值，是避免系統陷入這種錯誤：

「一張圖看起來很漂亮，所以這次生成成功。」

對真正遊戲／專案美術而言，成功其實是：

\boxed{ \text{Prompt Correct} \land \text{Quality Acceptable} \land \text{Style Stable} \land \text{Diversity Preserved} \land \text{Homogenization Controlled} }

所以 v0.7 把 Runtime 從「生成器」正式推進成：

可量測的視覺約束求解系統。