視覺反事實與因果理解:如果不這樣畫,會發生什麼?
Visual Counterfactual and Causal Understanding
——從「描述作品」走向「改變作品並預測理解差異」
VUSD Series — Paper 04 / 05
作者: Neo.K
機構: EveMissLab/一言諾科技有限公司
版本: v0.1
日期: 2026-08-31
定位: 基礎理論 / Counterfactual Visual Reasoning / Causal Understanding
研究狀態: 理論原型;提出的是可操作的反事實框架,不宣稱已建立完整的人類視覺因果模型
摘要
Visual Understanding Shared-Domain Theory(VUSD)前三篇分別建立:
- 從 Creator Intent、Context、Visual Decision、Perceptual Mechanism、Shared Domain 到 Observer Projection 的總體模型;
- Creator Rationale、Contextual Cause、Functional Rationale 與 Evidence Provenance 的分離;
- 可跨觀察者描述的 Understanding Shared-Domain Operator Family。
但如果 AI 只能說:
「這張圖具有高對比、回眸、薄紗、方向張力與較高的 reciprocity。」
它仍可能只是在做高階描述。
真正更接近理解的問題是:
如果把回眸改成正面凝視,會發生什麼?
如果把肩背遮住,會發生什麼?
如果降低服裝透明度,會發生什麼?
如果把人物移到畫面中央,會發生什麼?
如果把背景細節提高,主體 salience 是否一定下降?
因此本文提出:
Visual Counterfactual Reasoning
視覺反事實推理
其核心形式為:
並觀察:
以及對特定 observer:
本文主張:
至少可以把它視為一個強 operational criterion。
但同時強調:
任何反事實推論都必須帶:
scope
observer
context
confidence
evidence
alternative explanation
VUSD Paper 04 的目的不是建立「美術的固定因果公式」,而是讓 AI 對視覺設計提出:
可修改、可比較、可驗證、可被推翻的理由。
1. 描述不等於理解
一個 AI 可以非常流暢地說:
畫面使用對角線構圖,
人物具有強烈動勢,
紅黑配色提高危險感,
背景留白讓主體突出。
但這些句子是否代表理解?
未必。
因為模型可能只是:
recognize familiar visual pattern
+
retrieve familiar art explanation
真正更強的測試是:
把其中一個因素拿掉,模型是否能預測結果?
因此:
2. 反事實的基本形式
令原始作品為:
其中包含 Visual Decisions:
選一個 decision:
建立替代:
形成:
本文借用 do 只是表示:
主動修改某一視覺決策。
不宣稱 VUSD 已完整採用任何特定因果推斷體系。
3. Visual Intervention
反事實的核心不是:
「想像另一張圖。」
而是定義:
Visual Intervention
例如:
D1:
body direction = left
face direction = viewer
Intervention:
face direction = front-aligned
或:
D2:
background detail density = low
Intervention:
background detail density = high
因此:
4. 最小充分干預原則
如果我們想知道:
回眸是不是造成某種 tension?
最好的測試不是:
重畫整個人物
換背景
換色盤
換姿勢
換衣服
而是:
只改必要維度。
因此:
這與 EveAtelier 既有:
高度一致。
5. 為什麼最小干預很重要?
若同時修改:
pose
camera
palette
costume
background
即使最後 Experienced Meaning 改變,
我們也不知道:
到底是哪一個變化造成的。
因此:
6. 反事實不是單層輸出
VUSD 不應只問:
「更漂亮還是更醜?」
而應依層分析:
所以每次 intervention 都產生:
ΔDecision
ΔPerceptualMechanism
ΔSharedDomain
ΔObserverMeaning
7. 第一層:Decision Delta
例如:
shoulder exposure:
0.72 → 0.25
或:
gaze:
viewer-directed → off-axis
這只是:
8. 第二層:Mechanism Delta
例如露肩下降可能造成:
body contour visibility ↓
skin/fabric material contrast ↓
layer boundary complexity ↑
這是:
9. 第三層:Shared-Domain Delta
再推到:
body salience ↓
reveal-conceal ↓
surface contrast ↓
distance / accessibility 可能改變
即:
10. 第四層:Observer Projection Delta
對某 observer:
sensual tension ↓
mystery ↑
authority ↑
可能成立。
但對另一 observer:
elegance ↑
sensuality almost unchanged
也可能成立。
因此:
但:
可作為條件式推論。
11. 反事實因果鏈
完整形式:
導致:
再導致:
最後對 observer :
即:
12. 「如果不這樣畫」不代表一定有唯一答案
同一 intervention:
可能產生:
例如:
把背景變亮
可能:
H1:
subject/background contrast ↓
H2:
如果人物也同步提亮,salience 可能維持
H3:
如果背景色相改變,反而可能提高 color contrast
因此反事實分析應輸出:
primary hypothesis
alternative hypotheses
conditions
而不是單一硬規則。
13. Conditional Counterfactual
更合理表示:
也就是:
在特定 context 與 observer 條件下,某種 intervention 對 shared-domain state 的可能影響。
14. 反事實的五個層級
本文提出:
CF-L0 — Feature Counterfactual
改單一表面特徵:
color
brightness
transparency
CF-L1 — Structural Counterfactual
改:
position
scale
direction
pose
layout
CF-L2 — Relational Counterfactual
改:
gaze reciprocity
overlap
distance
grouping
reveal-conceal
CF-L3 — Semantic Counterfactual
改:
symbol
role cue
audience appeal cue
historical reference
CF-L4 — Intent Counterfactual
假設創作目標本身改變:
from:
危險 + 吸引
to:
莊嚴 + 不可接近
再問:
需要哪些 Decision 重新編譯?
15. Intent Counterfactual 與 Visual Counterfactual 不同
Visual Counterfactual
固定 Intent:
只修改:
Intent Counterfactual
修改:
然後尋找:
因此:
16. Style-only Counterfactual
這對 EveAtelier 尤其重要。
若使用者要求:
style-only transformation
則:
且預期:
因此可以問:
若只是換 renderer,哪些 Shared-domain State 不應改變?
這形成:
Preservation Counterfactual
17. Preservation Counterfactual
假設:
若:
發生大幅漂移,
則:
style-only transform
可能失敗。
所以:
18. Counterfactual Boundary
一個風格或角色 identity 可以透過反事實建立邊界。
例如:
哪些東西改掉,角色還是同一人?
或:
哪些東西改掉,就不再像同系列?
因此:
19. Style Boundary
假設作品風格由:
可以逐一改動:
只改 Palette
只改 Surface
只改 Proportion
只改 Composition Rhythm
觀察:
哪一步開始失去 same-series 判斷?
這形成:
20. Artist Counterfactual Boundary
未來畫家建檔可以問:
把哪些 recurring decisions 改掉後,作品仍可被辨識為該畫家?
這比:
列出常用顏色
更接近:
style identity topology
21. Counterfactual Importance Score
對 decision :
其中:
表示移除或替換 的作品。
如果:
代表它對 Shared-domain configuration 很重要。
22. Meaning Importance Score
對 observer :
可能:
很高,
但:
很低。
這表示:
結構變很多,但 observer 經驗沒有大改。
反過來也可能成立。
23. Causal Centrality
因此可以建立:
這可以幫助識別:
核心設計決策
次要裝飾決策
可替換決策
24. Necessary ≠ Sufficient
若拿掉一個 Decision 後某種 Meaning 消失,
可能表示它:
important
但不一定是唯一必要條件。
因此要區分:
necessary
sufficient
contributing
redundant
substitutable
25. Substitutable Visual Decisions
例如:
威嚴
可能不必依賴:
low angle
也可以透過:
scale
symmetry
distance
vertical composition
實現。
所以:
若它們能在某 target 下互相替代。
26. Visual Equivalence Class
定義:
即:
不同 visual decisions 可以落到近似的 shared-domain target。
這解釋:
為什麼不存在唯一正確構圖。
27. Counterfactual Search
AI 可以搜尋:
subject to:
也就是:
找到最小改動,但能達成目標效果的 visual decision。
28. 這對 AI 編輯很重要
例如:
角色要更有威嚴,但不要改服裝。
系統可搜尋:
camera
pose
negative space
scale
gaze
而不是直接:
換一套皇帝衣服
因此:
29. Local Counterfactual
只修改局部:
face
hand
sleeve
background
觀察局部與全域 。
例如:
與:
這對局部 repair 尤其有用。
30. Global Counterfactual
有些改動:
camera perspective
composition
body proportion
會改變全域。
所以不能只看:
pixel difference
而要看:
relation graph difference
31. Visual Counterfactual Graph
可建立:
每個節點是一個候選作品狀態,
每條邊是一個 intervention。
這形成:
Visual Counterfactual Space
32. Counterfactual Path
例如:
A0
→ reduce garment opacity
→ redirect gaze
→ simplify background
→ increase accent saturation
形成:
可以觀察:
33. Revision Trajectory
這正好可用於 RVGR。
Reflexive Generation 不只是:
candidate 1
candidate 2
candidate 3
而可以保存:
what was changed
why
expected ΔU
observed ΔU
accepted?
形成:
Causal Revision Trace
34. Expected vs Observed Delta
對每次 intervention:
表示預測。
生成後測到:
比較:
這是:
Counterfactual Prediction Error
35. AI 可以從 prediction error 學習
若模型常預測:
increase saturation
→ subject salience ↑
但實驗反覆不成立,
則應降低該規則信心。
因此:
這讓 visual rationale 可以逐漸校準。
36. Counterfactual Learning
流程:
Hypothesize
→ Intervene
→ Observe
→ Compare
→ Update
即:
37. Human-in-the-loop Counterfactual
人類可以選:
A vs A'
並回答:
哪張更像角色?
哪張更有張力?
哪張更像同系列?
哪張更接近原受眾?
形成:
38. Human Judgment 不是唯一證據
Human preference 很重要,
但仍不應:
它只是:
observer evidence
因此需保留:
observer profile
task
context
39. Multi-Observer Counterfactual
同一 ,
收集:
得到:
可以觀察:
共識
分歧
分群
40. Observer Cluster
例如某作品修改後:
Group A:
更有魅力
Group B:
更俗艷
Group C:
差異不大
這不是實驗失敗。
它可能顯示:
41. Culture-conditioned Counterfactual
某符號的介入:
white clothing
→ red clothing
Shared-domain 的:
chromatic salience
可能穩定變化。
但:
mourning
celebration
danger
可能依文化而不同。
因此:
可能跨文化穩定,
而:
不穩定。
42. Historical Counterfactual
歷史作品也可以做反事實分析:
若沒有某種顏料技術,該視覺策略是否仍可成立?
或:
若把現代視覺語彙帶回當時,當代 observer 是否會同樣解讀?
但要標:
HISTORICAL_COUNTERFACTUAL
不能當史實。
43. Creator Intent Counterfactual
也可以問:
若作者目標不是宗教莊嚴,而是日常親密,哪些視覺決策應改變?
這是:
再推:
這對 AI Art Director 很重要。
44. Reverse Counterfactual
不只:
改 Decision,看 Meaning。
也可以:
想改 Meaning,要改哪些 Decision?
形式:
這是:
Inverse Visual Counterfactual
45. Inverse Counterfactual 不是唯一解
因為:
是 many-to-many。
所以:
可能對應:
AI 應提出候選方案,而不是宣稱唯一正解。
46. Counterfactual Planning
例如:
Goal:
增加危險感
保持性感張力
保持角色身份
系統可提出:
Plan A:
increase eye shadow contrast
reduce smile certainty
retain shoulder exposure
Plan B:
increase serpent prominence
lower background visibility
retain gaze reciprocity
再生成比較。
47. Causal Constraint Lock
對不可改維度:
Identity Lock
Garment Topology Lock
Exposure Map Lock
Tension Lock
Audience Appeal Lock
反事實搜尋必須:
避免為了達成一個效果破壞其他語義。
48. Counterfactual Semantic Drift
定義:
若 intervention 目的只是:
increase salience
但:
identity drift ↑
audience appeal collapse
則是失敗。
49. Good Counterfactual Edit
應滿足:
且:
同時:
盡量小。
50. Counterfactual Utility
可定義:
51. 反事實中的 Trade-off
例如:
increase transparency
可能:
reveal-conceal ↑
body salience ↑
material realism ↓
historical plausibility ↓
所以:
52. Visual Causal Entanglement
某些 Decision 高度耦合。
例如:
pose
garment fold
hair flow
camera
不能完全獨立修改。
因此:
這稱為:
Visual Causal Entanglement
53. Entangled Intervention
若修改:
body pose
但不改:
cloth fold
hair gravity
lighting
可能生成不自然結果。
因此最小干預不是:
永遠只改一個參數。
而是:
最小因果閉包
54. Minimal Causal Closure
令:
為保持一致性必須一起調整的最小集合。
則:
而不是單一變量盲改。
55. 這和美術實作非常接近
例如:
改頭部角度。
通常要一起調:
脖子
頭髮
耳飾
光影
眼神方向
否則會破壞一致性。
這就是:
56. Counterfactual Operator Family
本文建議未來建立:
visual.cf.feature_substitute
visual.cf.structure_shift
visual.cf.relational_rebind
visual.cf.semantic_remove
visual.cf.semantic_insert
visual.cf.scope_lock
visual.cf.observer_reproject
visual.cf.intent_recompile
visual.cf.minimal_closure
visual.cf.delta_compare
57. Counterfactual Record
{
"counterfactualId": "cf:...",
"artifactBefore": "artifact:A",
"artifactAfter": "artifact:A2",
"intervention": {
"target": "gaze",
"from": "viewer-directed",
"to": "off-axis"
},
"lockedSemantics": [
"identity",
"garment_topology"
],
"expectedDeltaU": {
"reciprocity": -0.35,
"distance_tension": 0.18
},
"observedDeltaU": {
"reciprocity": -0.29,
"distance_tension": 0.11
},
"observerEffects": [],
"confidence": 0.68
}
58. Counterfactual Evidence
反事實結果可以來自:
GENERATED_VARIANT
MANUAL_EDIT
HISTORICAL_VARIANT
USER_AB_TEST
MODEL_SIMULATION
CONTROLLED_EXPERIMENT
證據強度不同。
59. Simulation ≠ Observation
AI 只在文字裡想像:
如果改了會怎樣。
這是:
MODEL_SIMULATION
而真的生成後比較:
GENERATED_VARIANT
證據更強。
因此:
60. Counterfactual Calibration
理想系統要保存:
長期統計:
哪些 rationale 常成立
哪些只在特定 domain 成立
哪些 AI 經常誤判
61. Model-specific Counterfactual Error
不同多模態 AI:
可能有不同:
因此未來可以評估:
Visual Causal Reasoning Benchmark
而不只是 image caption benchmark。
62. Benchmark 任務一:Single-variable Counterfactual
給兩張只差一個因素的圖。
問:
改了什麼?
Shared-domain 哪些 state 改變?
哪些沒有改?
63. Benchmark 任務二:Predict Before Seeing
先給原圖,
告知 intervention:
把視線轉開
要求 AI 預測。
再給結果圖。
比較:
與:
64. Benchmark 任務三:Inverse Counterfactual
給目標:
更有距離感
要求提出:
最小三種修改方案
並保持 Identity Lock。
65. Benchmark 任務四:Confounder Detection
給兩張差異很大的圖。
要求 AI 判斷:
能不能把結果歸因於單一視覺決策?
正確答案有時應是:
NO
66. Benchmark 任務五:Alternative Explanation
要求至少提出:
兩個可競爭的因果假說
以及如何測試。
67. Benchmark 任務六:Cross-observer Projection
固定 ,
提供不同 Observer Profile,
預測不同 。
68. Falsification
真正的 visual rationale 應允許被推翻。
例如假說:
「高飽和 accent 一定提高主體 salience。」
反例:
背景也同樣高飽和
主體面積太小
色彩分布過度分散
都可能使假說失敗。
所以:
69. Counterexample Store
未來 Runtime 應保存:
supports
counterexamples
scope failures
observer failures
historical failures
而不是只保存成功案例。
70. Causal Rule Scope
每條 rule:
dark background → subject salience ↑
必須標:
scope:
character portrait
conditions:
subject brighter than background
counterconditions:
background contains strong local highlights
71. Contextual Causality
因此:
不是:
72. Visual Causal Graph
VUSD 可用圖表示:
Decision
↓
Mechanism
↓
Shared Operator
↓
Composite Shared State
↓
Observer Projection
↓
Experienced Meaning
並加入:
Context
Observer
Historical Prior
作為條件節點。
73. 不應把所有 correlation 當 causation
若很多成功作品都:
high contrast
不代表:
高對比造成一切成功。
可能有:
genre convention
selection bias
market bias
training data bias
因此:
74. AI Dataset Bias
生成模型可能把:
美
與:
某種臉型
高曝光光影
高飽和
綁得很緊。
反事實測試可以暴露:
Default Aesthetic Basin
即:
AI 是否只是把所有作品推向訓練資料的高機率美學盆地?
75. Counterfactual Against Default Convergence
例如:
保留皺紋
保留粗糙臉
保留非對稱
保留低飽和
逐項 Lock,
再觀察模型是否仍能:
提高品質
而不把角色同質化。
76. 反事實與 Appeal Preservation
假設 style transfer 後:
角色更漂亮
但:
Tension ↓
AudienceAppeal ↓
ExposureMap drift
則可以逐項回補:
restore gaze
restore shoulder exposure
restore pose curve
觀察:
哪些因素才是原角色 appeal 的 causal contributors?
77. 不要把 Audience Appeal 簡化成單一因果
同一 audience appeal 可能由:
face
bodyline
gaze
authority
gesture
costume
distance
共同實現。
因此 Counterfactual 可以逐項估計:
但仍需注意 interaction effect。
78. Interaction Effect
如果:
gaze alone
作用很小,
但:
gaze + backward pose
作用很大,
則:
這是:
Visual Interaction Effect
79. Synergy
可定義:
例如:
薄紗
+
露肩
+
回眸
可能共同形成高於單項總和的 relation tension。
80. Antagonism
也可能:
高細節
+
高飽和
+
高對比
互相競爭,
導致:
visual clutter
所以:
81. Counterfactual Set,而非單點
因此對高耦合設計,
需要:
全部組合不一定可行。
可用:
factorial subset
adaptive experiment
Bayesian search
AI-guided candidate selection
降低成本。
82. Experimental Budget
視覺反事實不是免費的。
生成多個 variant 有:
GPU cost
human review cost
latency
provider cost
attention cost
因此:
83. Active Counterfactual Learning
AI 應選:
最有資訊價值的下一個 intervention。
即:
這讓美術理解從:
大量亂試
變成:
active visual experimentation
84. Human Preference Query
如果兩個 causal hypotheses 無法由 machine evidence 區分,
系統可以:
ASK_HUMAN
例如:
「你重視的是危險感,還是更直接的性感張力?」
這符合 AADS:
machine evidence
≠
human preference
85. Counterfactual Decision Classes
AADS / RVGR 可以輸出:
KEEP
REMOVE
AMPLIFY
REDUCE
SUBSTITUTE
RECOMBINE
DEFER
ASK_HUMAN
86. Counterfactual Stop Condition
如果:
target improvement < threshold
semantic drift > threshold
budget exhausted
observer disagreement unresolved
就應停止。
不是無限重畫。
87. Causal Revision Loop
完整循環:
這其實是:
Reflexive Visual Causal Loop
88. 與 RVGR 的雙層結構
外層:
AADS / Workbench
決定:
why change
what target
內層:
RVGR
執行:
how to change
when to observe
when to rewrite
因此:
而:
89. Counterfactual Audit Trail
每次修改應保存:
before
hypothesis
intervention
expected effect
actual effect
human judgment
promotion decision
避免最後只剩:
final.png
而失去整個認知過程。
90. Promotion 仍然是獨立問題
即使:
counterfactual prediction correct
也不代表:
candidate should become current
因此:
與 EveAtelier 既有:
一致。
91. Counterfactual Understanding 與創造力
反事實能力不只用來分析已有作品。
它還支援創造:
如果故意違反這條關係會怎樣?
例如:
故意破壞比例
故意壓縮 figure-ground
故意製造視覺不平衡
故意把高級感和廉價材質混合
這可能產生新的語法。
92. 因果理解不等於遵守規則
這是非常重要的命題:
真正的創作者可以:
因為知道它會造成什麼,所以故意違反。
93. Intentional Violation
定義:
KNOWN_EFFECT
+
DELIBERATE_VIOLATION
例如:
明知道對稱更穩,故意破壞對稱以增加不安。
這是:
Intentional Counterfactual Composition
94. 反事實也是新美術的來源
如果 AI 可以系統性問:
如果不遵守既有構圖規則呢?
如果把兩種衝突的 operator 綁在一起呢?
如果把現在認為無效的組合放到新媒介呢?
則:
這會直接通往 Paper 05 的:
Adaptive Operator Ecology
95. 從理解到發明
因此:
當 AI 不只知道:
什麼通常有效。
還知道:
改掉它會怎樣。
它才能更有意識地探索:
哪些新的不穩定區域可能形成新美術。
96. Visual Theory 不應只保存成功規則
真正的 Visual Theory Runtime 要保存:
rule
conditions
exceptions
counterexamples
failed interventions
successful interventions
observer disagreement
historical scope
而不是:
10 rules for better composition
97. Counterfactual Knowledge Record
未來可以:
{
"ruleId": "vusd.rule.subject_salience.dark_background.v0.1",
"hypothesis": "lower background luminance may increase subject salience",
"conditions": [
"subject luminance remains higher",
"background has low local highlight competition"
],
"counterexamples": [],
"testedDomains": [
"character_portrait"
],
"observerAgreement": 0.0,
"status": "PROVISIONAL"
}
98. Provisional by Default
所有新 causal rule 預設:
PROVISIONAL
而不是:
UNIVERSAL
這是為 Paper 05 的動態演化預留空間。
99. Core Invariants
VUSD-CF1
VUSD-CF2
VUSD-CF3
VUSD-CF4
VUSD-CF5
VUSD-CF6
VUSD-CF7
VUSD-CF8
VUSD-CF9
VUSD-CF10
100. 實驗路線
E1 — Controlled Single-decision Edits
人工或程式建立只改一個 decision 的 A/B。
E2 — Shared-domain Delta Prediction
先預測:
再比較:
E3 — Observer Projection Test
收集不同 observer 的:
E4 — Minimal Closure Test
測試修改一個 decision 時,最小因果閉包應包含哪些耦合變量。
E5 — Inverse Counterfactual Planning
給定 target meaning / shared-domain target,要求 AI 提出最小可行 edit。
E6 — Style-preservation Counterfactual
測試 renderer 改變時,identity / tension / appeal 是否可維持。
E7 — Artist Style Boundary
逐項移除 recurring visual decisions,測試 style recognition boundary。
E8 — Human–AI Causal Agreement
比較 AI 預測與人類 A/B judgment。
E9 — Cross-model Counterfactual Benchmark
比較不同多模態模型:
prediction accuracy
alternative explanation quality
confounder detection
uncertainty calibration
E10 — Novel Operator Discovery
故意生成:
known rule violations
觀察是否產生新的可重複視覺效果。
101. 與 Paper 05 的接口
Paper 04 建立:
這意味著 Visual Operator 不應是固定字典。
如果新 intervention 反覆顯示:
原 operator 不成立
原 operator 太粗
原 operator 只在某個年代成立
新的關係反覆出現
那麼:
因此下一篇:
視覺演化與自適應算子生態
將回答:
當藝術、AI、媒介、文化與 observer 本身都會演化時,視覺理論如何保持可用,又不把今天的美術凍結成永恆本體?
102. 結論
真正的視覺理解不能只停留在:
這裡用了什麼
這是什麼風格
這張圖給人什麼感覺
它還必須能問:
如果不這樣做呢?
這個問題迫使系統區分:
表面相關
功能關係
因果假說
observer projection
context condition
並允許:
生成替代
A/B 比較
錯誤修正
假說推翻
理論更新
因此本文提出:
但不是:
更合理的目標是:
一個真正成熟的 AI 美術系統不應只說:
「這樣比較好看。」
它應能說:
「我推測這個回眸主要維持 reciprocity 與 directional conflict。如果將視線改為完全正面,預期 direct reciprocity 上升,但 approach–avoidance tension 下降。這只是條件式預測;我們可以生成最小變體,保留身份、服裝與比例,只修改視線與必要的頭頸閉包,再讓 evaluator 與人類比較。」
這時候 AI 才開始從:
進入:
而當它進一步可以利用反事實去創造從未存在的新視覺語法時,
VUSD 就不再只是:
理解過去的美術
而開始成為:
探索未來美術的工具。
End of VUSD Paper 04 / 05 — v0.1