title: 從射線到觀察探針：廣義觀察算子與感知渲染編譯器
english_title: From Rays to Observation Probes: Generalized Observation Operators and the Perceptual Rendering Compiler
series: Observer-Sovereign Rendering（OSR）
paper_id: OSR-02
author: Neo.K
ai_collaboration: GPT-5.6 Sol
institution: EveMissLab／一言諾科技有限公司
version: v0.1
date: 2026-09-18
language: zh-TW
document_type: 理論論文／編譯器架構／AI-native rendering／heterogeneous rendering
status: 初版完成

從射線到觀察探針

廣義觀察算子與感知渲染編譯器

From Rays to Observation Probes

Generalized Observation Operators and the Perceptual Rendering Compiler

論文編號： OSR-02
系列： Observer-Sovereign Rendering（OSR）／觀察者主權渲染
作者： Neo.K
AI 協作： GPT-5.6 Sol
機構： EveMissLab／一言諾科技有限公司
版本： v0.1
日期： 2026 年 9 月 18 日

摘要

OSR-01 已將渲染的第一級問題由「如何生成像素」前移為「在世界真值、安全、權限與有限資源約束下，這個觀察者為了當下目的，最低限度必須讓什麼成為可用的顯現」。該篇輸出一組 Manifestation Obligations：

\mathcal U_t = \{ \mu_1,\ldots,\mu_n \},

其中每個義務指定顯現對象、最低品質、理想品質、禁止 realization、deadline 與 provenance 要求。

本篇回答下一個問題：

已知「必須顯現什麼」之後，系統如何決定要用 ray、raster、reuse、local neural、cloud neural、semantic query 或其他機制來完成？

本文提出「Observation Probe」作為比 ray 更一般的計算原語，並定義 Perceptual Rendering Compiler（PRC）：

\boxed{ \mathcal C_R: ( \mathcal U_t, W_t, \mathcal K_t, \mathcal B_t, \Gamma_t ) \rightarrow P_t^{render}. }

其中 $\mathcal K_t$ 為可用 renderer / sensor / cache / provider 能力集合， $\mathcal B_t$ 為資源預算， $\Gamma_t$ 為治理與安全約束。PRC 的輸出不是單一 shader，而是一個可執行、可驗證、可回退的 heterogeneous render plan。

本文將 Observation Probe 定義為：

\boxed{ p_i = ( target_i, question_i, mode_i, input_i, output_i, fidelity_i, deadline_i, confidence_i, authority_i, cost_i, fallback_i ). }

Ray tracing 只是其中一個 probe realization：

\boxed{ \text{Ray Probe} \subset \text{Observation Probe}. }

本文進一步提出 OSR-IR v0.1：以 Manifestation Obligation、Probe Node、Dependency Edge、Verification Gate、Commit Policy、Fallback Chain 與 Provenance Record 構成的中間表示。編譯器將 obligations 轉換為候選 probes，進行 capability matching、成本／效用估計、約束求解、時序排程與 verification placement，再輸出一個 execution DAG。

為避免「AI renderer 越多越好」的誤解，本文把 backend 選擇形式化為 constrained optimization。令候選 probe 為 $p_j$ ，義務覆蓋矩陣為 $A_{ij}$ ，則 compiler 需要在滿足所有 blocking obligations 的前提下，最小化計算、延遲、雲端、切換、失敗與真值風險。本文同時定義 incremental recompilation、semantic-equivalent fallback、cloud export boundary、deterministic baseline、temporal reuse、failure isolation 與 plan receipts。

外部研究方面，2025–2026 年 active perception、foveated rendering、ReSTIR temporal/spatial reuse、LoD-aware ReSTIR、TRON 與 DLSS 5 顯示：感知行動、空間品質、幾何細節、樣本重用、ray-traced condition 與 neural appearance 均可被動態組合。然而這些技術通常各自在特定 rendering layer 內最佳化。OSR-02 的研究位置更高一層：把不同觀察與渲染機制作為可被編譯器選擇、組合、驗證與回退的異質 realization class。

關鍵詞： Observer-Sovereign Rendering、Observation Probe、Perceptual Rendering Compiler、OSR-IR、Render Graph、APR、ReSTIR、Neural Rendering、Cloud Rendering、Compiler IR、Fallback

0. 本篇與 OSR-01 的接口

OSR-01 定義：

\mathcal O_M: ( W_t, O_t, Q_t, \Gamma_t ) \rightarrow \mathcal U_t.

其中：

\mathcal U_t = \{ \mu_1,\ldots,\mu_n \}

是一組 Manifestation Obligations。

每個義務可寫為：

\mu_i = ( scope_i, minimum_i, preferred_i, forbidden_i, deadline_i, provenance_i ).

OSR-01 到此停止。

它不決定：

ray count；
shader；
neural model；
cloud provider；
buffer；
texture LOD；
temporal cache；
API；
GPU kernel。

OSR-02 的任務就是把：

\boxed{ \text{Manifestation Meaning} }

編譯成：

\boxed{ \text{Executable Rendering Work}. }

1. 為什麼 Ray 不足以作為第一級原語

傳統 ray 可表示為：

r = (o,d),

或加入時間、波長、微分與 sampling state。

這非常適合描述：

從某個 origin 沿某個 direction 查詢 scene intersection 與 light transport。

但 OSR 面對的問題更廣。

例如：

背景是否可直接 reuse？

不需要 ray。

角色臉是否值得呼叫 cloud neural renderer？

不需要先產生 ray。

這個 hazard 是否必須顯示？

這甚至首先是 semantic / governance query。

目前 material latent 是否仍新鮮？

這是 cache / state query。

哪個 geometry LOD 足以支撐當前 projection？

這是 representation selection。

因此：

\boxed{ \text{Ray} }

只是某些 observation / realization 的物理查詢形式，不是所有顯現需求的共同上位語言。

2. Observation Probe

本文定義 Observation Probe：

\boxed{ p_i = ( \tau_i, q_i, m_i, I_i, O_i, f_i, d_i, c_i, a_i, k_i, \phi_i ). }

其中：

$\tau_i$ ：target；
$q_i$ ：question / objective；
$m_i$ ：probe mode；
$I_i$ ：required inputs；
$O_i$ ：expected outputs；
$f_i$ ：required fidelity；
$d_i$ ：deadline；
$c_i$ ：confidence requirement；
$a_i$ ：authority requirement；
$k_i$ ：estimated cost vector；
$\phi_i$ ：fallback policy。

Probe 的本質不是：

\text{「一條虛擬光線」},

而是：

為了滿足某個顯現義務，系統向世界、cache、renderer、模型或 provider 提出的最小可執行詢問。

3. Probe Mode

第一代 OSR 定義：

m_i \in \mathcal M_P,

其中：

\mathcal M_P = \{ STATE, BUFFER, RASTER, RAY, PATH, REUSE, LOCAL\_NEURAL, CLOUD\_NEURAL, SEMANTIC, VERIFY \}.

這些不是永遠完整的分類，而是 MVP 可操作的第一版。

3.1 STATE Probe

直接讀 authoritative structured state。

例如：

door.state

character.position

object.id

如果問題可由 world state 直接回答：

STATE \prec VISION

往往成本更低且真值 authority 更高。

3.2 BUFFER Probe

讀取已有 rendering buffers：

depth；
normal；
motion vector；
object ID；
material；
albedo；
roughness；
visibility；
G-buffer。

它常是 neural renderer 與 verification 的理想結構輸入。

3.3 RASTER Probe

使用 rasterization / conventional shading 產生 region representation。

它通常具有：

Latency\downarrow,

Determinism\uparrow.

3.4 RAY Probe

執行有限 ray query：

p_i^{ray} \mapsto \{ r_1,\ldots,r_n \}.

可用於：

shadow；
reflection；
visibility；
GI sample；
geometry query。

3.5 PATH Probe

執行較完整 light transport sampling。

適用於：

高品質 anchor；
reference；
offline verification；
selected high-value region。

3.6 REUSE Probe

從：

H_t^M

或 cache 中取得舊 representation，再經：

reprojection；
warp；
temporal validation；

重用。

所以：

\boxed{ \text{Reuse} }

不是「什麼都不做」。

它仍是一個需要 freshness 與 validity 判斷的 probe。

3.7 LOCAL_NEURAL Probe

由本地 neural model 執行：

denoise；
super-resolution；
material enhancement；
appearance reconstruction；
frame / latent prediction。

3.8 CLOUD_NEURAL Probe

將經 authority gate 的必要輸入送至遠端模型。

它必須額外管理：

network latency；
provider cost；
privacy；
serialization；
jitter；
timeout；
provenance；
remote failure。

3.9 SEMANTIC Probe

直接對 semantic / scene graph / model state 提問。

例如：

\text{which object is the current interaction target?}

其結果可能最後驅動 rendering，而不是直接產生 pixels。

3.10 VERIFY Probe

對候選 manifestation 進行：

structure check；
temporal check；
identity check；
provenance check；
world consistency check。

它可以使用：

rule；
structured comparison；
CV；
VLM；
checksum；
deterministic oracle。

4. Probe 不等於 Backend

Observation Probe 是語義要求。

Backend 是實現方式。

定義 backend：

b_j \in \mathcal B.

一個：

RAY

probe 可以由：

DXR；
Vulkan RT；
OptiX；
software BVH；

實現。

一個：

CLOUD\_NEURAL

probe 可以由：

provider A；
provider B；
self-hosted GPU；
private cluster；

實現。

所以：

\boxed{ \text{Probe} \neq \text{Backend}. }

這個分離讓 OSR core 不依賴特定廠商。

5. Backend Capability Descriptor

每個 backend 暴露 capability：

\boxed{ K_j = ( type_j, input_j, output_j, region_j, temporal_j, det_j, lat_j, cost_j, authority_j, provenance_j, limits_j ). }

其中：

$type_j$ ：backend class；
$input_j$ ：接受哪些 carrier；
$output_j$ ：輸出哪些 representation；
$region_j$ ：是否支援 ROI；
$temporal_j$ ：是否支援 history；
$det_j$ ：determinism；
$lat_j$ ：latency model；
$cost_j$ ：resource / monetary cost；
$authority_j$ ：需要的權限；
$provenance_j$ ：可提供的 provenance；
$limits_j$ ：大小、格式、解析度與其他限制。

Compiler 不問：

哪個 backend 最強？

而問：

\boxed{ \text{Which backend satisfies this obligation under current constraints?} }

6. Capability Matching

對 obligation $\mu_i$ 與 backend $b_j$ ，定義可行性：

F_{ij} = Feasible(\mu_i,K_j,\Gamma_t).

若：

F_{ij}=0,

則該 backend 不可成為候選。

不可行原因可以包含：

fidelity 不足；
deadline 超時；
provenance 不足；
authority 不足；
cloud 禁止；
input 不相容；
region mode 不支援；
determinism 要求不符；
privacy boundary 不允許 export。

所以：

\boxed{ \text{Unsupported} \neq \text{Low Score}. }

不合法方案應先被剪掉，而不是只扣一些分數。

7. Probe Candidate Generation

Compiler 對每個 obligation：

\mu_i

產生候選集合：

\mathcal P_i = \{ p_{i1}, p_{i2}, \ldots, p_{ik} \}.

例如臉部高品質 obligation：

\mu_{face}.

候選可以有：

p_{face}^{raster+local},

p_{face}^{ray+local},

p_{face}^{raster+cloud},

p_{face}^{reuse+verify},

p_{face}^{path\ anchor+temporal}.

這代表 OSR Compiler 的搜尋空間不是：

\text{choose one renderer globally}.

而是：

\boxed{ \text{choose one or more realization paths per obligation}. }

8. Composition

單一 obligation 不一定由單一 probe 完成。

定義 probe composition：

p_a \circ p_b \circ p_c.

例如：

BUFFER \rightarrow CLOUD\_NEURAL \rightarrow VERIFY.

或者：

RASTER \rightarrow LOCAL\_NEURAL \rightarrow REUSE.

因此一個 realization path：

\rho_i = ( p_{i1} \rightarrow p_{i2} \rightarrow \cdots \rightarrow p_{in} ).

OSR 真正編譯的是：

\boxed{ \text{Probe Graph}. }

而不是一串 flat API calls。

9. OSR-IR v0.1

本文提出 OSR Intermediate Representation：

\boxed{ OSR\text{-}IR = ( H, U, N, E, V, C, F, R ). }

其中：

$H$ ：header / version / plan identity；
$U$ ：Manifestation Obligations；
$N$ ：Probe Nodes；
$E$ ：dependency edges；
$V$ ：verification gates；
$C$ ：commit / visibility policy；
$F$ ：fallback chains；
$R$ ：receipts / provenance requirements。

OSR-IR 的目的不是取代 Vulkan Render Graph、Unreal RDG 或 GPU command graph。

它位於更上層。

其工作是描述：

為什麼這些 rendering tasks 應該存在，以及它們滿足哪個觀察義務。

10. Plan Identity

每份 render plan 必須有穩定 identity：

PlanID_t.

它至少應綁定：

Hash( \text{WorldRevision}, \text{ObserverRevision}, \text{QuestionRevision}, \text{ObligationRevision}, \text{PolicyRevision}, \text{CapabilityRevision} ).

因此：

\boxed{ \text{same inputs} \Rightarrow \text{same plan identity} }

在 deterministic compiler mode 下應盡量成立。

這方便：

cache；
replay；
debugging；
benchmark；
provenance；
regression test。

11. Probe Node

每個 Probe Node：

n_j = ( id_j, mode_j, backend_j, inputs_j, outputs_j, region_j, budget_j, deadline_j, authority_j, verification_j ).

其輸出不是必然是 image。

可以是：

output_j \in \{ \text{pixel}, \text{buffer}, \text{latent}, \text{semantic}, \text{metadata}, \text{confidence}, \text{receipt} \}.

因此：

\boxed{ \text{Render Graph} }

被推廣成：

\boxed{ \text{Perceptual Realization Graph}. }

12. Dependency Edge

若 $n_b$ 需要 $n_a$ 的 output：

n_a \rightarrow n_b.

例如：

\text{DepthBuffer} \rightarrow \text{CloudNeural}.

也可以存在 verification dependency：

\text{GeneratedFace} \rightarrow \text{IdentityVerify} \rightarrow \text{VisibleCommit}.

所以 verification 不是 pipeline 最後才做。

它可以插在 DAG 中間。

13. Coverage Matrix

令 obligation 為：

\mu_i,

候選 realization path 為：

\rho_j.

定義 coverage：

A_{ij} \in [0,1].

$A_{ij}$ 表示 path $j$ 對 obligation $i$ 的滿足程度。

blocking obligation 要求：

\sum_j A_{ij}x_j \ge \tau_i,

其中：

x_j\in\{0,1\}.

因此 compiler 問題可以部分視為：

\boxed{ \text{constrained weighted set cover / scheduling problem}. }

但實際 runtime 不一定需要求 exact optimum。

14. 成本向量

對 realization path $\rho_j$ ，定義：

\mathbf C_j = ( C_j^{gpu}, C_j^{vram}, C_j^{lat}, C_j^{net}, C_j^{cloud}, C_j^{energy}, C_j^{risk} ).

再加入切換成本：

C_j^{switch},

失敗成本：

C_j^{fail},

與 verification 成本：

C_j^{verify}.

總成本：

\boxed{ C_j^{total} = \lambda\cdot\mathbf C_j + C_j^{switch} + C_j^{fail} + C_j^{verify}. }

其中 $\lambda$ 由 APR / system state 動態提供。

15. 效用

定義 realization path 對 obligation 的期望效用：

U_{ij} = w_i \left( Q_{ij} + S_{ij} + T_{ij} + P_{ij} \right) - C_j^{total}.

其中：

$Q$ ：visual / perceptual quality；
$S$ ：structural fidelity；
$T$ ：temporal consistency；
$P$ ：provenance / recoverability；
$w_i$ ：obligation priority。

Compiler 目標可寫成：

\boxed{ \max_{\mathbf x} \sum_{i,j} U_{ij}x_j }

subject to：

Coverage_i\ge\tau_i,

Cost_k\le B_k,

Deadline_i\le d_i,

以及：

\Gamma_t.

16. Hard Gate Before Optimization

OSR 的重要原則：

\boxed{ \text{Governance before optimization}. }

所以 compiler 流程不是先計分再排序。

而是：

\text{Candidate} \rightarrow \text{HardGate} \rightarrow \text{Scoring} \rightarrow \text{Scheduling}.

Hard Gate 可以檢查：

authority；
privacy；
world-truth boundary；
multiplayer fairness；
provider export；
required provenance；
safety；
content immutability；
deterministic-only mode。

這與 APR、MRMIC 與 MACR 類 runtime 的治理思想相容。

17. 編譯流程

本文提出 PRC v0.1 的十階段：

1. Normalize obligations
2. Resolve world/capability revisions
3. Partition manifestation scopes
4. Generate candidate observation probes
5. Apply hard feasibility gates
6. Estimate utility and cost
7. Solve bounded allocation problem
8. Build dependency / verification DAG
9. Attach fallback and commit policies
10. Emit OSR-IR + plan receipt

形式上：

\boxed{ \mathcal C_R = C_{emit} \circ C_{fallback} \circ C_{schedule} \circ C_{solve} \circ C_{score} \circ C_{gate} \circ C_{candidate} \circ C_{partition} \circ C_{resolve} \circ C_{normalize}. }

18. Normalize Obligations

OSR-01 的 obligation 可能來自不同上游：

human goal；
APR policy；
game mode；
safety system；
accessibility；
cinematic director；
AI agent。

因此先轉成 canonical form：

\mu_i^{raw} \rightarrow \mu_i^{norm}.

Normalizer 必須處理：

overlapping scopes；
conflicting minimums；
duplicate requirements；
impossible deadline；
incompatible provenance；
contradictory forbidden modes。

若衝突不可解：

\boxed{ \text{CompileError}. }

不能靜默選一個。

19. Partition

同一畫面不應只按矩形 ROI 分割。

OSR 支援：

\text{Partition} = f( \text{geometry}, \text{semantic}, \text{motion}, \text{material}, \text{goal}, \text{risk} ).

因此區域可以是：

pixel tile；
object；
material group；
skeleton part；
semantic class；
motion layer；
screen region；
world region。

例如角色頭髮與皮膚即使相鄰，也可以屬於不同 realization scope。

20. Candidate Generation

對每個 scope，compiler 查詢 backend registry：

\text{Registry} \rightarrow \text{Capabilities}.

這和現有 APR PluginRegistry 的方向一致：component registration 只宣告 factory，不應在 discovery 階段直接開網路、載入模型或啟動裝置。

因此 OSR backend discovery 應遵守：

\boxed{ \text{Discover Capability} \neq \text{Execute Capability}. }

只有 plan 被選中並進入 execution，才允許昂貴初始化。

21. Provider-Neutral Core

OSR core 不允許：

if provider == NVIDIA:
...
elif provider == Google:
...

成為核心架構。

正確方式是：

\text{BackendProtocol}.

例如：

probe.mode = CLOUD_NEURAL
backend.capability = neural_appearance_v1

provider-specific adapter 再實現：

neural\_appearance\_v1.

這使：

\boxed{ \text{OSR Core} \perp \text{Provider Identity}. }

22. Local Baseline Must Exist

如果 cloud neural 是唯一 renderer，一旦網路失效：

V_t\rightarrow\varnothing.

這對互動系統通常不可接受。

因此第一代 OSR 要求至少存在：

R_{base}.

滿足：

\boxed{ \text{CloudFailure} \Rightarrow \text{BaseManifestationRemains}. }

對遊戲而言， $R_{base}$ 可以是：

raster；
PBR；
low-ray；
cached appearance。

AI enhancement 是增強層，不應成為基本世界存在的唯一前提。

23. Fallback Chain

每個非必要 backend 可附 fallback：

\phi_i = ( b_0 \succ b_1 \succ b_2 \succ \cdots ).

但 fallback 不是「任何東西都可以代替」。

定義 semantic-equivalent fallback：

b_a \equiv_{\mu} b_b

若兩者都滿足 obligation $\mu$ 的 minimum requirement。

因此：

\boxed{ \text{Fallback} }

只允許沿：

\equiv_{\mu}

或顯式 degraded relation 移動。

24. Degraded Mode

若沒有 backend 能滿足 preferred：

preferred_i,

但仍能滿足：

minimum_i,

則：

State_i = DEGRADED.

如果連 minimum 都無法滿足：

State_i = BLOCKED.

不能把：

BLOCKED

標成：

SUCCESS.

這是 OSR evidence semantics 的基本要求。

25. Verification Placement

對低風險 decorative detail，可以：

\text{Generate} \rightarrow \text{Visible}.

對高影響內容則應：

\text{Generate} \rightarrow \text{Verify} \rightarrow \text{Visible}.

若驗證失敗：

Verify=FAIL,

則：

Commit=DENY.

這與 PNCW：

PROJECTED \rightarrow VERIFIED \rightarrow VISIBLE

的控制面自然接合。

26. Verification Class

第一代定義：

\text{VClass} \in \{ NONE, STRUCTURAL, IDENTITY, TEMPORAL, PROVENANCE, WORLD, MULTI \}.

例如角色臉部 cloud enhancement：

\text{VClass} = IDENTITY + TEMPORAL + WORLD.

純 background texture enhancement：

\text{VClass} = TEMPORAL

可能就足夠。

27. Temporal Reuse 是一等 Backend

2026 年 ReSTIR 相關研究再次顯示，spatiotemporal reuse 可以顯著提高 real-time Monte Carlo rendering 的有效樣本利用率；LoD-aware ReSTIR 又進一步處理 topology 變化下的 reuse。

OSR 對這個思想作更一般化：

\boxed{ \text{Past Valid Work} }

本身就是一種計算資源。

因此：

ReuseCredit_t(x)

應進入 cost model。

只要：

Freshness(x)\ge\tau_F,

MappingValidity(x)\ge\tau_M,

就可以優先考慮 reuse。

28. Disocclusion 與 Invalid History

temporal reuse 的核心風險是：

\text{HistoryInvalid}.

例如：

disocclusion；
teleport；
sudden material change；
model swap；
animation discontinuity；
camera cut。

此時：

\text{Reuse}

必須被 hard gate 阻止或降低 confidence。

所以：

\boxed{ \text{Temporal History} }

是 evidence，不是不可質疑的 truth。

29. Neural Backend 的條件化輸入

TRON 類研究顯示：

\text{PBR / ray-traced structure} + \text{neural renderer}

可以同時保留控制與提高 photoreal appearance。

DLSS 5 也使用 rendered frame、motion vectors、temporal state 與 artistic controls grounding generative rendering。

OSR 因此定義 neural probe 不應默認只輸入 RGB。

可輸入：

I_i = ( RGB, \text{Depth}, \text{Normal}, \text{Motion}, \text{Material}, \text{ObjectID}, \text{Semantic}, \text{History}, \text{Control} ).

Compiler 可以依 backend capability 選擇最小必要 carrier subset。

30. Cloud Export Boundary

Cloud probe 額外存在：

\text{ExportScope}.

令允許外送資料集合：

X_{allow}.

則：

\boxed{ I_i \subseteq X_{allow} }

必須在 network call 前成立。

若 region 包含：

private text；
unreleased asset；
secret debug overlay；
user identity；
restricted world state；

則即使 cloud renderer 品質最高，也可能：

F_{ij}=0.

這是 authority gate，不是 cost penalty。

31. Cloud Latency Uncertainty

Cloud latency 不是常數。

定義：

L_j \sim \mathcal D_j.

若 deadline 為：

d_i,

則可用：

P(L_j\le d_i)

作為 feasibility / utility 的一部分。

例如：

P(L_j\le d_i)<\tau_L

則不應把 cloud backend 放在 blocking critical path。

它可以改成：

speculative enhancement；
asynchronous late upgrade；
next-frame anchor；
background refinement。

32. Speculative Probe

某些 expensive probe 可以：

\text{start early}

而不阻塞 baseline frame。

定義：

p_i^{spec}.

例如系統預測玩家將走入房間：

P(enter\ room)>0.8.

可以先計算：

cloud material anchor；
ray cache；
neural latent；
high LOD residency。

若玩家真的進入：

\text{Hit}.

否則：

\text{Discard}.

這是 rendering 版的 speculative execution。

但 speculation 必須有 budget cap。

33. Commit Policy

OSR-IR 的 commit policy 定義何時 output 可以進入 visible state。

令：

C_i = ( \text{required nodes}, \text{verification}, \text{deadline}, \text{fallback}, \text{atomicity} ).

例如：

C_{face} = ( \text{cloud output}, \text{identity verify}, 33ms, \text{local fallback}, \text{region atomic} ).

這使 region 可以 atomic commit，而不必等整幀全部完成。

34. Region Atomicity

若臉部 cloud enhancement 完成，但 verification 尚未完成：

face=\text{not committed}.

背景仍可：

background=\text{visible}.

所以：

\boxed{ \text{FrameAtomicity} }

不是唯一選擇。

可使用：

\text{RegionAtomicity}.

這對 heterogeneous rendering 很重要。

35. Plan Patch

如果每一幀都重新 full compile：

C_{compile}

可能過高。

因此 OSR-IR 支援 incremental plan patch。

定義：

P_t = P_{t-1} + \Delta P_t.

若只有：

face moved；
hazard appeared；
cloud unavailable；

就只修改相關 subgraph。

所以：

\boxed{ \text{OSRCompiler} }

更接近：

\text{incremental reactive compiler}

而非每幀 cold compiler。

36. Recompile Trigger

至少包括：

\text{Trigger} \in \{ \text{GoalChange}, \text{WorldChange}, \text{RiskChange}, \text{UncertaintyChange}, \text{CapabilityChange}, \text{BudgetChange}, \text{Failure}, \text{DeadlineChange} \}.

APR 可以作為其中多個 trigger 的上游來源。

37. Stable Structural Plan

對穩定遊戲模式，可保留：

P^{skeleton}.

例如：

face:
    raster base
    optional neural enhance
    identity verify

background:
    reuse
    periodic refresh

hazard:
    direct structured overlay

runtime 只動態填：

region；
depth；
frequency；
provider；
budget。

因此第一代 MVP 不需要做一個超昂貴 general-purpose planner。

38. Compiler Fast Path

若 scene / observer 沒有重大變化：

\text{FastPath}.

流程可以是：

load previous plan
check invalidation set
patch affected scopes
re-score only touched candidates
emit delta plan

目標：

C_{compile} \ll C_{render}.

39. Deterministic Mode

對測試與高風險場景，可以要求：

CompilerMode=DETERMINISTIC.

同一：

(W,O,Q,\Gamma,K,B)

應輸出相同：

P.

若 neural backend 本身 stochastic，compiler 仍可：

禁止；
固定 seed；
強制 verification；
改用 deterministic fallback。

40. Exploration Mode

研究或非關鍵場景可以允許：

CompilerMode=EXPLORATORY.

例如在低風險 background：

A/B backend；
adaptive quality；
speculative cloud；
novel neural mode。

但 exploration budget：

B^{explore}

必須顯式存在。

不能偷用 blocking safety budget。

41. Plan Receipt

每次 compilation 輸出 receipt：

R_t^{plan}.

至少記錄：

plan ID；
input revisions；
obligations；
selected paths；
rejected path reason；
budget；
capability versions；
policy revision；
fallback；
verification class。

這使「為什麼這裡用了 cloud AI」可以被回答。

42. Execution Receipt

執行後：

R_t^{exec}

記錄：

actual latency；
actual cost；
success / failure；
fallback taken；
output hash；
verification result；
visible commit state。

這些資料會成為 OSR-07 benchmark 的基礎。

43. 第一個演算法

下面給出 PRC v0.1 的抽象演算法：

function compile_osr(world, observer, obligations, capabilities, budget, policy):

    U = normalize(obligations)

    assert_authority(world, observer, policy)

    scopes = partition(U, world)

    candidates = []

    for scope in scopes:
        probes = generate_probes(scope, capabilities)

        legal = hard_gate(
            probes,
            authority=observer.authority,
            policy=policy,
            provenance=scope.provenance,
            privacy=scope.export_rules,
        )

        scored = estimate(
            legal,
            world=world,
            observer=observer,
            budget=budget,
        )

        candidates.append(scored)

    selected = bounded_solver(
        candidates,
        obligations=U,
        budget=budget,
        mandatory=policy.mandatory,
    )

    graph = build_dependency_graph(selected)

    graph = insert_verification_gates(graph)

    graph = attach_fallback_chains(graph)

    graph = schedule(graph, deadlines=U.deadlines)

    return emit_osr_ir(graph)

這不是 production implementation。

但它明確給出 compiler responsibility。

44. Bounded Solver

第一代不必追求 NP-hard exact global optimum。

可以使用：

hard-gate pruning；
mandatory-first allocation；
greedy marginal utility；
local repair；
budget closure。

定義：

Score(p) = \frac{ ExpectedGain(p) }{ ExpectedCost(p)+\epsilon }.

先滿足 mandatory obligations，再依：

Score(p)

分配剩餘資源。

如果 budget 超標：

BudgetViolation>0,

則依：

\text{lowest marginal utility}

降級。

45. Minimal Global Disturbance

若單一 region 出現問題，不應重編整個世界。

定義 affected dependency cone：

Cone(x).

修正只允許優先在：

Cone(x)

內進行。

因此：

\boxed{ \text{Maximum Local Precision} + \text{Minimum Global Disturbance}. }

這與現有 EveMissLab 極小化修復思想一致。

46. 例一：角色對話

世界：

W_t.

obligations：

\mu_{face}, \mu_{body}, \mu_{background}, \mu_{subtitle}.

compiler 可能輸出：

face: RASTER \rightarrow CLOUD\_NEURAL \rightarrow IDENTITY\_VERIFY.

body: RASTER \rightarrow LOCAL\_NEURAL.

background: REUSE \rightarrow \text{periodic BUFFER VERIFY}.

subtitle: STATE \rightarrow UI.

這裡同一幀已經有四條不同 realization path。

47. 例二：雲端失效

若：

CloudStatus=DOWN,

則：

F_{face,cloud}=0.

compiler patch：

CLOUD\_NEURAL \rightarrow LOCAL\_NEURAL.

若 local quality 仍滿足：

minimum_{face},

則：

State=DEGRADED.

而不是：

\text{FrameFailure}.

48. 例三：危險突然出現

hazard obligation：

\mu_H.

具有：

deadline\approx0,

mandatory=TRUE.

即使 cinematic mode 原本給 hazard region 低 priority，

Hard Gate 仍強制：

Visibility(H)\ge v_{min}.

所以 observer style 不可覆寫 safety obligation。

49. 例四：3070 + Cloud AI

本地 RTX 3070：

R_{base} = RASTER + \text{limited RAY}.

雲端：

R_{cloud} = CLOUD\_NEURAL.

OSR compiler 不把 cloud 放在每幀 critical path。

而是產生：

\text{local base} \rightarrow \text{visible},

同時：

\text{cloud anchor} \rightarrow \text{verify} \rightarrow \text{late/next commit}.

顯示頻率：

f_{display} = 60\text{--}144Hz,

cloud update：

f_{cloud} \ll f_{display}.

中間由：

local motion；
reprojection；
reuse；
local neural；

維持。

50. 例五：不需要視覺

若 AI agent 只問：

q= \text{door open?}

且 authoritative state 已存在：

\text{door.state}=\text{open},

則 compiler 可以：

STATE

直接滿足 obligation。

所以：

\boxed{ \text{No Rendering} }

也可以是合法的 perceptual rendering decision。

這再次說明 OSR 處理的是顯現需求，而不是強迫一切變成 pixels。

51. 與 Active Perception 的進一步接合

Active visual perception 強調系統可以依 goal / uncertainty 主動改變 sensing action。

OSR-02 可以把 active sensing 也寫成 probe：

m_i=SENSOR\_MOVE

或：

m_i=REOBSERVE.

未來完整閉環可以是：

\text{ManifestationNeed} \rightarrow \text{AcquireMoreEvidence} \rightarrow \text{UpdateWorldBelief} \rightarrow \text{RecompileRenderPlan}.

但 OSR-02 v0.1 暫時不要求 physical embodiment。

52. 與 Foveated Rendering 的關係

Foveated rendering 可以視為一個非常有效的 predefined compiler policy：

\text{Eccentricity} \rightarrow \text{ShadingRate}.

OSR 則擴展成：

( \text{Eccentricity}, \text{Goal}, \text{Risk}, \text{Semantics}, \text{Uncertainty}, \text{History}, \text{Budget} ) \rightarrow \text{ProbeGraph}.

所以：

\boxed{ \text{Foveated Policy} }

可以作為 OSR compiler 的一個 plugin。

53. 與 ReSTIR 的關係

ReSTIR 的核心價值之一，是提高有限 light-transport sample 的利用率並跨 space / time reuse。

OSR 不重新發明 ReSTIR。

它只把：

\text{ReSTIR}

視為：

RAY/PATH

realization 族中的高效 backend。

LoD-aware ReSTIR 顯示，不同 geometry representation 甚至可以在 temporal reuse 下被協調。

這支持 OSR 的更一般命題：

\boxed{ \text{Representation level and reuse policy can be co-designed.} }

54. 與 TRON 的關係

TRON 將 PBR / ray-traced physical condition 與 single-step neural renderer 組合。

OSR 對它的抽象：

RAY/PBR \rightarrow NEURAL.

這正是一條 probe composition path。

但 OSR compiler 還允許：

RASTER \rightarrow NEURAL,

REUSE \rightarrow NEURAL,

STATE \rightarrow SEMANTIC,

以及：

NO\_CLOUD.

因此 TRON-like architecture 是 OSR 的一個可選 realization pattern。

55. 與 DLSS 5 的關係

DLSS 5 已將 generative neural rendering 放入 real-time final-appearance stage，並以 current rendered frame、motion vector、temporal state 與 artistic controls 進行 grounding。

OSR-02 不試圖重建其模型。

它只把這類能力描述成：

K_{DLSS5-like} = ( \text{type}=LOCAL\_NEURAL, \text{inputs}, \text{outputs}, \text{latency}, \text{determinism}, \text{temporal}, \text{controls} ).

是否呼叫它、對哪個 scope 呼叫、何時 fallback，屬於 compiler policy。

所以：

\boxed{ \text{Neural Renderer} \neq \text{Rendering Policy}. }

56. 與 Render Graph 的關係

現代引擎 Render Graph 通常管理：

resource dependency；
pass ordering；
lifetime；
synchronization；
barriers。

OSR-IR 管的是更高層：

obligation；
observer purpose；
backend choice；
provenance；
authority；
verification；
fallback。

因此未來 lowering 可以是：

OSR\text{-}IR \rightarrow \text{EngineRenderGraph} \rightarrow \text{GPUCommands}.

而不是取代既有低階 graphics scheduling。

57. Compiler Lowering

可分三層：

OSR\text{-}SemanticIR

\downarrow

OSR\text{-}ExecutionIR

\downarrow

\text{BackendNativeGraph}.

SemanticIR 保留：

why；
obligation；
truth class；
provenance。

ExecutionIR 保留：

concrete backend；
buffers；
region；
deadline；
dependency。

BackendNativeGraph 才變成：

Vulkan；
DX12；
CUDA；
provider request。

58. 不做「萬能 Compiler」

OSR Compiler 不需要一開始就理解所有 renderer。

正確工程策略是：

\boxed{ \text{small core} + \text{explicit plugins}. }

APR 現有 PluginRegistry 已提供一個可借用的工程模式：plugins 宣告 component factory，network、subprocess、model load 等昂貴或高副作用操作延遲到 component 實際建立或呼叫時。

OSR 可以沿用相同原則。

59. 第一代 Plugin Namespace

建議：

osr.backend.raster
osr.backend.ray
osr.backend.path
osr.backend.reuse
osr.backend.local_neural
osr.backend.cloud_neural
osr.backend.semantic
osr.verifier
osr.cost_model
osr.partition
osr.scheduler

每個 plugin 必須提供 capability descriptor。

60. Compilation Failure Is a Valid Result

若不存在合法 plan：

\mathcal P_{\text{feasible}}=\varnothing,

compiler 必須回：

\boxed{ \text{NO\_FEASIBLE\_PLAN}. }

並指出：

哪個 obligation 無法滿足；
哪個 gate 擋住；
哪個 budget 不足；
哪個 capability 缺失。

不能 hallucinate 一個 renderer。

61. Research Hypotheses

H1｜Probe Generality

Observation Probe 能以單一 contract 表示：

direct state；
raster；
ray；
reuse；
neural；
semantic；
verification。

若大量 backend 需要完全不同的語義核心，Probe abstraction 失敗。

H2｜Compiler Value

存在 workload 使：

C_{OSR} < C_{uniform}

同時：

Q_{OSR} \ge Q_{uniform}^{min}.

H3｜Incremental Compilation

在持續場景中：

C_{\Delta compile} \ll C_{full compile}.

H4｜Fallback Robustness

當高階 backend 失效：

\text{Availability}\downarrow,

系統仍能維持：

\text{MinimumManifestation}.

H5｜Provenance-Preserving Heterogeneity

混合不同 backend 後，系統仍能回答每個 visible region 的來源與 transformation lineage。

62. 可反證條件

F1｜Probe Explosion

若每個 renderer 都需要全新 probe schema，無法被共享欄位描述，則 Observation Probe 過度抽象。

F2｜Compiler Overhead

若：

C_{compile} \ge C_{saved-render}

在大部分目標場景成立，則 PRC 不值得。

F3｜Plan Instability

若微小輸入變化造成大量 backend thrashing：

\Delta \text{input} \rightarrow \text{huge}\ \Delta \text{plan},

則需要 hysteresis 或 stability penalty。

F4｜Fallback Semantic Drift

若 fallback 經常導致：

minimum_i

被破壞卻仍被標為成功，fallback 模型失敗。

F5｜Verification Bottleneck

若 verification 成本使 neural / heterogeneous rendering 優勢完全消失，則需要縮小 verification scope 或使用 deterministic structural constraints。

F6｜Provider Coupling

若 OSR core 最後仍與單一 provider API 深度綁定，provider-neutral abstraction 失敗。

63. 第一代 OSR-IR v0.1 最小欄位

建議 JSON-equivalent schema：

plan:
  id
  version
  world_revision
  observer_revision
  policy_revision

obligations:
  id
  scope
  minimum
  preferred
  deadline
  provenance
  forbidden_modes

nodes:
  id
  probe_mode
  backend
  inputs
  outputs
  scope
  budget
  deadline
  authority

edges:
  from
  to
  relation

verification:
  node
  class
  threshold
  on_fail

fallbacks:
  node
  chain

commit:
  scope
  required_nodes
  atomicity

receipts:
  required_fields

MVP 不需要更多。

64. OSR-02 最小 acceptance criteria

第一個 compiler prototype 至少要通過：

相同 input 可 deterministic emit 同 plan；
mandatory obligation 不會被低 priority optimization 移除；
cloud backend 不可用時能自動選合法 fallback；
禁止 cloud export 的 scope 不會產生 cloud node；
reuse 過期時會 invalid；
verification gate 失敗時不會 commit；
plan receipt 可解釋 backend 選擇；
incremental patch 不修改無關 scope；
budget 超標時能產生 degraded plan 或 NO_FEASIBLE_PLAN；
provider plugin discovery 不自動觸發 network。

65. 與 APR 現行 Runtime 的工程對齊

APR 目前已具有：

adapter；
source；
semantic_inspector；
image_generator；
policy；
event_handler；
persistence；

等 plugin namespace，並以顯式 component creation 避免 discovery 階段就啟動 network / model / device。

因此 OSR MVP 不必重新做一個獨立巨型 plugin framework。

可以：

APR.PluginRegistry \rightarrow OSR.ComponentRegistryAdapter.

或者先直接使用 APR registry。

這會降低第一代工程成本。

66. 與 PNCW 的工程對齊

PNCW 已有：

REQUESTED \rightarrow RESOLVED \rightarrow READY \rightarrow PROJECTED \rightarrow VERIFIED \rightarrow VISIBLE.

因此 OSR compiler 可以停止於：

\text{READY plan}.

execution 完成後再交：

PROJECTED.

verification 後：

VERIFIED.

最後：

VISIBLE.

這讓 OSR 不需要自創第二套 visibility state machine。

67. 與 MRMIC/NVCL 的工程對齊

MRMIC 已有 provider-owned resource / Canvas projection 的 authority separation。

OSR 只需要讓 backend output 進入：

native\_resource\_portal

或未來對應 projection surface。

NVCL 則可作為：

\text{Visible} \rightarrow \text{Observe} \rightarrow \text{Delta} \rightarrow \text{Repair}.

所以 compiler output 不是 workflow 終點。

它仍然在閉環內。

68. 從 OSR-02 到 OSR-03

OSR-02 已定義：

\text{Probe}, \text{BackendCapability}, OSR\text{-}IR, \text{Compiler}.

但還沒有仔細回答：

Raster、Ray、Path、Reuse、Local Neural、Cloud Neural、Semantic 之間，到底如何比較、組合與互相替代？

這正是 OSR-03。

69. 核心命題集

P1｜Ray Subsumption

\boxed{ \text{RayProbe} \subset \text{ObservationProbe}. }

P2｜Probe–Backend Separation

\boxed{ \text{Probe} \neq \text{Backend}. }

P3｜Provider Neutrality

\boxed{ \text{OSRCore} \perp \text{ProviderIdentity}. }

P4｜Hard Gate Priority

\boxed{ \text{Governance} \rightarrow \text{Optimization}. }

而不是：

\text{Optimization} \rightarrow \text{Governance}.

P5｜Heterogeneous Plan

\boxed{ \text{OneFrame} \not\Rightarrow \text{OneRenderer}. }

P6｜Temporal Reuse as Compute

\boxed{ \text{PastValidWork} = \text{ReusableComputeAsset}. }

P7｜Verification Before Commit

對需要驗證的 scope：

\boxed{ \text{Projected} \rightarrow \text{Verified} \rightarrow \text{Visible}. }

P8｜Fallback Semantics

\boxed{ \text{Fallback} \Rightarrow \text{MinimumObligationStillSatisfied}. }

P9｜Incremental Compilation

\boxed{ P_t = P_{t-1} + \Delta P_t. }

P10｜No Feasible Plan Is Valid

\boxed{ \mathcal P_{\text{feasible}}=\varnothing \Rightarrow \text{NO\_FEASIBLE\_PLAN}. }

70. 結論

傳統 graphics pipeline 很自然地讓人從：

\text{ray}, \text{shader}, \text{buffer}, \text{texture}

開始思考。

但 OSR-01 已經指出，這些都太晚了。

在它們之前還有：

\text{Observer} \rightarrow \text{Goal} \rightarrow \text{ManifestationObligation}.

OSR-02 再進一步指出：

即使知道要顯現什麼，也不應立刻把問題綁死到某種 renderer。

真正需要的是一個中間層：

\boxed{ \text{ManifestationObligation} \rightarrow \text{ObservationProbe} \rightarrow \text{RenderPlan}. }

Ray tracing 在這裡沒有消失。

它只是回到更準確的位置：

\boxed{ \text{Ray tracing is one powerful realization of an observation probe, not the universal language of manifestation.} }

同理，neural rendering 也不是終點。

Cloud AI 也不是終點。

真正的上位系統必須能決定：

是否需要它；
哪裡需要；
需要到什麼程度；
可否 reuse；
是否必須 verification；
失效後如何回退；
哪些資料有權送出去；
最後何時可以 visible commit。

因此 OSR 的第二個核心結論是：

\boxed{ \text{AI-native rendering needs a compiler, not only a better renderer.} }

這個 compiler 不是把 shader source 編譯成 GPU ISA。

它編譯的是：

\boxed{ \text{observer-relative manifestation requirements} }

成為：

\boxed{ \text{bounded, heterogeneous, verifiable rendering work}. }

這就是 Perceptual Rendering Compiler。

71. 下一篇

OSR-03

《異質渲染場：Raster、Ray、Neural、Semantic 與 Reuse 的統一選擇》

下一篇將研究：

\mathcal R = \{ RASTER, RAY, PATH, REUSE, LOCAL\_NEURAL, CLOUD\_NEURAL, SEMANTIC \}

之間的：

capability space；
substitution relation；
composition；
quality/cost frontier；
temporal behavior；
hybrid architecture；
backend switching；
domain-specific strengths。

並回答：

\boxed{ \text{When should each renderer exist?} }

參考資料

EveMissLab / OSR 與既有 Runtime

Neo.K. 從萬能光到觀察者主權渲染：理論譜系重構與研究綱領. OSR-00, v0.1, 2026.
Neo.K. 我們到底想看什麼？觀察者、目的與顯現場. OSR-01, v0.1, 2026.
EveMissLab. APR — Adaptive Perceptual Reading / Agentic Perception Runtime. https://github.com/kakon77777-commits/APR
EveMissLab. APR Plugin API. https://github.com/kakon77777-commits/APR/blob/main/docs/PLUGIN_API.md
EveMissLab. PNCW — Projection-Native Computational World. https://github.com/kakon77777-commits/PNCW
EveMissLab. MRMIC/NVCL. https://github.com/kakon77777-commits/MRMIC_NVCL

外部研究

Li, Y., Guo, X., Zhang, H., Li, S., & Dai, X. Active Visual Perception: Opportunities and Challenges. arXiv:2512.03687, 2025. https://arxiv.org/abs/2512.03687
Zhang, Z., Gai, M., & Li, S. Visual Acuity Consistent Foveated Rendering towards Retinal Resolution. arXiv:2503.23410, 2025. https://arxiv.org/abs/2503.23410
Wang, Y.-C., Kettunen, M., Lin, D., Wyman, C., Wu, L., & Zhao, S. Real-Time Level-of-Detail Rendering with ReSTIR. SIGGRAPH 2026. https://research.nvidia.com/labs/rtr/publication/wang2026levelofdetail/
Lin, D., Kettunen, M., & Wyman, C. ReSTIR PT Enhanced: Algorithmic Advances for Faster and More Robust ReSTIR Path Tracing. I3D 2026. https://research.nvidia.com/labs/rtr/publication/lin2026restirptenhanced/
Hong, P., Zhang, S., Lin, D., Kettunen, M., Wyman, C., & Yuksel, C. Multi-Layer Reservoir Splatting for Temporal Reuse under Disocclusion. SIGGRAPH 2026. https://research.nvidia.com/labs/rtr/publication/hong2026multilayer/
Perel, O., et al. TRON: Tracing Rays to Orchestrate a Neural Renderer for 3D Gaussian Reconstructions. arXiv:2606.11314, 2026. https://research.nvidia.com/labs/sil/projects/tron/
NVIDIA ADLR. DLSS 5: Generative Neural Rendering. 2026. https://research.nvidia.com/labs/adlr/DLSS5/

附錄 A｜OSR-02 一句話版本

OSR-02 把 ray 從渲染的第一級原語降為 Observation Probe 的一種 realization，並提出 Perceptual Rendering Compiler：將 OSR-01 產生的 Manifestation Obligations 編譯成可執行、可驗證、可回退、可跨 Raster／Ray／Neural／Cloud／Reuse 的 heterogeneous render plan。

從射線到觀察探針：廣義觀察算子與感知渲染編譯器