--- title: "異質渲染場：Raster、Ray、Neural、Semantic 與 Reuse 的統一選擇" english_title: "Heterogeneous Rendering Fields: Unified Selection Across Raster, Ray, Neural, Semantic, and Reuse Realizations" series: "Observer-Sovereign Rendering（OSR）" paper_id: "OSR-03" author: "Neo.K" ai_collaboration: "GPT-5.6 Sol" institution: "EveMissLab／一言諾科技有限公司" version: "v0.1" date: "2026-09-18" language: "zh-TW" document_type: "理論論文／異質渲染架構／AI-native graphics／rendering systems" status: "初版完成" --- # 異質渲染場 ## Raster、Ray、Neural、Semantic 與 Reuse 的統一選擇 # Heterogeneous Rendering Fields ## Unified Selection Across Raster, Ray, Neural, Semantic, and Reuse Realizations **論文編號：** OSR-03 **系列：** Observer-Sovereign Rendering（OSR）／觀察者主權渲染 **作者：** Neo.K **AI 協作：** GPT-5.6 Sol **機構：** EveMissLab／一言諾科技有限公司 **版本：** v0.1 **日期：** 2026 年 9 月 18 日 --- # 摘要 OSR-01 將渲染問題的起點由相機與像素前移為觀察者、目的與顯現義務；OSR-02 進一步提出 Observation Probe、Perceptual Rendering Compiler（PRC）與 OSR-IR，使 Manifestation Obligations 能被編譯為可執行、可驗證、可回退的 rendering plan。本篇處理下一個核心問題： > **當 Raster、Ray、Path、Reuse、Local Neural、Cloud Neural 與 Semantic 等多種 realization 同時可用時，系統應如何比較、組合、替代與切換？** 本文提出「異質渲染場」（Heterogeneous Rendering Field, HRF）。在 HRF 中，renderer 不再被視為整幀唯一選擇，而被視為可在空間、時間、語義物件、表示深度與任務條件上動態分配的 realization class。對世界位置或顯現 scope $x$，時間 $t$，定義： $$ \boxed{ \mathcal R_t(x) = ( r_t(x), d_t(x), \nu_t(x), h_t(x), v_t(x) ) } $$ 其中 $r_t(x)$ 為 backend class， $d_t(x)$ 為 representation depth， $\nu_t(x)$ 為更新頻率， $h_t(x)$ 為 temporal history policy， $v_t(x)$ 為 verification requirement。於是同一幀可以合法同時包含 rasterized background、ray-traced reflections、reused static regions、local-neural denoising、cloud-neural facial appearance 與 semantic hazard overlay。 本文不將 renderer 排成一條「舊技術到新技術」的線性階級。相反地，本文為每一 realization 定義 Capability Vector： $$ \kappa(r) = ( Q, S, T, L, C, D, P, A, X ), $$ 分別描述品質、結構保真、時間一致性、延遲、成本、決定性、來源可追溯性、authority requirement 與可輸出 representation class。不同 renderer 通常位於不同 Pareto frontier；不存在對所有場景普遍占優的單一 renderer。 本文進一步定義三種關係：substitution、composition 與 refinement。若兩個 renderer 在某 Manifestation Obligation 下皆滿足 minimum contract，則可形成 obligation-relative substitution；若一個 renderer 的輸出可作為另一個 renderer 的條件或 carrier，則形成 composition；若某 realization 在不改變語義對象的情況下提高 representation depth，則形成 refinement。這三種關係共同構成 Heterogeneous Rendering Algebra。 2026 年的外部研究提供了明顯的技術收斂：LoD-aware ReSTIR 已能在不同 mesh topology 的 LoD 切換下保留 spatiotemporal reuse；Multi-Layer Reservoir Splatting 針對 disocclusion 重用被遮蔽歷史樣本；8DNA 將高成本的 8D asset light transport 預烘成 neural representation；TRON 把 ray-traced PBR 條件與 single-step neural renderer 組合；DLSS 5 則將 3D-grounded generative rendering 引入 final displayed appearance。這些成果共同顯示：未來 renderer 更可能形成可組合的 heterogeneous stack，而不是由單一演算法全面取代前代方法。 本篇最後提出 backend switching hysteresis、transition cost、temporal validity、reuse credit、cloud/local asymmetry、semantic rendering、representation carrier hierarchy，以及第一代 Heterogeneous Field Solver。OSR-04 將在此基礎上把 APR 的感知預算與 re-observation policy 正式嵌入 HRF，使「什麼時候看、看多深」與「用哪種 renderer 顯現」成為同一個受治理決策問題。 **關鍵詞：** Heterogeneous Rendering、Rasterization、Ray Tracing、Neural Rendering、Semantic Rendering、Temporal Reuse、ReSTIR、DLSS 5、TRON、8DNA、Observer-Sovereign Rendering --- # 0. 本篇的位置 OSR-01： $$ \boxed{ \text{World} \rightarrow \text{ManifestationObligations}. } $$ OSR-02： $$ \boxed{ \text{ManifestationObligations} \rightarrow \text{ObservationProbes} \rightarrow \text{RenderPlan}. } $$ OSR-03： $$ \boxed{ \text{Which realizations should actually occupy the render plan?} } $$ 因此本篇不再研究「要不要看」。 本篇研究： > **既然要看，究竟應該由什麼來顯現？** --- # 1. 單一 Renderer 假設正在失效 傳統即時 graphics pipeline 常給人一種簡化印象： $$ \text{Scene} \xrightarrow{Renderer} \text{Frame}. $$ 但現代遊戲早已不是單一 algorithm。 實際 pipeline 可以同時具有： - rasterization； - shadow maps； - screen-space effects； - ray-traced reflections； - ray-traced GI； - temporal accumulation； - denoising； - upscaling； - frame generation； - neural enhancement； - UI / semantic overlay。 所以更準確是： $$ Frame_t = \mathcal C ( R_1, R_2, \ldots, R_n ). $$ OSR 再往前推一步： $$ \boxed{ R_i } $$ 不只由 engine programmer 靜態決定。 它們可以由 observer goal、world state、uncertainty、budget 與 runtime capability 動態決定。 --- # 2. Renderer 不是世代階級 常見敘事是： ```text Raster ↓ Ray Tracing ↓ Path Tracing ↓ Neural Rendering ↓ Generative Rendering ``` 這會讓人誤以為後者必然淘汰前者。 本文否定這個線性模型。 因為每一類 realization 都有不同強項。 Rasterization： $$ Latency\downarrow, Determinism\uparrow. $$ Ray / Path： $$ PhysicalConsistency\uparrow, Cost\uparrow. $$ Reuse： $$ MarginalCost\downarrow, HistoryDependence\uparrow. $$ Neural： $$ AppearancePrior\uparrow, InferenceRisk\uparrow. $$ Cloud Neural： $$ ModelCapacity\uparrow, NetworkDependence\uparrow. $$ Semantic： $$ TaskRelevance\uparrow, PixelCompleteness\downarrow. $$ 因此不存在： $$ r^* = \arg\max_r \text{Everything}. $$ --- # 3. Renderer Capability Vector 定義 renderer realization class： $$ r\in\mathfrak R. $$ 每個 renderer 有 capability vector： $$ \boxed{ \kappa(r) = ( Q_r, S_r, T_r, L_r, C_r, D_r, P_r, A_r, X_r ). } $$ 其中： - $Q_r$：appearance quality； - $S_r$：structural / world fidelity； - $T_r$：temporal stability； - $L_r$：latency； - $C_r$：compute / monetary / energy cost； - $D_r$：determinism； - $P_r$：provenance richness； - $A_r$：authority / privacy requirement； - $X_r$：output representation classes。 這個向量不是固定常數。 實際上： $$ \kappa_t(r) = f( \text{hardware}, \text{scene}, \text{region}, \text{network}, \text{model}, \text{history}, \text{load} ). $$ 因此 backend 選擇必須是 runtime-relative。 --- # 4. 第一代 Renderer Space OSR-03 v0.1 定義： $$ \boxed{ \mathfrak R = \{ R_{\mathrm{state}}, R_{\mathrm{raster}}, R_{\mathrm{ray}}, R_{\mathrm{path}}, R_{\mathrm{reuse}}, R_{\mathrm{localN}}, R_{\mathrm{cloudN}}, R_{\mathrm{semantic}} \}. } $$ 這不是最終完備分類。 它只是第一代可執行空間。 --- # 5. State Realization $$ R_{\mathrm{state}} $$ 不一定產生 pixel。 它直接將 authoritative structured state 顯現為： - UI； - text； - icon； - highlight； - debug geometry； - accessibility signal。 例如： $$ enemy.distance=12.4m $$ 可以直接生成 HUD。 這提醒我們： $$ \boxed{ \text{Manifestation} \neq \text{Photorealistic Image}. } $$ --- # 6. Raster Realization $$ R_{\mathrm{raster}} $$ 仍然具有非常強的基礎價值。 其主要優勢： - highly parallel； - deterministic； - mature tooling； - low latency； - predictable cost； - direct engine integration。 因此 OSR 不將 raster 視為「即將被 AI 淘汰的舊技術」。 它更像： $$ \boxed{ \text{Reliable structural baseline renderer}. } $$ 對 cloud-assisted OSR 而言尤其重要。 --- # 7. Ray Realization $$ R_{\mathrm{ray}} $$ 處理顯式幾何／光路查詢。 適合： - visibility； - shadow； - reflection； - selected GI； - geometric validation。 Ray 的價值是： $$ \boxed{ \text{world-grounded physical query}. } $$ 它不必負責整個 final appearance。 --- # 8. Path Realization $$ R_{\mathrm{path}} $$ 可提供更完整 light transport approximation。 它可能： - 太昂貴而不適合全畫面； - 卻非常適合作為 selected region； - reference anchor； - neural condition； - verification oracle； - offline cache source。 所以： $$ \boxed{ \text{Expensive} \not\Rightarrow \text{Useless}. } $$ 高成本 renderer 可以被局部化。 --- # 9. Reuse Realization $$ R_{\mathrm{reuse}} $$ 把過去已完成的有效工作視為 computational asset。 來源可以是： - previous frame； - temporal cache； - neural latent； - ray reservoir； - path reservoir； - precomputed light transport； - scene cache。 定義 reuse credit： $$ \boxed{ RC_t(x) = V_t^{hist}(x) \cdot F_t(x) \cdot M_t(x) } $$ 其中： - $V_t^{hist}$：歷史價值； - $F_t$：freshness； - $M_t$：mapping validity。 若： $$ RC_t(x)\uparrow, $$ 則新計算的必要性下降。 --- # 10. Local Neural Realization $$ R_{\mathrm{localN}} $$ 適合： - denoise； - upscaling； - frame reconstruction； - local material enhancement； - compact generative appearance； - latent decoding。 它的重要性不只在品質。 更重要是： $$ NetworkDependence=0. $$ 因此在 latency-critical 系統中： $$ R_{\mathrm{localN}} $$ 通常比 cloud 更容易進 blocking critical path。 --- # 11. Cloud Neural Realization $$ R_{\mathrm{cloudN}} $$ 提供： - larger model； - larger memory； - larger multimodal context； - potentially higher appearance prior； - easier model replacement。 代價是： $$ L_{network}, $$ $$ C_{cloud}, $$ $$ \text{Jitter}, $$ $$ \text{Privacy}, $$ $$ \text{Availability}. $$ 因此 cloud neural 在 OSR 中不是： $$ \text{primary universal renderer}. $$ 而更適合： $$ \boxed{ \text{asynchronous enhancement / anchor / selected-region realization}. } $$ --- # 12. Semantic Realization $$ R_{\mathrm{semantic}} $$ 將世界狀態映射成： - outline； - label； - guidance； - icon； - route； - hazard； - selection field； - semantic color space。 它可能完全不追求 photorealism。 但對某些 observer goal： $$ Utility_{\mathrm{semantic}} > Utility_{\mathrm{photoreal}}. $$ 例如 debug、navigation、accessibility、AI agent perception。 --- # 13. 異質渲染場 本文正式定義 Heterogeneous Rendering Field： $$ \boxed{ \mathcal R_t: \Omega_t \rightarrow \mathfrak R\times\mathcal D\times\mathcal F\times\mathcal H\times\mathcal V. } $$ 對 scope $x\in\Omega_t$： $$ \mathcal R_t(x) = ( r_t(x), d_t(x), \nu_t(x), h_t(x), v_t(x) ). $$ 其中： - $r_t(x)$：renderer； - $d_t(x)$：representation depth； - $\nu_t(x)$：update frequency； - $h_t(x)$：history / reuse policy； - $v_t(x)$：verification class。 這是 OSR-03 的核心對象。 --- # 14. 同一 Frame 可以有多種 Renderer 若畫面分區： $$ \Omega_t = \Omega_{face} \cup \Omega_{body} \cup \Omega_{background} \cup \Omega_{hazard}, $$ 可以有： $$ r(face)=R_{\mathrm{cloudN}}, $$ $$ r(body)=R_{\mathrm{localN}}, $$ $$ r(background)=R_{\mathrm{reuse}}, $$ $$ r(hazard)=R_{\mathrm{semantic}}. $$ 同時底層仍由： $$ R_{\mathrm{raster}} $$ 提供 base frame。 所以： $$ \boxed{ \text{OneFrame} \not\Rightarrow \text{OneRenderer}. } $$ --- # 15. 同一 Object 也可以有多種 Renderer 角色： $$ Object=Character. $$ 可以拆： $$ \text{Character} = \text{Geometry} + \text{Material} + \text{Hair} + \text{Skin} + \text{Shadow} + \text{SemanticState}. $$ 其中： $$ Geometry\rightarrow Raster, $$ $$ Shadow\rightarrow Ray, $$ $$ Skin\rightarrow Neural, $$ $$ Hair\rightarrow Neural, $$ $$ SemanticState\rightarrow State. $$ 因此 heterogeneous rendering 不只是 screen-space tiling。 它可以是： $$ \boxed{ \text{representation-component heterogeneity}. } $$ --- # 16. Substitution Relation 兩個 realization： $$ r_a, r_b $$ 不必全域等價。 只需要相對某 obligation： $$ \mu_i $$ 滿足最低要求。 定義： $$ \boxed{ r_a \equiv_{\mu_i} r_b } $$ 若： $$ Satisfy(r_a,\mu_i)\ge\tau_i $$ 且： $$ Satisfy(r_b,\mu_i)\ge\tau_i. $$ 這叫 obligation-relative substitution。 --- # 17. 不是所有 Substitution 都無損 可定義： $$ r_a \succ_{\mu} r_b $$ 表示兩者都合法，但 $r_a$ 在 preferred objective 上更好。 因此 fallback： $$ r_a \rightarrow r_b $$ 可以是合法 degraded substitution。 這比： $$ \text{equivalent} $$ 更實際。 --- # 18. Composition Relation 若 renderer $r_a$ 的輸出可作為 $r_b$ 的 input： $$ \boxed{ r_a \rightarrow r_b. } $$ 例如： $$ \text{Raster} \rightarrow \text{LocalNeural}, $$ $$ \text{Ray} \rightarrow \text{Neural}, $$ $$ \text{Raster} \rightarrow \text{CloudNeural}, $$ $$ \text{Reuse} \rightarrow \text{Verify}, $$ $$ \text{State} \rightarrow \text{Semantic}. $$ 這叫 composition relation。 --- # 19. Refinement Relation 若： $$ r_b $$ 在保留同一 semantic target 的條件下提升 representation depth： $$ d_b>d_a, $$ 則： $$ \boxed{ r_a \preceq_{ref} r_b. } $$ 例如： $$ \text{RasterBase} \preceq_{ref} \text{RayEnhanced} \preceq_{ref} \text{NeuralHighFidelity}. $$ 但這不是普遍品質排序。 因為在 determinism 或 provenance 上可能反過來。 --- # 20. Heterogeneous Rendering Algebra 本文把三種關係統一： $$ \boxed{ \mathfrak A_R = ( \mathfrak R, \equiv_{\mu}, \rightarrow, \preceq_{ref} ). } $$ 分別表示： - obligation-relative substitution； - composition； - refinement。 這不是完整代數系統證明。 而是 OSR compiler 的第一代 relation model。 --- # 21. Pareto Frontier 令 backend 的多目標向量： $$ z(r) = ( -Q, -S, -T, L, C, \text{Risk} ). $$ 若不存在 $r'$ 在所有指標不差且至少一項更好： $$ r $$ 位於 Pareto frontier。 因此 compiler 不應問： > 哪個 renderer 分數最高？ 而應先求： $$ \boxed{ \mathcal P_{frontier}. } $$ 再依 observer / budget / obligation 選擇。 --- # 22. Renderer Dominance 是局部的 某 cloud neural renderer 可能： $$ Q\uparrow $$ 但： $$ L\uparrow, C\uparrow, D\downarrow. $$ Raster： $$ L\downarrow, D\uparrow $$ 但： $$ Q_{\mathrm{complex\ appearance}}\downarrow. $$ 所以 dominance 只能是： $$ \boxed{ \text{task-relative and scope-relative}. } $$ --- # 23. Quality 不是單一數字 定義品質向量： $$ \mathbf Q = ( Q_{appearance}, Q_{structure}, Q_{identity}, Q_{temporal}, Q_{style}, Q_{task} ). $$ 某 renderer 可以 appearance 很高，卻 identity 不穩。 例如： $$ Q_{appearance}\uparrow, $$ $$ Q_{identity}\downarrow. $$ 那它就不適合 character-critical scope。 --- # 24. Structural Fidelity 定義： $$ S(r,x) = Consistency( Output_r(x), WorldStructure(x) ). $$ 可檢查： - object count； - object identity； - pose； - depth ordering； - silhouette； - topology； - motion； - material class。 Neural appearance 若破壞： $$ S<\tau_S, $$ 即使「更漂亮」也應被拒絕。 --- # 25. Temporal Fidelity 定義： $$ T(r,x) = 1-D( Output_t(x), Warp(Output_{t-1}(x)) ). $$ 這不是唯一 temporal metric，但可表達基本思想。 對 video / games： $$ Q_{single-frame} $$ 不夠。 必須同時考慮： $$ Q_{temporal}. $$ --- # 26. Identity Fidelity 角色／物件身份保持： $$ I(r,x). $$ 對人物： - face identity； - costume； - accessories； - proportions。 若： $$ I(r,x)<\tau_I, $$ 則 neural backend 不應 commit。 這使生成式 renderer 可以被使用，但必須有 world anchor。 --- # 27. Reuse Validity Reuse 必須通過： $$ \boxed{ ValidReuse(x,t) = Fresh(x,t) \land Map(x,t) \land Identity(x,t) \land Visibility(x,t). } $$ 任何一項失敗： $$ R_{\mathrm{reuse}} $$ 都應降級或失效。 --- # 28. 2026 LoD-aware ReSTIR 的意義 2026 年 Real-Time Level-of-Detail Rendering with ReSTIR 引入 surface point mapping，使不同 mesh topology 的 LoD 切換仍能保持 sample reuse。 其 OSR 意義不是： > ReSTIR 就是 OSR。 而是證明： $$ \boxed{ \text{reuse} } $$ 不必被固定 representation 綁死。 也就是： $$ \text{RepresentationChange} \not\Rightarrow \text{HistoryReset} $$ 在適當 mapping 下可以成立。 這支持 OSR 的 representation-field 思路。 --- # 29. Disocclusion 與多層歷史 Multi-Layer Reservoir Splatting 針對 disocclusion 保留多層 screen-space history，使先前被遮蔽、之後重新可見的 sample 可以再利用。 其 OSR 意義： $$ \boxed{ \text{Invisible Now} \not\Rightarrow \text{Computationally Worthless}. } $$ 歷史資料可以處於： $$ \Phi^{\text{unmanifest}} $$ 但仍具有未來 reuse value。 --- # 30. 8DNA 的意義 8DNA 將高成本 asset light transport 學入 8D neural representation，使 near-field illumination 下也能快速近似複雜 scattering。 這代表： $$ \boxed{ \text{Neural Representation} } $$ 不必等同「生成整張圖」。 它可以是某一 asset 的： $$ \text{precomputed transport realization}. $$ 所以 neural renderer space 本身也必須細分。 --- # 31. TRON 的意義 TRON 使用 ray-traced / PBR rich conditions 搭配 single-step neural renderer，維持 geometry、material、lighting control 的同時提升 photoreal appearance。 其 OSR 表示： $$ \boxed{ R_{\mathrm{ray/PBR}} \rightarrow R_{\mathrm{neural}} } $$ 是合法 composition pattern。 這與「neural 取代 ray」完全不同。 --- # 32. DLSS 5 的意義 DLSS 5 把 generative model 放到 final appearance stage，同時依賴： - rendered frame； - motion vector； - temporal state； - artistic control； - 3D grounding。 因此： $$ \boxed{ \text{Conventional structure} + \text{Generative appearance prior} } $$ 已成為即時 graphics 的正式研究方向。 OSR 對它的提升是： $$ \boxed{ \text{when / where / how much / for whom} } $$ 也成為 runtime decision。 --- # 33. Renderer Switching Cost 若 region $x$ 從： $$ r_a $$ 切到： $$ r_b, $$ 存在： $$ C_{switch}(r_a,r_b,x). $$ 來源包括： - model load； - cache invalidation； - buffer conversion； - network warm-up； - quality discontinuity； - temporal instability； - residency movement。 所以即使： $$ \text{Score}(r_b)>\text{Score}(r_a), $$ 也不一定值得立刻切換。 --- # 34. Hysteresis 為避免 renderer thrashing，定義切換門檻： $$ \Delta U = U(r_b)-U(r_a). $$ 只有： $$ \Delta U>\tau_{switch} $$ 才切換。 甚至： $$ \tau_{switch} = f(C_{switch},T_{stability}). $$ 因此： $$ \boxed{ \text{Better Now} \not\Rightarrow \text{Switch Now}. } $$ --- # 35. Minimum Residency Time 定義： $$ T_{min}(r,x). $$ 除非： - failure； - safety； - deadline； - major world change； 否則 renderer 至少保持： $$ T_{min}. $$ 這可以減少： - visual pop； - provider churn； - GPU pipeline churn； - cloud cost spikes。 --- # 36. Field Smoothness Renderer field 不應產生無必要的 checkerboard switching。 可加入 regularizer： $$ \boxed{ L_{smooth} = \lambda_s \sum_{(x,y)\in N} \mathbf 1[ r(x)\neq r(y) ]. } $$ 但這不能壓過真正 semantic boundary。 例如： $$ \text{face} $$ 與： $$ \text{background} $$ 本來就可以不同。 --- # 37. Semantic Boundary Priority 如果： $$ \text{Boundary}_{semantic} $$ 與： $$ \text{Boundary}_{screen} $$ 不同，OSR 優先允許 semantic partition。 例如： - 透明玻璃； - 頭髮； - 角色皮膚； - HUD； - hazard。 這些未必是簡單矩形 tile。 --- # 38. Representation Depth Field 除了 renderer field： $$ r_t(x), $$ 還有： $$ d_t(x). $$ 所以： $$ \boxed{ \mathcal R_t(x) = r_t(x) \times d_t(x). } $$ 同一 renderer 可以不同深度。 例如 ray： $$ 1\ \text{sample} $$ 到： $$ \text{many samples}. $$ Neural： $$ \text{small local} $$ 到： $$ \text{large cloud}. $$ --- # 39. Update Frequency Field 定義： $$ \nu_t(x). $$ 例如： $$ \nu(\text{face})=30Hz, $$ $$ \nu(\text{background})=2Hz, $$ $$ \nu(\text{hazard})=60Hz. $$ 最後 display 仍可： $$ f_{display}=120Hz. $$ 中間由 reuse / interpolation 補足。 --- # 40. Renderer Field 與 Display Frequency 分離 所以： $$ \boxed{ f_{renderer}(x) \neq f_{display}. } $$ 這是 cloud neural 能進互動 graphics 的重要條件。 Cloud 可以： $$ 1\text{--}10Hz $$ 更新高階 appearance anchor。 本地維持： $$ 60\text{--}144Hz $$ 顯示。 --- # 41. Cloud / Local Asymmetry Local renderer 優勢： $$ \text{Latency}, \text{Availability}, \text{Privacy}, \text{Determinism}. $$ Cloud renderer 優勢： $$ \text{Capacity}, \text{ModelSize}, \text{Updateability}. $$ 因此最佳架構不必是： $$ \text{Local} $$ 或： $$ \text{Cloud}. $$ 而可以是： $$ \boxed{ \text{LocalBase} + \text{CloudSparseEnhancement}. } $$ --- # 42. Cloud as Enhancement Plane 定義： $$ P_{base} $$ 與： $$ P_{enhance}. $$ 要求： $$ \boxed{ P_{base} } $$ 能獨立滿足 minimum manifestation。 Cloud： $$ P_{enhance} $$ 只提高 preferred quality。 所以： $$ \text{CloudFailure} \not\Rightarrow \text{WorldDisplayFailure}. $$ --- # 43. Cloud as Anchor Generator Cloud 不必持續生成 frame。 它可以生成： $$ A_k $$ 作為 anchor。 本地： $$ A_k + \text{Motion} + \text{Depth} + \text{History} \rightarrow \text{Frames}. $$ 因此： $$ \boxed{ \text{CloudInference} } $$ 可以從 frame frequency 解耦。 --- # 44. Neural Latent as Carrier Cloud output 也不必是 image。 可為： $$ Z_t. $$ 本地 decoder： $$ D_{local}(Z_t,G_t) \rightarrow I_t. $$ 若： $$ |Z_t| \ll |I_t|, $$ 可能降低 bandwidth。 但這需要 shared decoder contract。 --- # 45. Semantic Renderer 也可以是主 Renderer 對 AI agent observer： $$ O_{AI}, $$ 最有效 manifestation 可能是： $$ \text{SceneGraph} + \text{Depth} + \text{Labels} + \text{Relations}. $$ 而不是： $$ 4K RGB. $$ 所以： $$ \boxed{ \text{Photorealism} } $$ 不是 OSR 的 universal endpoint。 --- # 46. Human / AI Co-Manifestation 同一 world： $$ W_t $$ 可以同時產生： $$ M_{human} $$ 與： $$ M_{AI}. $$ 例如： Human： $$ RGB+audio+UI. $$ AI： $$ objects+relations+hazards+state. $$ 兩者共享： $$ F_W. $$ 但 realization 不同。 --- # 47. Representation Carrier Hierarchy 定義： $$ \mathcal K = \{ K_{state}, K_{geometry}, K_{buffer}, K_{latent}, K_{pixel}, K_{semantic} \}. $$ Renderer 可以在 carrier 之間轉換： $$ R: K_a \rightarrow K_b. $$ 所以 rendering 其實也可以理解為： $$ \boxed{ \text{controlled carrier transformation}. } $$ --- # 48. Carrier Conversion Cost 若： $$ K_a \rightarrow K_b, $$ 存在： $$ C_{convert}(K_a,K_b). $$ 例如： - GPU buffer readback； - image encoding； - latent serialization； - cloud upload； - CPU/GPU sync。 這些常比 neural FLOPs 本身更致命。 所以 OSR cost model 必須算 data movement。 --- # 49. Data Movement as First-Class Cost 定義： $$ C_{total} = C_{compute} + C_{memory} + C_{transfer} + C_{network} + C_{sync}. $$ 如果只看： $$ \text{FLOPs}, $$ 會錯估 heterogeneous architecture。 --- # 50. Renderer Compatibility Graph 定義圖： $$ G_R = ( \mathfrak R, E_{comp}, E_{sub}, E_{ref} ). $$ 其中： - $E_{comp}$：composition； - $E_{sub}$：substitution； - $E_{ref}$：refinement。 Compiler 可以在這張圖上搜索 realization path。 --- # 51. Path Validity 一條 path： $$ \rho = r_1\rightarrow r_2\rightarrow\cdots\rightarrow r_n $$ 合法需要： $$ Output(r_i) \cap Input(r_{i+1}) \neq \varnothing. $$ 以及 authority / provenance / deadline 可閉合。 --- # 52. Heterogeneous Render Plan 整個 frame/world 的 plan： $$ \boxed{ P_t = \{ (x_i,\rho_i,d_i,\nu_i,v_i) \}_{i=1}^{n}. } $$ 這就是 HRF 的離散可執行近似。 --- # 53. Field Solver 第一代 Heterogeneous Field Solver： ```text for each manifestation scope x: collect feasible realization paths remove paths violating hard gates estimate capability vector compute obligation-relative Pareto frontier add reuse credit add transition cost add stability penalty choose candidate repair global budget violations repair cross-scope resource conflicts insert verification emit field assignment ``` 這可以作 OSR-04 APR policy 的 downstream solver。 --- # 54. Global Resource Coupling 各 region 不是完全獨立。 例如： $$ \sum_x GPUCost(x) \le B_{GPU}. $$ $$ \sum_x CloudCost(x) \le B_{Cloud}. $$ $$ \sum_x Bandwidth(x) \le B_{Net}. $$ 所以 field solver 最後必須做 global closure。 --- # 55. Local Utility 與 Global Budget 局部最佳： $$ r_x^* $$ 不保證： $$ \{r_x^*\} $$ 全域可行。 所以： $$ \boxed{ \text{Local Best} \not\Rightarrow \text{Global Feasible}. } $$ APR-04 將專門處理這個 budget governance。 --- # 56. Renderer Scarcity 若 cloud GPU quota： $$ B_{cloud}\downarrow, $$ 某些 region 必須降級。 這不是 failure。 只要： $$ \text{minimum} $$ 仍滿足，就是： $$ \text{DEGRADED}. $$ 所以 quality tier 本來就應是動態狀態。 --- # 57. Renderer Market Analogy 不同 renderer 可以視為競爭有限預算的 bidder。 但本文不要求真的實作經濟市場。 只抽象： $$ Bid(r,x) = ( \text{Gain}, \text{Cost}, \text{Urgency}, \text{Risk}, \text{Confidence} ). $$ Global solver 依 budget 分配。 --- # 58. Renderer Selection 不等於 AI 自由決策 所有 selection 仍 subject to： $$ \Gamma_t. $$ 包括： - privacy； - fairness； - safety； - multiplayer visibility； - creator policy； - deterministic mode。 所以： $$ \boxed{ \text{Renderer Flexibility} \neq \text{Unbounded Authority}. } $$ --- # 59. World Truth Boundary 不管哪個 renderer 被選中： $$ Output_r $$ 都不能自動成為： $$ F_W. $$ 尤其： $$ R_{\mathrm{neural}}. $$ OSR-05 將完整處理此問題。 --- # 60. Progressive Manifestation 某 scope 可以先： $$ D_1 $$ 立即顯現， 之後升級： $$ D_2, D_3, D_4. $$ 所以： $$ \boxed{ \text{Visible Early} + \text{Refine Later} } $$ 是合法策略。 這比： $$ \text{WaitForPerfectFrame} $$ 更適合 cloud enhancement。 --- # 61. Deadline-Aware Refinement 若： $$ t\tau, $$ 應採： - blend； - delayed switch； - latent interpolation； - transition mask。 --- # 64. Appearance Continuity Renderer switch 必須盡量保留： $$ \text{Identity}, \text{Color}, \text{Lighting}, \text{Material}, \text{Motion}. $$ 所以 transition 本身也是 renderer problem。 --- # 65. Domain-Specific Renderer Priors 不同 domain 可以提供 prior。 例如 anime game： $$ P(R_{\mathrm{semantic/stylized}}) \uparrow. $$ photoreal cinematic： $$ P(R_{\mathrm{ray/neural}}) \uparrow. $$ competitive game： $$ P(R_{\mathrm{deterministic}}) \uparrow. $$ 但 prior 不是 hard rule。 --- # 66. Hardware-Specific Priors RTX 3070： $$ B_{localN} $$ 與： $$ B_{ray} $$ 有限。 Cloud available 時： $$ P(R_{\mathrm{cloudN}}) $$ 可能提高。 RTX 5090： $$ P(R_{\mathrm{localN}}) $$ 可能提高。 所以 OSR plan 必須硬體相對。 --- # 67. Dynamic Capability 若 GPU load： $$ Load_{GPU}\uparrow, $$ 則 local backend capability： $$ \kappa_t(r) $$ 改變。 若 network： $$ RTT\uparrow, $$ cloud capability 也改變。 所以 capability registry 必須允許 runtime update。 --- # 68. Capability Revision 每次重要 capability change 產生： $$ KRevision_t. $$ PRC 若發現： $$ KRevision_t \neq KRevision_{plan}, $$ 可觸發： $$ \Delta P. $$ 這與 OSR-02 incremental compilation 相容。 --- # 69. 第一代 Benchmark Matrix OSR-03 至少比較： | Scene Class | Raster | Ray | Reuse | Local Neural | Cloud Neural | Hybrid | |---|---:|---:|---:|---:|---:|---:| | static background | | | | | | | | character face | | | | | | | | reflective object | | | | | | | | foliage | | | | | | | | fast motion | | | | | | | | disocclusion | | | | | | | | hazard overlay | | | | | | | 量測： $$ Q,S,T,L,C,D,P. $$ --- # 70. Ablation 需要至少： ## A0 Pure Raster. ## A1 Raster + Ray. ## A2 Raster + Local Neural. ## A3 Raster + Cloud Neural. ## A4 Raster + Reuse + Local Neural. ## A5 Full Heterogeneous OSR. 如此才能知道： $$ OSR $$ 的收益來自哪裡。 --- # 71. 研究假說 ## H1｜No Universal Renderer 不存在一個 renderer 在所有 benchmark domain 同時支配： $$ Q,S,T,L,C,D,P. $$ --- ## H2｜Heterogeneous Dominance 存在 workload，使： $$ Utility(P_{hetero}) > \max_r Utility(P_r). $$ 也就是混合方案優於任一單一 renderer。 --- ## H3｜Reuse Dominance in Stable Regions 若： $$ \Delta W_t(x)\rightarrow0, $$ 則： $$ R_{\mathrm{reuse}} $$ 在 cost-normalized utility 上應逐漸占優。 --- ## H4｜Neural Value in Appearance-Heavy Regions 對高 appearance complexity、低 world-structure ambiguity scope： $$ R_{\mathrm{neural}} $$ 應具有高邊際價值。 --- ## H5｜Switching Hysteresis Improves Temporal Stability 加入： $$ C_{switch} $$ 與： $$ \tau_{switch} $$ 後，renderer thrashing 與 visual pop 應下降。 --- # 72. 可反證條件 ## F1｜Single Backend Dominance 若在目標硬體與 workload 中，一個 backend 幾乎在所有指標全面支配，HRF 的動態異質性價值會下降。 ## F2｜Composition Cost Too High 若： $$ C_{convert} + C_{sync} $$ 大於 heterogeneous gain，組合式 rendering 不值得。 ## F3｜Switch Instability 若 renderer switching 導致 temporal quality 顯著下降，field solver 失敗。 ## F4｜Cloud Marginal Value Too Low 若 cloud neural 在 latency / cost / quality 綜合後幾乎從不被選中，cloud plane 應被移出 critical architecture。 ## F5｜Semantic Partition Overhead 若 object / semantic partition 比 screen-space simple policy 成本過高，第一代 MVP 應退回更粗 partition。 ## F6｜Verification Erases Gain 若 neural region 的 verification 成本長期大於 neural enhancement value，該 backend 在此 domain 不應使用。 --- # 73. 第一代 MVP 實作策略 本篇仍不直接做 MVP。 但為白皮書先固定最小實作： $$ \mathfrak R_{MVP} = \{ \text{Raster}, \text{Reuse}, \text{LocalNeural}, \text{CloudNeural}, \text{Semantic} \}. $$ Ray 可以作 optional enhancement。 Path tracing 先作 reference / oracle。 這樣最容易先驗證 HRF 本身。 --- # 74. 為什麼第一代不必全做 如果一開始同時完成： - DXR； - Vulkan； - path tracer； - local diffusion； - cloud multimodal； - semantic renderer； 會把問題變成 graphics engine project。 OSR MVP 真正需要驗證的是： $$ \boxed{ \text{heterogeneous selection} } $$ 而不是 renderer implementation completeness。 --- # 75. 3070 的實驗價值 較舊 GPU 反而可以作為更好的壓力條件。 如果： $$ B_{local} $$ 非常充足， heterogeneous/cloud selection 的效益不容易顯現。 所以 3070 可以當： $$ \boxed{ \text{constrained local baseline}. } $$ 研究： $$ \text{LocalWeak} + \text{CloudSparse} + \text{Reuse} $$ 是否比： $$ \text{LocalOnly} $$ 具有較高 perceived utility。 --- # 76. Renderer Field Visualization 未來 debug UI 可以直接顯示： ```text blue = reuse green = raster yellow = ray purple = local neural red = cloud neural white = semantic / mandatory ``` 這不是 final user view。 而是 developer visualization： $$ \mathcal R_t(x). $$ 如此可以直接看到 compiler 在哪裡花錢。 --- # 77. Render Cost Heatmap 同理可畫： $$ C_t(x). $$ 以及： $$ U_t(x). $$ 比較： $$ \frac{U_t(x)}{C_t(x)}. $$ 這會成為 APR-04 的重要觀測工具。 --- # 78. Heterogeneous Rendering Field 的核心定義 本篇最終定義： $$ \boxed{ HRF_t = \{ \mathcal R_t(x) : x\in\Omega_t \}. } $$ 其中： $$ \mathcal R_t(x) = ( r_t(x), d_t(x), \nu_t(x), h_t(x), v_t(x) ). $$ HRF 不只描述： > 這裡用了什麼 renderer。 它同時描述： > 用到什麼表示深度、更新頻率、歷史策略與驗證要求。 --- # 79. 核心命題集 ## P1｜No Universal Renderer $$ \boxed{ \not\exists r^* : r^* \text{ universally dominates all realization dimensions}. } $$ --- ## P2｜One Frame, Many Realizations $$ \boxed{ \text{OneFrame} \not\Rightarrow \text{OneRenderer}. } $$ --- ## P3｜One Object, Many Realizations $$ \boxed{ \text{OneObject} \not\Rightarrow \text{OneRenderer}. } $$ --- ## P4｜Obligation-Relative Substitution $$ \boxed{ r_a \equiv_{\mu} r_b } $$ 只在特定 obligation 下成立。 --- ## P5｜Composition $$ \boxed{ r_a\rightarrow r_b } $$ 可以比單一 renderer 更有價值。 --- ## P6｜Refinement $$ \boxed{ r_a \preceq_{ref} r_b } $$ 不表示 $r_b$ 在所有維度支配 $r_a$。 --- ## P7｜Reuse as Compute Asset $$ \boxed{ \text{PastValidWork} = \text{ComputeAsset}. } $$ --- ## P8｜Switching Has Cost $$ \boxed{ \text{RendererChange} \neq \text{Free}. } $$ --- ## P9｜Display Frequency Separation $$ \boxed{ f_{renderer}(x) \neq f_{display}. } $$ --- ## P10｜Local–Cloud Complementarity $$ \boxed{ \text{LocalBase} + \text{CloudSparseEnhancement} } $$ 可以是一個獨立 architecture class。 --- # 80. 結論 OSR-03 的核心不是提出另一個 renderer。 它提出的是： $$ \boxed{ \text{renderer plurality as a first-class runtime state}. } $$ 在這個框架中： Raster 不需要被淘汰。 Ray 不需要統治整幀。 Neural 不需要取代 geometry。 Cloud 不需要承擔全部 display frequency。 Reuse 不只是 optimization trick。 Semantic output 也不必被視為非渲染。 它們都可以是： $$ \boxed{ \text{different realizations of observer-relative manifestation obligations}. } $$ 因此未來的問題不再是： > Raster、Ray、Neural 到底誰贏？ 而是： > **對這個 observer、這個 scope、這個時刻、這個 deadline、這個 budget，哪一種 realization 或哪一條 composition path 最值得被使用？** 於是 rendering architecture 從： $$ \text{Renderer} \rightarrow \text{Frame} $$ 轉為： $$ \boxed{ \text{ManifestationObligation} \rightarrow \text{HeterogeneousRenderingField} \rightarrow \text{VerifiedVisibleWorld}. } $$ 而真正決定這個 field 如何隨資源、風險、不確定性與重觀察需求動態變化的，就是下一篇要引入的 APR。 --- # 81. 下一篇 # OSR-04 ## 《APR 治理的自適應渲染：感知預算、表示深度與動態重算》 下一篇將正式把： $$ APR $$ 接入： $$ HRF_t. $$ 研究： - perceptual budget； - renderer budget； - representation depth； - revisit frequency； - uncertainty-triggered rerender； - risk reserve； - marginal information value； - cloud cost； - local load； - global closure。 核心問題： $$ \boxed{ \text{When should the rendering field change?} } $$ --- # 參考資料 ## EveMissLab / OSR 1. Neo.K. *從萬能光到觀察者主權渲染：理論譜系重構與研究綱領*. OSR-00, v0.1, 2026. 2. Neo.K. *我們到底想看什麼？觀察者、目的與顯現場*. OSR-01, v0.1, 2026. 3. Neo.K. *從射線到觀察探針：廣義觀察算子與感知渲染編譯器*. OSR-02, v0.1, 2026. 4. EveMissLab. *APR — Adaptive Perceptual Reading / Agentic Perception Runtime*. https://github.com/kakon77777-commits/APR 5. EveMissLab. *PNCW — Projection-Native Computational World*. https://github.com/kakon77777-commits/PNCW 6. EveMissLab. *MRMIC/NVCL*. https://github.com/kakon77777-commits/MRMIC_NVCL ## 外部研究 7. Wang, Y.-C., Kettunen, M., Lin, D., Wyman, C., Wu, L., & Zhao, S. *Real-Time Level-of-Detail Rendering with ReSTIR*. SIGGRAPH 2026. https://research.nvidia.com/labs/rtr/publication/wang2026levelofdetail/ 8. Hong, P., Zhang, S., Lin, D., Kettunen, M., Wyman, C., & Yuksel, C. *Multi-Layer Reservoir Splatting for Temporal Reuse under Disocclusion*. SIGGRAPH 2026. https://research.nvidia.com/labs/rtr/publication/hong2026multilayer/ 9. Wu, L., Lu, H., Xu, B., Hašan, M., & Ramamoorthi, R. *8DNA: 8D Neural Asset Light Transport by Distribution Learning*. SIGGRAPH 2026. https://research.nvidia.com/labs/rtr/publication/wu20268dna/ 10. Perel, O., Abu Alhaija, H., Wang, Z., Munkberg, J., Atzmon, M., Fidler, S., & Shugrina, M. *TRON: Tracing Rays to Orchestrate a Neural Renderer for 3D Gaussian Reconstructions*. 2026. https://research.nvidia.com/labs/sil/projects/tron/ 11. NVIDIA ADLR. *DLSS 5: Generative Neural Rendering*. 2026. https://research.nvidia.com/labs/adlr/DLSS5/ 12. NVIDIA Real-Time Graphics Research. *Publications and Projects*. 2026. https://research.nvidia.com/labs/rtr/ --- # 附錄 A｜一句話版本 > **OSR-03 將 Raster、Ray、Path、Reuse、Local Neural、Cloud Neural 與 Semantic 從互相競爭的「整體 renderer」重寫成可在空間、時間、物件與表示深度上共同存在的 realization classes，並以 capability、substitution、composition、refinement、transition cost 與 Pareto frontier 決定它們如何形成一個動態異質渲染場。**