--- title: "分散式 AI 原生渲染：Local World、Cloud Intelligence 與 Temporal Reconstruction" english_title: "Distributed AI-Native Rendering: Local World, Cloud Intelligence, and Temporal Reconstruction" series: "Observer-Sovereign Rendering（OSR）" paper_id: "OSR-06" author: "Neo.K" ai_collaboration: "GPT-5.6 Sol" institution: "EveMissLab／一言諾科技有限公司" version: "v0.1" date: "2026-09-18" language: "zh-TW" document_type: "理論論文／distributed neural rendering／cloud-assisted graphics／temporal reconstruction" status: "初版完成" --- # 分散式 AI 原生渲染 ## Local World、Cloud Intelligence 與 Temporal Reconstruction # Distributed AI-Native Rendering ## Local World, Cloud Intelligence, and Temporal Reconstruction **論文編號：** OSR-06 **系列：** Observer-Sovereign Rendering（OSR）／觀察者主權渲染 **作者：** Neo.K **AI 協作：** GPT-5.6 Sol **機構：** EveMissLab／一言諾科技有限公司 **版本：** v0.1 **日期：** 2026 年 9 月 18 日 --- # 摘要 OSR-01 至 OSR-05 已建立觀察者條件化顯現、Observation Probe、Perceptual Rendering Compiler（PRC）、Heterogeneous Rendering Field（HRF）、APR-governed adaptive rendering，以及 world truth / manifestation truth 的真值防火牆。本篇處理今日最直接的工程命題： > **如果本地 GPU 的生成／神經渲染能力不足，可否把高容量 AI 放到雲端，卻仍讓遊戲世界、互動、低延遲顯示與真值權威留在本地？** 本文提出 Distributed AI-Native Rendering（DAINR）架構。與傳統 cloud gaming 將整個遊戲與 renderer 搬到遠端、再串流最終影片不同，DAINR 將系統拆成三個主要平面： $$ \boxed{ \text{Local Canonical World} + \text{Cloud Intelligence Plane} + \text{Local Temporal Reconstruction} } $$ 本地端持有 canonical world state、simulation、input loop、base renderer、authoritative geometry / motion / identity、APR controller、truth firewall、temporal cache 與 final compositor；雲端只接收經 export policy 篩選後的最小必要 carrier，執行 selected neural / multimodal appearance computation，再回傳 pixel anchor、residual、latent、material / lighting field 或其他非 canonical manifestation carrier。本地端驗證其 world revision、camera state、identity、structure、freshness 與 provenance 後，才允許 projection commit。 本文核心關係不是： $$ \text{60 FPS display} = \text{60 cloud generations/s}, $$ 而是： $$ \boxed{ f_{\mathrm{cloud}} \ll f_{\mathrm{display}}. } $$ 雲端只在高價值區域、關鍵事件、場景切換或 APR 判斷有足夠 Rendering Value of Information（RVOI）時產生高階 appearance anchor。本地端則以 motion vectors、depth、world transforms、temporal history、local neural reconstruction 與 conventional rendering，把低頻 cloud intelligence 展開成高頻顯示。 本文正式區分兩種 cloud realization。第一種是現行 general-purpose multimodal / image-generation service，可用於低頻 anchor、研究驗證與 ROI enhancement，但通常不應被放入毫秒級 blocking critical path。第二種是未來或專用的 cloud neural-render service，其 transport、模型、carrier、streaming 與 inference path 專門為 interactive graphics 最佳化。此分界避免將「現有雲端 AI 可以產生高品質圖像」錯誤等同於「現有一般 API 已適合每幀即時遊戲渲染」。 2026 年的技術進展支持本架構的多個子命題。NVIDIA DLSS 5 已將 3D-guided generative neural rendering 放在 final rendering stage，使用 engine frame、motion vectors、temporal state 與 scene attributes 保持結構、確定性與時序穩定；TRON 則使用 ray-traced PBR / irradiance condition 驅動 single-step neural renderer，在互動速度下維持 geometry、material、lighting control。雲端側，GeForce NOW 已證明高品質遊戲畫面可透過全球資料中心以低延遲串流，官方曾公布支援 1080p 360 FPS 且 click-to-pixel 可低至約 30 ms、許多支援區域 network latency 可低於 30 ms；CloudXR 文件則明確將 end-to-end latency、jitter 與 reprojection 視為關鍵診斷量。QuadStream 等研究也說明：完全影片串流與完全 client rendering 之間存在「傳送可重投影 scene representation、本地即時生成鄰近視點」的中間架構空間。 本文進一步提出 Anchor Packet、Carrier Contract、Revision Binding、Late-Result Rejection、Temporal Reconstruction Window、Disocclusion Escalation、Cloud Value Gate、Speculative Anchor、ROI Export、Latent Return、Provider Fallback、Privacy Boundary、Bandwidth / Cost Model、Local Base Invariant 與 3070 Constrained Baseline Experiment。 本篇的核心命題是： $$ \boxed{ \text{Cloud intelligence should extend local rendering authority, not replace local world authority.} } $$ 以及： $$ \boxed{ \text{Interactive neural rendering does not require remote intelligence to run at display frequency if local temporal reconstruction can preserve structure between sparse cloud anchors.} } $$ 下一篇 OSR-07 將以品質、結構、時間一致性、延遲、雲端成本、重算率、truth violation 與 user-visible quality 建立完整可反證 benchmark。 **關鍵詞：** Distributed Rendering、Cloud Neural Rendering、Temporal Reconstruction、APR、DLSS 5、TRON、Cloud Gaming、Reprojection、Latent Rendering、RTX 3070、Observer-Sovereign Rendering --- # 0. 本篇的位置 OSR-01： $$ \text{what must become manifest?} $$ OSR-02： $$ \text{how is it compiled?} $$ OSR-03： $$ \text{which renderer should realize it?} $$ OSR-04： $$ \text{when should it be recomputed?} $$ OSR-05： $$ \text{what may the result claim to be?} $$ OSR-06： $$ \boxed{ \text{where should the expensive intelligence run?} } $$ 這裡的： $$ \text{where} $$ 不只是： $$ CPU/GPU. $$ 而是： $$ \boxed{ \text{Local} \leftrightarrow \text{Cloud}. } $$ --- # 1. 傳統 Cloud Gaming 與本篇不同 傳統 cloud gaming 的簡化形式： $$ Input_{client} \rightarrow \text{CloudGame} \rightarrow \text{CloudRenderer} \rightarrow \text{EncodedVideo} \rightarrow \text{ClientDisplay}. $$ 世界模擬與 rendering 主要都在 cloud。 client 主要負責： - input； - decoding； - display； - latency compensation。 本篇研究： $$ \boxed{ \text{LocalGame} + \text{RemoteIntelligence}. } $$ 亦即： $$ \text{LocalWorld} \rightarrow \text{CloudSelectedComputation} \rightarrow \text{LocalComposition}. $$ --- # 2. 為什麼不直接 Cloud Gaming 如果目的只是： > 讓弱 GPU 玩高畫質遊戲。 Cloud gaming 已經是成熟方向。 但 OSR 的研究問題不同： 1. world state 是否可留本地； 2. simulation 是否可留本地； 3. mod / local assets 是否不需全部上傳； 4. 是否只租用 AI appearance intelligence； 5. 是否讓 cloud inference frequency 遠低於 display frequency； 6. 是否讓不同 regions 各自決定 local / cloud； 7. 是否保留本地 fallback； 8. 是否讓 cloud output 永遠不取得 world authority。 所以： $$ \boxed{ DAINR \neq \text{CloudGaming}. } $$ --- # 3. 三平面架構 本文提出： $$ \boxed{ \mathcal D = ( L, C, T ). } $$ 其中： - $L$：Local Canonical Plane； - $C$：Cloud Intelligence Plane； - $T$：Local Temporal Reconstruction Plane。 --- # 4. Local Canonical Plane 本地端至少持有： $$ L_t = ( W_t, Sim_t, Input_t, B_t^{base}, M_t, APR_t, PRC_t, Truth_t, Cache_t ). $$ 其中： - $W_t$：canonical world； - $Sim_t$：simulation； - $Input_t$：input loop； - $B_t^{base}$：base rendering buffers； - $M_t$：motion / transform state； - $APR_t$：APR controller； - $PRC_t$：Perceptual Rendering Compiler； - $Truth_t$：truth firewall； - $Cache_t$：temporal / neural cache。 --- # 5. 本地世界權威 本篇第一條 invariant： $$ \boxed{ Authority(W_t) = \text{LocalCanonical}. } $$ 第一代 MVP 不讓 cloud 持有： $$ \text{WorldWriteAuthority}. $$ Cloud 只輸出： $$ \text{ProjectionCandidate}. $$ --- # 6. 本地 Base Renderer 定義： $$ R_{base}. $$ 要求： $$ \boxed{ \text{CloudUnavailable} \Rightarrow R_{base}\text{ still produces a valid minimum manifestation.} } $$ 這是 OSR-06 最重要的 reliability invariant。 --- # 7. Base Renderer 不必漂亮 它只需滿足： $$ \text{MinimumManifestation}. $$ 可以是： - raster； - PBR； - low ray budget； - lower resolution； - lower material complexity。 Cloud enhancement 負責： $$ \text{PreferredAppearance}. $$ --- # 8. Cloud Intelligence Plane 雲端： $$ C_t = ( Model_t, Context_t, Inference_t, Provider_t, Return_t ). $$ 它可以提供： - neural appearance； - material enhancement； - relighting； - semantic detail； - high-capacity reconstruction； - latent anchor； - object-local enhancement。 --- # 9. Cloud 不需要知道完整世界 本篇原則： $$ \boxed{ \text{Minimum Necessary Export}. } $$ 不是： $$ Upload(W_t). $$ 而是： $$ X_t^{cloud} = Extract( W_t, \Omega, \text{Contract}, \text{ExportPolicy} ). $$ --- # 10. Export Package 定義： $$ \boxed{ X_t = ( R_t, G_t, D_t, N_t, V_t, M_t, S_t, H_t, C_t, P_t ). } $$ 可能包含： - $R_t$：rough / base RGB； - $G_t$：geometry proxy； - $D_t$：depth； - $N_t$：normal； - $V_t$：motion vector； - $M_t$：material carrier； - $S_t$：semantic mask / class； - $H_t$：temporal history subset； - $C_t$：artistic / observer controls； - $P_t$：provenance / preservation contract。 實際 backend 不必需要全部。 --- # 11. Minimum Carrier Selection Compiler 求： $$ \boxed{ X_t^* = \arg\min_X Size(X) } $$ subject to： $$ Quality(X)\ge\tau_Q, $$ $$ Structure(X)\ge\tau_S, $$ $$ Privacy(X)=\text{PASS}. $$ --- # 12. ROI Export 若只需要角色臉： $$ \Omega=\Omega_{face}. $$ 不應傳整幀： $$ Frame_{4K}. $$ 而是： $$ \text{Crop} + \text{Depth} + \text{Motion} + \text{Mask} + \text{Context}. $$ 所以： $$ \boxed{ \text{CloudScope} \subseteq \text{DisplayScope}. } $$ 通常成立。 --- # 13. Context Halo 純 crop 可能不足。 因此定義： $$ \Omega_{export} = \Omega_{target} \oplus Halo(r). $$ Halo 提供： - lighting context； - local geometry； - nearby color； - motion boundary。 但： $$ r $$ 應受 privacy / bandwidth budget 約束。 --- # 14. Semantic-Minimal Export 某些 cloud task 不需要 raw pixel。 例如： $$ \text{MaterialEnhancement} $$ 可以只傳： - material class； - normal； - lighting； - latent。 如果可行： $$ PixelExport=0. $$ 這可能更省頻寬，也更保護內容。 --- # 15. Cloud Return Classes Cloud 不必永遠回 RGB。 定義： $$ Y_t \in \{ I_t^{anchor}, \Delta I_t, Z_t, L_t, M_t', S_t' \}. $$ 其中： - $I_t^{anchor}$：完整／局部 pixel anchor； - $\Delta I_t$：appearance residual； - $Z_t$：latent carrier； - $L_t$：lighting field； - $M_t'$：material representation； - $S_t'$：semantic enhancement。 --- # 16. Pixel Anchor 最直觀： $$ Y_t = I_t^{anchor}. $$ 優點： - 容易 prototype； - 不需 shared decoder。 缺點： - bandwidth 高； - temporal reuse 困難； - local editability 低。 --- # 17. Residual Return Cloud 回： $$ \Delta I_t = I_t^{cloud} - I_t^{base}. $$ 本地： $$ I_t = I_t^{base} + \Delta I_t. $$ 優點： - 強調 enhancement； - base fallback 自然存在。 --- # 18. Latent Return Cloud 回： $$ Z_t. $$ 本地： $$ I_t = D_{local}( Z_t, G_t, D_t, V_t ). $$ 可能降低： $$ \text{Bandwidth}. $$ 但需要： - shared decoder； - version binding； - latent compatibility； - local compute。 --- # 19. Material / Lighting Return 更進一步： $$ Y_t = ( \text{MaterialLatent}, \text{LightingLatent} ). $$ 本地仍負責 final shading / decode。 這最接近： > cloud 理解世界應該「長什麼樣」， > local GPU 負責高速展開。 --- # 20. 第一代 Prototype 不應先做 Latent 雖然 latent architecture 很漂亮， MVP 第一版應優先： $$ \boxed{ PixelAnchor/Residual. } $$ 因為最容易驗證： - quality； - latency； - cost； - temporal consistency。 等 proof-of-concept 成立，再做 latent。 --- # 21. General Cloud Model 與 Dedicated Neural Renderer 本文正式分成： $$ C_{general} $$ 與： $$ C_{render}. $$ --- # 22. General Cloud Model 例如 general multimodal / image generation service。 其優點： - 可立即實驗； - visual prior 強； - 不需訓練專用 model。 缺點通常包括： - latency 高； - nondeterministic； - API rate limit； - non-streaming； - cost； - weak temporal contract。 所以： $$ \boxed{ C_{general} } $$ 適合： - anchor； - scene transition； - ROI enhancement； - offline benchmark； - appearance experiment。 --- # 23. Dedicated Cloud Neural Renderer $$ C_{render}. $$ 其理想特性： - persistent session； - engine carrier input； - low-step / single-step inference； - low jitter； - region API； - latent API； - temporal state； - deterministic mode； - bounded latency； - streaming transport。 這才可能進入： $$ \text{interactive critical path}. $$ --- # 24. 不把當代 API 能力當理論前提 OSR-06 的成立條件不是： > 2026 一般 API 已經能每 16 ms 回一張 4K 圖。 不需要。 本篇只要求： $$ \boxed{ \exists\ \text{remote high-capacity appearance computation} } $$ 而其更新頻率可以低於 display frequency。 --- # 25. Display Frequency 與 Intelligence Frequency 分離 核心： $$ \boxed{ f_C \ll f_D. } $$ 其中： - $f_C$：cloud intelligence update frequency； - $f_D$：display frequency。 例如： $$ f_D=60\text{--}144Hz, $$ 而： $$ f_C=0.2\text{--}10Hz $$ 在不同 backend / task 下皆可能成立。 這些數字是 architecture examples，不是普遍保證。 --- # 26. Anchor 定義 cloud anchor： $$ A_k = ( Y_{t_k}, WorldRevision_{t_k}, Camera_{t_k}, Contract_{t_k} ). $$ anchor 只對特定： - world revision； - camera neighborhood； - object state； - truth contract； 有效。 --- # 27. Anchor Interval $$ \Delta t_A = t_{k+1}-t_k. $$ APR 動態決定： $$ \Delta t_A. $$ 穩定場景： $$ \Delta t_A\uparrow. $$ 高動態： $$ \Delta t_A\downarrow. $$ --- # 28. Anchor 不是 Frame Cloud anchor 可以服務： $$ n>1 $$ 個 display frames。 因此： $$ \boxed{ 1\ CloudAnchor \rightarrow \text{ManyLocalFrames}. } $$ --- # 29. Local Temporal Reconstruction Plane 本地： $$ T_t = ( \text{Depth}, \text{Motion}, \text{Transforms}, \text{History}, \text{Anchor}, \text{LocalModel} ). $$ 輸出： $$ F_t. $$ --- # 30. 最小 Temporal Reconstruction 最簡： $$ F_{t+1} = Warp( A_k, D_t, V_t, Camera_t ). $$ 再與： $$ R_{base}(W_{t+1}) $$ 融合。 --- # 31. Base-Guided Reconstruction 比較安全： $$ \boxed{ F_t = Blend( B_t^{base}, Warp(A_k), Confidence_t ). } $$ 如果 warp confidence 低： $$ B_t^{base} $$ 權重提高。 --- # 32. Local Neural Reconstruction 可加入： $$ R_{localN}. $$ 輸入： - base； - warped anchor； - motion； - depth； - history。 輸出： $$ F_t^{refined}. $$ 這是 3070 可以負責的較小工作。 --- # 33. 3070 的角色 RTX 3070 不需要跑大型 cloud model。 它可以負責： - base raster； - limited ray； - motion vector； - depth； - temporal warp； - lightweight neural； - final composition； - verification。 所以： $$ \boxed{ 3070 = Thin-but-Authoritative Renderer. } $$ --- # 34. 為什麼舊 GPU 反而適合作研究條件 如果本地 GPU 太強， cloud augmentation 的必要性下降。 3070 可以刻意形成： $$ B_{local} 回來時世界已經變了。 所以： $$ \boxed{ \text{Late} \neq \text{Useful}. } $$ 如果： $$ WorldRevision_t - WorldRevision_{request} > \tau_R, $$ response 不進 visible commit。 --- # 39. Late Result 不一定完全丟棄 如果 output 是： - material latent； - static background； - asset-local knowledge； 仍可進： $$ \text{FutureCache}. $$ 所以： $$ LateVisible=0 $$ 不一定： $$ ReuseValue=0. $$ --- # 40. Camera Cut 如果： $$ CameraCut=1, $$ temporal history 通常： $$ \text{Invalidate}. $$ 此時： $$ \text{BaseRenderer} $$ 先接管。 Cloud anchor 可 asynchronous rebuild。 --- # 41. Teleport / Scene Transition 同理： $$ FullRefreshGate=1. $$ 不要試圖 warp 舊 anchor。 --- # 42. Disocclusion temporal reconstruction 最難問題之一： $$ \text{PreviouslyHidden} \rightarrow \text{Visible}. $$ 舊 anchor 沒有該 pixel。 因此： $$ \text{DisocclusionMask}. $$ --- # 43. Disocclusion Policy 對 disoccluded region： 1. local base fill； 2. local neural refine； 3. APR 評估是否值得 cloud refresh； 4. 不可用舊 anchor hallucinate canonical structure。 --- # 44. Multi-Layer History 可保留多層 history： $$ H_t^{(1)}, H_t^{(2)}, \ldots. $$ 先前被遮蔽 content 可能在後續重新可用。 這與 multi-layer temporal reuse 的研究方向一致。 --- # 45. Temporal Confidence Field 定義： $$ C_T(x,t) \in [0,1]. $$ 由： - motion confidence； - depth confidence； - disocclusion； - age； - world delta； - identity； 決定。 --- # 46. Composition Weight $$ F_t(x) = C_T(x,t)A_t^{warp}(x) + ( 1-C_T(x,t) ) B_t^{base}(x). $$ 只是第一代形式。 實際可由 learned compositor 取代。 --- # 47. Temporal Drift 即使每一幀看起來合理， 長時間 warp 可能： $$ Drift\uparrow. $$ 所以 anchor 必須定期刷新。 --- # 48. Drift Trigger 定義： $$ D_t = D( F_t, Reference_t ). $$ 若： $$ D_t>\tau_D, $$ APR trigger： $$ \text{NewAnchor}. $$ Reference 可以是： - base structural； - local verifier； - occasional fresh cloud； - ray reference。 --- # 49. Cloud Value Gate 不是所有 scope 都上雲。 定義： $$ \boxed{ CVG(x) = RVOI_{cloud}(x) - C_{cloud}(x) - TR_{cloud}(x). } $$ 若： $$ CVG(x)>0, $$ 才成為候選。 --- # 50. Cloud Cost $$ C_{cloud} = C_{api} + C_{network} + C_{latency} + C_{serialization} + C_{verification} + C_{failure}. $$ 不能只看 API 美元。 --- # 51. Cloud Risk $$ TR_{cloud} $$ 包含： - truth risk； - privacy； - nondeterminism； - provider drift； - unavailable revision； - outage； - jitter。 --- # 52. Cloud Benefit $$ B_{cloud} = \Delta Quality + \Delta TaskUtility + \Delta Appearance. $$ Cloud selection： $$ B_{cloud} > C_{cloud}+TR_{cloud}. $$ --- # 53. Speculative Anchor 如果 APR 預測： $$ P(Need(x,t+\Delta))>p_s, $$ 可提前 request。 例如： - 玩家朝新房間移動； - cutscene 即將開始； - NPC 對話將進 close-up。 --- # 54. Speculative Waste 若預測錯： $$ C_{waste}. $$ 所以： $$ B^{spec} $$ 必須有限。 --- # 55. Prefetch Window 定義： $$ T_{prefetch}. $$ 如果預測事件距離： $$ \Delta t $$ 大於 cloud latency p95， 可以提前送出。 --- # 56. Cloud Latency Distribution 不是只看平均： $$ L_{mean}. $$ 應看： $$ P50, P95, P99. $$ 因為 jitter 直接影響 temporal system。 --- # 57. GeForce NOW 的外部意義 GeForce NOW 已展示 cloud rendering 在良好網路條件下可以進入低延遲互動域；NVIDIA 曾公布 Blackwell GeForce NOW 支援 1080p 360 FPS、click-to-pixel 最低約 30 ms，且許多支援區域 network latency 可低於 30 ms。 這不能直接證明 general AI image API 也有相同 latency。 它只證明： $$ \boxed{ \text{low-latency remote graphics transport is physically and operationally achievable under controlled infrastructure}. } $$ --- # 58. CloudXR 的外部意義 CloudXR 文件將： - end-to-end latency； - upload； - receive； - dejitter buffer； - display submission； - p90/p95/p99 jitter； 列為主要診斷量。 因此 OSR-06 把： $$ \text{Jitter} $$ 視為一等資源狀態，而不是只看 bandwidth。 --- # 59. QuadStream 的外部意義 QuadStream 指出 cloud rendering 架構並非只有： $$ \text{VideoStreaming} $$ 與： $$ \text{FullClientRendering} $$ 兩極。 它透過傳送近似 scene representation，讓 client 可在本地生成 nearby novel views，以降低 motion-to-photon latency 並處理 disocclusion。 其 OSR 意義： $$ \boxed{ \text{remote rendering can transmit reusable representation rather than final video only}. } $$ 這正支持 latent / anchor / carrier architecture。 --- # 60. Bandwidth Model 若 pixel anchor： $$ B_{pix} = \text{Resolution} \times \text{Channels} \times \text{Bytes} \times f_C. $$ 壓縮後： $$ B_{codec}. $$ Latent： $$ B_{latent} = |Z| \times f_C. $$ ROI： $$ B_{ROI} \ll B_{full} $$ 在適當場景成立。 --- # 61. 不追求固定格式 Carrier format 應由 backend capability negotiation 決定。 例如： $$ \text{pixel} $$ $$ \text{latent} $$ $$ \text{material} $$ $$ \text{residual}. $$ OSR core 不固定。 --- # 62. Carrier Version 每個 carrier： $$ \text{CarrierVersion}. $$ Local decoder / compositor 必須確認相容。 --- # 63. Model–Decoder Binding 若 cloud model： $$ M_v $$ 回 latent， 本地 decoder： $$ D_v $$ 必須相容。 所以： $$ \boxed{ \text{LatentContract} = (ModelRevision,DecoderRevision,CarrierSchema). } $$ --- # 64. Model Update Provider 更新 model： $$ M_v\rightarrow M_{v+1}. $$ 若 latent schema 變： $$ Compile/Rebind. $$ 不能 silent reuse 舊 decoder。 --- # 65. Pixel Return 相對穩健 因為： $$ PNG/RGB $$ contract 較穩。 所以第一代 external cloud prototype 應以 pixel / residual 為主。 --- # 66. Privacy Boundary OSR-05 已有 export authority。 本篇增加： $$ \boxed{ ExportMask_t(x). } $$ 只有： $$ ExportMask=ALLOW $$ 的 region 才可上雲。 --- # 67. Sensitive Region 例如： - unreleased asset； - chat message； - personal info； - secret UI； - local file； - face； - account identifier。 可以： $$ ExportMask=DENY. $$ --- # 68. Redaction 若 cloud 只需要 lighting context， 可以對 sensitive content： $$ \text{Redact}. $$ 傳： - depth； - mask； - anonymous material； - low-detail proxy。 --- # 69. Semantic Leakage 即使不傳 RGB， semantic labels 也可能敏感。 所以 privacy 不只是： $$ \text{PixelPrivacy}. $$ 還包括： $$ \text{SemanticPrivacy}. $$ --- # 70. Export Receipt 每次 cloud call 記： - scope； - carrier classes； - byte count； - provider； - model； - source revision； - privacy policy revision； - request hash。 不保存 secret token。 --- # 71. Provider Failure 若： $$ \text{Timeout}, 5xx, \text{Quota}, \text{NetworkDown}, \text{InvalidOutput}, \text{VerificationFail}, $$ 則： $$ \text{Fallback}. $$ --- # 72. No Automatic World Retry Cloud retry 可能造成： - duplicate cost； - late output； - state mismatch。 所以 first MVP 可以： $$ Retry=0 $$ 預設。 再由 APR 決定是否重新發 request。 --- # 73. Request Identity 每個 cloud request： $$ RID = Hash( \text{WorldRevision}, \text{Scope}, \text{Camera}, \text{Contract}, \text{BackendRevision} ). $$ 避免同一 request 重複 commit。 --- # 74. Idempotent Commit 同一： $$ RID $$ 只能 commit 一次。 Late duplicate： $$ \text{Ignore}. $$ --- # 75. Provider A/B OSR-06 可支援： $$ Provider_A, Provider_B. $$ 但不要在 critical frame 同時雙 call，除非 benchmark。 APR 根據： - latency； - quality； - price； - availability； 選擇。 --- # 76. Provider Neutrality PRC 只看到： $$ \text{CapabilityDescriptor}. $$ 不是 provider brand。 所以： $$ \boxed{ \text{CloudPlane} \perp \text{VendorIdentity}. } $$ --- # 77. Cloud Result Verification 至少： $$ V_{struct}, V_{identity}, V_{temporal}, V_{truth}. $$ 高價值 region 才需要全部。 --- # 78. Local Structural Verifier 因為 canonical geometry 在本地， 最適合由本地驗證： - silhouette； - object count； - pose； - ID； - depth relation。 不需要再問 cloud： > 你有沒有畫對？ --- # 79. Cloud Self-Verification 不足 同一 model 說： > 我畫對了。 不構成獨立 verification。 所以： $$ \boxed{ \text{Generator} \neq \text{IndependentVerifier} } $$ 是 preferred architecture。 --- # 80. Final Compositor 所有 output 最後： $$ Compositor( \text{Base}, \text{Cloud}, \text{LocalNeural}, \text{Semantic}, UI ). $$ Compositor 仍由 local control。 --- # 81. Commit Priority 順序可以： 1. mandatory safety； 2. base world； 3. verified local enhancement； 4. verified cloud enhancement； 5. optional decorative late result。 --- # 82. Late Upgrade Cloud output 回來晚， 但仍在相容 window： $$ \text{LateUpgrade}. $$ 可以： - blend in； - next frame； - next shot； - cache only。 --- # 83. 不允許整幀突變 若 cloud output 與 base 差異： $$ D>\tau_{pop}, $$ 使用： - blend； - masked transition； - next scene cut； - reject。 --- # 84. Local Temporal Window 定義： $$ H_t = \{ F_{t-k},\ldots,F_t \}. $$ history 長度： $$ k $$ 由： - VRAM； - motion； - backend； - drift； 決定。 --- # 85. Short History vs Long History short： - latency 低； - memory 低。 long： - temporal context 多； - VRAM 高； - stale risk 高。 APR 選： $$ h_t. $$ --- # 86. Cloud Statefulness Cloud backend 也可以有 session state： $$ S_C. $$ 例如保存： - scene appearance； - object latent； - material identity。 但： $$ S_C $$ 不是 canonical world。 --- # 87. Cloud Session Loss 若 session 掛掉， local world 完整。 只失去： $$ \text{appearance acceleration}. $$ 所以： $$ \boxed{ \text{CloudStateLoss} \not\Rightarrow \text{WorldStateLoss}. } $$ --- # 88. Cloud Cache 可以 cache： $$ AssetAppearance(asset,condition). $$ 例如角色皮膚、特定材質。 如果 camera / lighting 接近： $$ \text{ReuseCloudAsset}. $$ --- # 89. Cross-Scene Reuse 某些 material latent 可跨 scene。 但必須綁： - asset version； - material version； - model revision。 --- # 90. Cost Amortization 一次 cloud inference： $$ C_A. $$ 若可供： $$ N $$ 幀／多視角 reuse， 平均成本： $$ \bar C = \frac{C_A}{N}. $$ 這是 DAINR 成本優勢關鍵之一。 --- # 91. Anchor Value 定義： $$ AV(A_k) = \frac{ UtilityOverLifetime(A_k) }{ Cost(A_k) }. $$ APR 應追求高： $$ AV. $$ 而非多 cloud call。 --- # 92. Cloud Call Efficiency OSR-04 已有： $$ CCE. $$ 本篇具體化： $$ \boxed{ CCE = \frac{ \text{CommittedUsefulCloudAnchors} }{ \text{AllCloudRequests} }. } $$ --- # 93. Anchor Lifetime $$ T_A = t_{invalid}-t_{commit}. $$ 理想： $$ T_A\uparrow $$ 而不是 cloud request frequency ↑。 --- # 94. Local Reconstruction Ratio 定義： $$ \boxed{ LRR = \frac{ \text{DisplayFramesProducedWithoutFreshCloudInference} }{ \text{DisplayFrames} }. } $$ DAINR 應有高： $$ LRR. $$ --- # 95. Cloud Dependency Ratio $$ CDR = \frac{ \text{FramesWhoseMinimumManifestationRequiresCloud} }{ \text{Frames} }. $$ 第一代 OSR 目標： $$ \boxed{ CDR\approx0. } $$ cloud 用於 preferred enhancement。 --- # 96. First-Mile / Last-Mile Thinking 傳統 cloud gaming： $$ \text{Cloud} \rightarrow \text{FinalVideo}. $$ DAINR： $$ \text{Local} \rightarrow \text{MeaningfulCarrier} \rightarrow \text{CloudIntelligence} \rightarrow \text{ReusableCarrier} \rightarrow \text{LocalDisplay}. $$ 這是雙向中間表示交換。 --- # 97. Cloud Intelligence as Remote Operator 可以抽象： $$ \boxed{ \mathcal N_C: K_{local} \rightarrow K_{appearance}. } $$ 它不是遠端 framebuffer。 而是遠端 appearance operator。 --- # 98. Distributed Rendering Algebra 整體： $$ F_t = R_L( W_t ) \oplus T_L( \mathcal N_C( X_{t_k} ), H_t, W_t ). $$ 其中： - $R_L$：local baseline； - $\mathcal N_C$：cloud intelligence； - $T_L$：local temporal reconstruction； - $\oplus$：governed composition。 --- # 99. APR 決定何時呼叫 Cloud $$ \text{CallCloud}(x) = 1 $$ 當： $$ RVOI_{cloud} > C_{cloud} + TR_{cloud} $$ 且： $$ \text{ExportAllowed}=1. $$ --- # 100. APR 決定 Cloud Depth Cloud 也不是只有： $$ ON/OFF. $$ 可以： $$ d_C \in \{ \text{low}, \text{medium}, \text{high} \}. $$ 例如： - 512 ROI； - 1K ROI； - full-frame anchor； - latent only。 --- # 101. APR 決定 Cloud Frequency $$ \nu_C(x) = f( \text{motion}, \text{risk}, \text{goal}, \text{drift}, \text{cost}, \text{latency} ). $$ 這就是： $$ \boxed{ \text{Cloud Intelligence Budgeting.} } $$ --- # 102. 3070 Baseline Experiment 第一代硬體： $$ RTX3070. $$ 目標不是： > 證明 3070 變成 RTX 5090。 而是： $$ \boxed{ \text{Can sparse cloud intelligence increase visual utility beyond the local 3070 rendering budget?} } $$ --- # 103. Baseline A $$ A= \text{LocalRaster}. $$ 量： - FPS； - quality； - GPU time。 --- # 104. Baseline B $$ B= \text{LocalRaster} + \text{LocalNeural}. $$ --- # 105. Baseline C $$ C= \text{NaiveCloud}. $$ 例如每個 keyframe 都完整 cloud。 預期： - quality 高； - latency / cost 差。 這是正確失敗 baseline。 --- # 106. System D $$ D= APR + \text{ROICloudAnchor} + \text{LocalTemporal}. $$ --- # 107. System E $$ E= APR + \text{CloudResidual/Latent} + \text{LocalTemporal} + \text{TruthVerification}. $$ 後期版本。 --- # 108. 第一個場景 靜態房間 + 角色。 測： - face cloud enhancement； - background reuse； - camera orbit； - lighting change。 --- # 109. 第二個場景 高速角色移動。 測： - motion； - anchor invalidation； - local fallback。 --- # 110. 第三個場景 camera cut / teleport。 測： $$ \text{FullRefresh}. $$ --- # 111. 第四個場景 network jitter / outage。 測： $$ \text{CloudFailure} \Rightarrow \text{BaseContinues}. $$ --- # 112. 第五個場景 敏感 UI / private texture。 測： $$ \text{ExportMask}. $$ --- # 113. 第六個場景 Cloud hallucination injection。 故意讓 cloud： - 改 object； - 改 face； - 增加物件。 測： $$ \text{TruthFirewall}. $$ --- # 114. 指標 至少： $$ Q = \text{VisualQuality}. $$ $$ S = \text{StructuralFidelity}. $$ $$ T = \text{TemporalConsistency}. $$ $$ L = \text{PerceivedLatency}. $$ $$ C = \text{CloudCost}. $$ $$ B = \text{Bandwidth}. $$ $$ P = \text{ProvenanceCompleteness}. $$ $$ W = \text{WorldViolationRate}. $$ --- # 115. Anchor Metrics $$ \text{AnchorRate}, $$ $$ \text{AnchorLifetime}, $$ $$ \text{AnchorReuseCount}, $$ $$ \text{AnchorWasteRate}. $$ --- # 116. Network Metrics $$ RTT, P95, P99, \text{Jitter}, \text{BytesUp}, \text{BytesDown}. $$ --- # 117. Local Metrics $$ \text{GPUTime}, VRAM, \text{LocalDecodeTime}, \text{WarpTime}, \text{VerifierTime}. $$ --- # 118. User-Visible Metrics $$ \text{PopRate}, \text{FlickerRate}, \text{DriftRate}, \text{FallbackVisibility}. $$ --- # 119. Cloud Cost per Useful Second 定義： $$ \boxed{ CUS = \frac{ \text{CloudCost} }{ \text{SecondsOfCommittedEnhancedDisplay} }. } $$ 比單純： $$ \text{CostPerCall} $$ 更有意義。 --- # 120. Bandwidth per Useful Enhancement $$ BUE = \frac{ \text{TransferredBytes} }{ \text{CommittedQualityGain} }. $$ --- # 121. Research Hypotheses ## H1｜Sparse Cloud Beats Naive Cloud $$ C_{APR-cloud} < C_{naive-cloud} $$ 且： $$ Q_{APR-cloud} \approx Q_{naive-cloud} $$ 在部分場景成立。 --- ## H2｜Cloud Frequency Can Be Lower Than Display Frequency 存在場景： $$ f_C \ll f_D $$ 而： $$ T\ge\tau_T, Q\ge\tau_Q. $$ --- ## H3｜Local World Authority Improves Robustness network failure 時： $$ \text{TaskContinuity}_{local-world} > \text{TaskContinuity}_{cloud-world}. $$ --- ## H4｜Structured Carriers Improve Neural Fidelity 相較 RGB-only： $$ RGB+\text{Depth}+\text{Motion}+\text{Mask} $$ 應降低 structural / temporal violations。 --- ## H5｜ROI Export Reduces Cost $$ \text{Bytes}_{ROI} < \text{Bytes}_{full} $$ 且 target quality 不顯著下降。 --- ## H6｜Local Verification Contains Cloud Hallucination $$ \text{WorldViolationCommitRate} $$ 應低於無 verification system。 --- ## H7｜Cloud Anchors Amortize 對穩定／中等動態場景： $$ AnchorReuseCount>1. $$ --- # 122. 可反證條件 ## F1｜Cloud Latency Too High 若所有 cloud result 都在 usefulness window 後才返回： $$ CloudValue\rightarrow0. $$ 則 general cloud model 只能做 offline / precompute。 ## F2｜Temporal Reconstruction Quality Insufficient 若： $$ f_C\ll f_D $$ 導致嚴重 drift / pop， 必須提高 cloud frequency 或改 dedicated model。 ## F3｜Carrier Bandwidth Too High 若傳： $$ Depth+Motion+Normal+RGB $$ 成本接近 full video cloud gaming， 架構收益下降。 ## F4｜Verification Cost Erases Gain 若 local verifier 比 cloud gain 更昂貴， 需降低 verification granularity 或改模型。 ## F5｜General Model Cannot Respect Structure 若 general cloud model 持續破壞 identity / geometry， 它不適合作 interactive enhancement，只能作研究 baseline。 ## F6｜3070 Local Reconstruction Too Heavy 若 thin-client local tasks 本身把 3070 壓滿， 需更輕 compositor / decoder。 ## F7｜Provider Drift Breaks Reproducibility 若 opaque provider model update 造成不可控外觀改變， production 路線需要 dedicated / pinned model。 --- # 123. 第一代 General Cloud MVP 的誠實定位 第一版可以接受： $$ L_{cloud} = \text{seconds}. $$ 只要用途是： - scene anchor； - static ROI； - before/after benchmark； - appearance reference。 它仍然可以驗證： $$ \boxed{ \text{architecture semantics}. } $$ --- # 124. 第二代 Interactive Cloud MVP 需要： $$ L_{cloud} \ll 1s $$ 且： - persistent connection； - region carrier； - temporal state； - low jitter。 這可能需要 self-host / specialized service。 --- # 125. 第三代 Dedicated Renderer 最終： $$ \text{single-step} $$ 或少步數 neural renderer， 在 remote GPU 上專用執行。 此時才真正接近： $$ \text{real-time\ DAINR}. $$ --- # 126. 不把三代混成一個 Claim 本篇明確： $$ \boxed{ \text{PrototypeFeasibility} \neq \text{ProductionLatencyFeasibility}. } $$ 第一代成功不能自動宣稱： > 已可商業即時遊戲部署。 --- # 127. 與 DLSS 5 的核心差異 DLSS 5： $$ \text{LocalEngine} + \text{LocalRTX50NeuralRenderer}. $$ DAINR： $$ \text{LocalEngine} + \text{RemoteNeuralIntelligence} + \text{LocalTemporalReconstruction}. $$ 兩者共享： - 3D grounding； - motion； - temporal stability； - artist control。 但 execution location 不同。 --- # 128. 與 GeForce NOW 的核心差異 GeForce NOW： $$ \text{CloudGame} + \text{CloudRenderer} + \text{VideoStream}. $$ DAINR： $$ \text{LocalGame} + \text{LocalBaseRenderer} + \text{CloudSelectiveIntelligence}. $$ --- # 129. 與 QuadStream 的關係 QuadStream： $$ \text{CloudSceneRepresentation} \rightarrow \text{ClientNovelView}. $$ DAINR： $$ \text{LocalWorldCarrier} \rightarrow \text{CloudAppearanceOperator} \rightarrow \text{LocalTemporalView}. $$ 方向不同， 但都證明： $$ \boxed{ \text{final video is not the only useful network boundary}. } $$ --- # 130. 與 Edge AI 的關係 如果 local NPU / GPU 未來更強： $$ CloudNeed\downarrow. $$ DAINR 不會失效。 Cloud plane 可以逐步被 local backend 取代。 因為 OSR 已有： $$ \text{Probe} \neq \text{Backend}. $$ --- # 131. Cloud 是可替換 Backend 今天： $$ \text{CloudNeural}. $$ 未來： $$ \text{LocalNeural}. $$ 只要兩者： $$ \equiv_{\mu} $$ 對同一 obligation 可替代。 所以 DAINR 是 transition-friendly architecture。 --- # 132. 模型變強時 OSR compiler 自動把： $$ r_{cloud} \rightarrow r_{local} $$ 如果： $$ Cost_{local} 畫質變好到底是哪層造成？ --- # 151. 第一代 Acceptance Criteria 至少： 1. 沒網路仍可運作； 2. cloud result 不能直接修改 world； 3. stale response 會被拒絕； 4. ROI cloud 能正常 compositing； 5. camera cut 會 invalid history； 6. cloud call frequency 低於 display frequency； 7. local temporal frame 可在 anchors 間生成； 8. verification fail 會 fallback； 9. export-denied region 不上雲； 10. 每次 cloud commit 有 receipt。 --- # 152. 第二代 Acceptance Criteria 加入： - latent carrier； - persistent cloud session； - dedicated neural renderer； - p95 latency； - anchor prediction； - multi-provider。 --- # 153. 第三代 Acceptance Criteria 真正 interactive： $$ \text{UserPerceivedQuality} $$ 在： $$ 60+ FPS $$ 顯示下維持， 而 cloud inference： $$ f_C 一台遠端顯示卡，每幀替你畫完整畫面， OSR-06 很快就會退化成 cloud gaming。 如果把它想成： > 每秒呼叫 60 次圖片生成 API， 則 latency、jitter、成本與 temporal consistency 幾乎一定成為第一代系統的主要障礙。 本篇提出第三條路： $$ \boxed{ \text{Local World} + \text{Sparse Cloud Intelligence} + \text{Local Temporal Reconstruction}. } $$ 世界仍然在本地持續運作。 輸入仍然在本地低延遲閉環。 base renderer 永遠存在。 APR 只在： $$ RVOI_{cloud} > Cost+Risk $$ 時，才把一小部分顯現問題送到遠端。 Cloud 不必每幀知道整個世界。 它只需要對某些高價值 scope 回傳： - anchor； - residual； - latent； - material； - lighting； 本地再使用： - canonical geometry； - motion； - depth； - history； - local neural； 把這些低頻 appearance intelligence 展開成高頻 display。 因此，一張 RTX 3070 在這個架構中不再只是： > 「跑不動下一代 neural renderer 的舊 GPU」。 它可以被重新定位為： $$ \boxed{ \text{authoritative local world renderer and temporal reconstruction node}. } $$ 而雲端模型則成為： $$ \boxed{ \text{remote high-capacity appearance operator}. } $$ 兩者並不競爭同一個角色。 這也說明為什麼本篇不需要等到「雲端 AI 16 ms 生成 4K frame」才有研究價值。 第一代即使只做到： $$ 1\ anchor / several\ seconds $$ 只要它能證明： $$ Quality_{local+cloud} > Quality_{local} $$ 同時： $$ \text{CloudFrequency} \ll \text{DisplayFrequency}, $$ 並且： $$ \text{WorldAuthority} = \text{Local}, $$ 就已經證明了一個不同於 cloud gaming 與 local-only neural rendering 的架構類。 因此本篇的最終命題是： $$ \boxed{ \text{The cloud does not need to render every frame to contribute intelligence to every frame.} } $$ --- # 156. 下一篇 # OSR-07 ## 《可反證的觀察者渲染：品質、延遲、成本、一致性與結構保真》 下一篇將完成 OSR 第一卷理論閉包。 它會建立： - benchmark； - baseline； - ablation； - quality metrics； - structural fidelity； - temporal consistency； - latency； - cloud cost； - bandwidth； - truth violations； - RVOI； - render avoidance； - anchor efficiency； - human evaluation； - falsification criteria。 最終回答： $$ \boxed{ \text{OSR 到底如何被證明有用，或被證明沒有用？} } $$ --- # 參考資料 ## EveMissLab / OSR 1. Neo.K. *從萬能光到觀察者主權渲染：理論譜系重構與研究綱領*. OSR-00, v0.1, 2026. 2. Neo.K. *我們到底想看什麼？觀察者、目的與顯現場*. OSR-01, v0.1, 2026. 3. Neo.K. *從射線到觀察探針：廣義觀察算子與感知渲染編譯器*. OSR-02, v0.1, 2026. 4. Neo.K. *異質渲染場：Raster、Ray、Neural、Semantic 與 Reuse 的統一選擇*. OSR-03, v0.1, 2026. 5. Neo.K. *APR 治理的自適應渲染：感知預算、表示深度與動態重算*. OSR-04, v0.1, 2026. 6. Neo.K. *世界真值與顯現真值：生成式渲染中的一致性、幻覺與表示主權*. OSR-05, v0.1, 2026. 7. EveMissLab. *APR — Adaptive Perceptual Reading / Agentic Perception Runtime*. https://github.com/kakon77777-commits/APR 8. EveMissLab. *MRMIC/NVCL*. https://github.com/kakon77777-commits/MRMIC_NVCL 9. EveMissLab. *PNCW — Projection-Native Computational World*. https://github.com/kakon77777-commits/PNCW ## 外部研究與官方技術資料 10. NVIDIA ADLR. *DLSS 5: Generative Neural Rendering*. Published 2026-09-01. https://research.nvidia.com/labs/adlr/DLSS5/ 11. NVIDIA GeForce. *DLSS 5 3D-Guided Neural Rendering Debuts in NBA 2K27*. 2026. https://www.nvidia.com/en-us/geforce/news/dlss-5-3d-guided-neural-rendering/ 12. Perel, O., Abu Alhaija, H., Wang, Z., Munkberg, J., Atzmon, M., Fidler, S., & Shugrina, M. *TRON: Tracing Rays to Orchestrate a Neural Renderer for 3D Gaussian Reconstructions*. arXiv:2606.11314, 2026. https://research.nvidia.com/labs/sil/projects/tron/ 13. NVIDIA. *NVIDIA Blackwell Architecture Comes to GeForce NOW*. https://nvidianews.nvidia.com/news/nvidia-blackwell-architecture-comes-to-geforce-now 14. NVIDIA. *GeForce NOW at CES 2026*. https://blogs.nvidia.com/blog/geforce-now-ces-2026/ 15. NVIDIA CloudXR SDK. *Network Setup*. https://docs.nvidia.com/cloudxr-sdk/latest/requirement/network_setup.html 16. Zhang, K., et al. *QuadStream: A Quad-Based Scene Streaming Architecture for Novel Viewpoint Reconstruction*. NVIDIA Research, 2022. https://research.nvidia.com/publication/2022-12_quadstream-quad-based-scene-streaming-architecture-novel-viewpoint 17. Tokey, S. S., Boudaoud, B., Spjut, J., & Claypool, M. *Adaptive Time Delay for Improving Player Experience and Fairness in First-Person Shooter Games with Network Latency*. Foundations of Digital Games, 2026. https://research.nvidia.com/publication/2026-08_adaptive-time-delay-improving-player-experience-and-fairness-first-person --- # 附錄 A｜第一代資料流 ```text Local World ↓ Base Renderer ↓ Depth / Normal / Motion / Mask / RGB ↓ APR + PRC ↓ Export Gate ↓ selected ROI / carrier Cloud AI ↓ Anchor / Residual ↓ Local Verification ↓ Temporal Reconstruction ↓ Local Compositor ↓ Visible Frame ``` --- # 附錄 B｜第一代 Cloud Request Contract ```text request: request_id world_revision camera_revision scope carrier_schema carrier_hash preservation_contract generation_contract deadline provider_capability export_policy_revision ``` --- # 附錄 C｜第一代 Cloud Response Contract ```text response: request_id source_world_revision backend_revision output_class output_hash carrier_schema latency provenance optional_confidence ``` --- # 附錄 D｜一句話版本 > **OSR-06 不把雲端 AI 當成每幀遠端畫圖器，而把它當成低頻、高容量、可選擇的 appearance operator：本地保留 canonical world、base renderer、APR、verification 與 temporal reconstruction；雲端只處理被 APR 判定值得上雲的最小 carrier／ROI，回傳 anchor、residual 或 latent，再由本地把稀疏 cloud intelligence 展開成高頻、可回退、世界真值仍由本地控制的顯示。**