← Archive
lm-004810 · 2026-10

分散式 AI 原生渲染:Local World、Cloud Intelligence 與 Temporal Reconstruction

下載 MD 檔 ⬇
title
分散式 AI 原生渲染:Local World、Cloud Intelligence 與 Temporal Reconstruction
english_title
Distributed AI-Native Rendering: Local World, Cloud Intelligence, and Temporal Reconstruction
series
Observer-Sovereign Rendering(OSR)
paper_id
OSR-06
author
Neo.K
ai_collaboration
GPT-5.6 Sol
institution
EveMissLab/一言諾科技有限公司
version
v0.1
date
2026-09-18
language
zh-TW
document_type
理論論文/distributed neural rendering/cloud-assisted graphics/temporal reconstruction
status
初版完成

分散式 AI 原生渲染

Local World、Cloud Intelligence 與 Temporal Reconstruction

Distributed AI-Native Rendering

Local World, Cloud Intelligence, and Temporal Reconstruction

論文編號: OSR-06
系列: Observer-Sovereign Rendering(OSR)/觀察者主權渲染
作者: Neo.K
AI 協作: GPT-5.6 Sol
機構: EveMissLab/一言諾科技有限公司
版本: v0.1
日期: 2026 年 9 月 18 日


摘要

OSR-01 至 OSR-05 已建立觀察者條件化顯現、Observation Probe、Perceptual Rendering Compiler(PRC)、Heterogeneous Rendering Field(HRF)、APR-governed adaptive rendering,以及 world truth / manifestation truth 的真值防火牆。本篇處理今日最直接的工程命題:

如果本地 GPU 的生成/神經渲染能力不足,可否把高容量 AI 放到雲端,卻仍讓遊戲世界、互動、低延遲顯示與真值權威留在本地?

本文提出 Distributed AI-Native Rendering(DAINR)架構。與傳統 cloud gaming 將整個遊戲與 renderer 搬到遠端、再串流最終影片不同,DAINR 將系統拆成三個主要平面:

Local Canonical World+Cloud Intelligence Plane+Local Temporal Reconstruction\boxed{ \text{Local Canonical World} + \text{Cloud Intelligence Plane} + \text{Local Temporal Reconstruction} }

本地端持有 canonical world state、simulation、input loop、base renderer、authoritative geometry / motion / identity、APR controller、truth firewall、temporal cache 與 final compositor;雲端只接收經 export policy 篩選後的最小必要 carrier,執行 selected neural / multimodal appearance computation,再回傳 pixel anchor、residual、latent、material / lighting field 或其他非 canonical manifestation carrier。本地端驗證其 world revision、camera state、identity、structure、freshness 與 provenance 後,才允許 projection commit。

本文核心關係不是:

60 FPS display=60 cloud generations/s,\text{60 FPS display} = \text{60 cloud generations/s},

而是:

fcloud≪fdisplay.\boxed{ f_{\mathrm{cloud}} \ll f_{\mathrm{display}}. }

雲端只在高價值區域、關鍵事件、場景切換或 APR 判斷有足夠 Rendering Value of Information(RVOI)時產生高階 appearance anchor。本地端則以 motion vectors、depth、world transforms、temporal history、local neural reconstruction 與 conventional rendering,把低頻 cloud intelligence 展開成高頻顯示。

本文正式區分兩種 cloud realization。第一種是現行 general-purpose multimodal / image-generation service,可用於低頻 anchor、研究驗證與 ROI enhancement,但通常不應被放入毫秒級 blocking critical path。第二種是未來或專用的 cloud neural-render service,其 transport、模型、carrier、streaming 與 inference path 專門為 interactive graphics 最佳化。此分界避免將「現有雲端 AI 可以產生高品質圖像」錯誤等同於「現有一般 API 已適合每幀即時遊戲渲染」。

2026 年的技術進展支持本架構的多個子命題。NVIDIA DLSS 5 已將 3D-guided generative neural rendering 放在 final rendering stage,使用 engine frame、motion vectors、temporal state 與 scene attributes 保持結構、確定性與時序穩定;TRON 則使用 ray-traced PBR / irradiance condition 驅動 single-step neural renderer,在互動速度下維持 geometry、material、lighting control。雲端側,GeForce NOW 已證明高品質遊戲畫面可透過全球資料中心以低延遲串流,官方曾公布支援 1080p 360 FPS 且 click-to-pixel 可低至約 30 ms、許多支援區域 network latency 可低於 30 ms;CloudXR 文件則明確將 end-to-end latency、jitter 與 reprojection 視為關鍵診斷量。QuadStream 等研究也說明:完全影片串流與完全 client rendering 之間存在「傳送可重投影 scene representation、本地即時生成鄰近視點」的中間架構空間。

本文進一步提出 Anchor Packet、Carrier Contract、Revision Binding、Late-Result Rejection、Temporal Reconstruction Window、Disocclusion Escalation、Cloud Value Gate、Speculative Anchor、ROI Export、Latent Return、Provider Fallback、Privacy Boundary、Bandwidth / Cost Model、Local Base Invariant 與 3070 Constrained Baseline Experiment。

本篇的核心命題是:

Cloud intelligence should extend local rendering authority, not replace local world authority.\boxed{ \text{Cloud intelligence should extend local rendering authority, not replace local world authority.} }

以及:

Interactive neural rendering does not require remote intelligence to run at display frequency if local temporal reconstruction can preserve structure between sparse cloud anchors.\boxed{ \text{Interactive neural rendering does not require remote intelligence to run at display frequency if local temporal reconstruction can preserve structure between sparse cloud anchors.} }

下一篇 OSR-07 將以品質、結構、時間一致性、延遲、雲端成本、重算率、truth violation 與 user-visible quality 建立完整可反證 benchmark。

關鍵詞: Distributed Rendering、Cloud Neural Rendering、Temporal Reconstruction、APR、DLSS 5、TRON、Cloud Gaming、Reprojection、Latent Rendering、RTX 3070、Observer-Sovereign Rendering


0. 本篇的位置

OSR-01:

what must become manifest?\text{what must become manifest?}

OSR-02:

how is it compiled?\text{how is it compiled?}

OSR-03:

which renderer should realize it?\text{which renderer should realize it?}

OSR-04:

when should it be recomputed?\text{when should it be recomputed?}

OSR-05:

what may the result claim to be?\text{what may the result claim to be?}

OSR-06:

where should the expensive intelligence run?\boxed{ \text{where should the expensive intelligence run?} }

這裡的:

where\text{where}

不只是:

CPU/GPU.CPU/GPU.

而是:

Local↔Cloud.\boxed{ \text{Local} \leftrightarrow \text{Cloud}. }

1. 傳統 Cloud Gaming 與本篇不同

傳統 cloud gaming 的簡化形式:

Inputclient→CloudGame→CloudRenderer→EncodedVideo→ClientDisplay.Input_{client} \rightarrow \text{CloudGame} \rightarrow \text{CloudRenderer} \rightarrow \text{EncodedVideo} \rightarrow \text{ClientDisplay}.

世界模擬與 rendering 主要都在 cloud。

client 主要負責:

  • input;
  • decoding;
  • display;
  • latency compensation。

本篇研究:

LocalGame+RemoteIntelligence.\boxed{ \text{LocalGame} + \text{RemoteIntelligence}. }

亦即:

LocalWorld→CloudSelectedComputation→LocalComposition.\text{LocalWorld} \rightarrow \text{CloudSelectedComputation} \rightarrow \text{LocalComposition}.

2. 為什麼不直接 Cloud Gaming

如果目的只是:

讓弱 GPU 玩高畫質遊戲。

Cloud gaming 已經是成熟方向。

但 OSR 的研究問題不同:

  1. world state 是否可留本地;
  2. simulation 是否可留本地;
  3. mod / local assets 是否不需全部上傳;
  4. 是否只租用 AI appearance intelligence;
  5. 是否讓 cloud inference frequency 遠低於 display frequency;
  6. 是否讓不同 regions 各自決定 local / cloud;
  7. 是否保留本地 fallback;
  8. 是否讓 cloud output 永遠不取得 world authority。

所以:

DAINR≠CloudGaming.\boxed{ DAINR \neq \text{CloudGaming}. }

3. 三平面架構

本文提出:

D=(L,C,T).\boxed{ \mathcal D = ( L, C, T ). }

其中:

  • LL:Local Canonical Plane;
  • CC:Cloud Intelligence Plane;
  • TT:Local Temporal Reconstruction Plane。

4. Local Canonical Plane

本地端至少持有:

Lt=(Wt,Simt,Inputt,Btbase,Mt,APRt,PRCt,Trutht,Cachet).L_t = ( W_t, Sim_t, Input_t, B_t^{base}, M_t, APR_t, PRC_t, Truth_t, Cache_t ).

其中:

  • WtW_t:canonical world;
  • SimtSim_t:simulation;
  • InputtInput_t:input loop;
  • BtbaseB_t^{base}:base rendering buffers;
  • MtM_t:motion / transform state;
  • APRtAPR_t:APR controller;
  • PRCtPRC_t:Perceptual Rendering Compiler;
  • TruthtTruth_t:truth firewall;
  • CachetCache_t:temporal / neural cache。

5. 本地世界權威

本篇第一條 invariant:

Authority(Wt)=LocalCanonical.\boxed{ Authority(W_t) = \text{LocalCanonical}. }

第一代 MVP 不讓 cloud 持有:

WorldWriteAuthority.\text{WorldWriteAuthority}.

Cloud 只輸出:

ProjectionCandidate.\text{ProjectionCandidate}.

6. 本地 Base Renderer

定義:

Rbase.R_{base}.

要求:

CloudUnavailable⇒Rbase still produces a valid minimum manifestation.\boxed{ \text{CloudUnavailable} \Rightarrow R_{base}\text{ still produces a valid minimum manifestation.} }

這是 OSR-06 最重要的 reliability invariant。


7. Base Renderer 不必漂亮

它只需滿足:

MinimumManifestation.\text{MinimumManifestation}.

可以是:

  • raster;
  • PBR;
  • low ray budget;
  • lower resolution;
  • lower material complexity。

Cloud enhancement 負責:

PreferredAppearance.\text{PreferredAppearance}.

8. Cloud Intelligence Plane

雲端:

Ct=(Modelt,Contextt,Inferencet,Providert,Returnt).C_t = ( Model_t, Context_t, Inference_t, Provider_t, Return_t ).

它可以提供:

  • neural appearance;
  • material enhancement;
  • relighting;
  • semantic detail;
  • high-capacity reconstruction;
  • latent anchor;
  • object-local enhancement。

9. Cloud 不需要知道完整世界

本篇原則:

Minimum Necessary Export.\boxed{ \text{Minimum Necessary Export}. }

不是:

Upload(Wt).Upload(W_t).

而是:

Xtcloud=Extract(Wt,Ω,Contract,ExportPolicy).X_t^{cloud} = Extract( W_t, \Omega, \text{Contract}, \text{ExportPolicy} ).

10. Export Package

定義:

Xt=(Rt,Gt,Dt,Nt,Vt,Mt,St,Ht,Ct,Pt).\boxed{ X_t = ( R_t, G_t, D_t, N_t, V_t, M_t, S_t, H_t, C_t, P_t ). }

可能包含:

  • RtR_t:rough / base RGB;
  • GtG_t:geometry proxy;
  • DtD_t:depth;
  • NtN_t:normal;
  • VtV_t:motion vector;
  • MtM_t:material carrier;
  • StS_t:semantic mask / class;
  • HtH_t:temporal history subset;
  • CtC_t:artistic / observer controls;
  • PtP_t:provenance / preservation contract。

實際 backend 不必需要全部。


11. Minimum Carrier Selection

Compiler 求:

Xt∗=arg⁡min⁡XSize(X)\boxed{ X_t^* = \arg\min_X Size(X) }

subject to:

Quality(X)≥τQ,Quality(X)\ge\tau_Q, Structure(X)≥τS,Structure(X)\ge\tau_S, Privacy(X)=PASS.Privacy(X)=\text{PASS}.

12. ROI Export

若只需要角色臉:

Ω=Ωface.\Omega=\Omega_{face}.

不應傳整幀:

Frame4K.Frame_{4K}.

而是:

Crop+Depth+Motion+Mask+Context.\text{Crop} + \text{Depth} + \text{Motion} + \text{Mask} + \text{Context}.

所以:

CloudScope⊆DisplayScope.\boxed{ \text{CloudScope} \subseteq \text{DisplayScope}. }

通常成立。


13. Context Halo

純 crop 可能不足。

因此定義:

Ωexport=Ωtarget⊕Halo(r).\Omega_{export} = \Omega_{target} \oplus Halo(r).

Halo 提供:

  • lighting context;
  • local geometry;
  • nearby color;
  • motion boundary。

但:

rr

應受 privacy / bandwidth budget 約束。


14. Semantic-Minimal Export

某些 cloud task 不需要 raw pixel。

例如:

MaterialEnhancement\text{MaterialEnhancement}

可以只傳:

  • material class;
  • normal;
  • lighting;
  • latent。

如果可行:

PixelExport=0.PixelExport=0.

這可能更省頻寬,也更保護內容。


15. Cloud Return Classes

Cloud 不必永遠回 RGB。

定義:

Yt∈{Itanchor,ΔIt,Zt,Lt,Mt′,St′}.Y_t \in \{ I_t^{anchor}, \Delta I_t, Z_t, L_t, M_t', S_t' \}.

其中:

  • ItanchorI_t^{anchor}:完整/局部 pixel anchor;
  • ΔIt\Delta I_t:appearance residual;
  • ZtZ_t:latent carrier;
  • LtL_t:lighting field;
  • Mt′M_t':material representation;
  • St′S_t':semantic enhancement。

16. Pixel Anchor

最直觀:

Yt=Itanchor.Y_t = I_t^{anchor}.

優點:

  • 容易 prototype;
  • 不需 shared decoder。

缺點:

  • bandwidth 高;
  • temporal reuse 困難;
  • local editability 低。

17. Residual Return

Cloud 回:

ΔIt=Itcloud−Itbase.\Delta I_t = I_t^{cloud} - I_t^{base}.

本地:

It=Itbase+ΔIt.I_t = I_t^{base} + \Delta I_t.

優點:

  • 強調 enhancement;
  • base fallback 自然存在。

18. Latent Return

Cloud 回:

Zt.Z_t.

本地:

It=Dlocal(Zt,Gt,Dt,Vt).I_t = D_{local}( Z_t, G_t, D_t, V_t ).

可能降低:

Bandwidth.\text{Bandwidth}.

但需要:

  • shared decoder;
  • version binding;
  • latent compatibility;
  • local compute。

19. Material / Lighting Return

更進一步:

Yt=(MaterialLatent,LightingLatent).Y_t = ( \text{MaterialLatent}, \text{LightingLatent} ).

本地仍負責 final shading / decode。

這最接近:

cloud 理解世界應該「長什麼樣」, local GPU 負責高速展開。


20. 第一代 Prototype 不應先做 Latent

雖然 latent architecture 很漂亮,

MVP 第一版應優先:

PixelAnchor/Residual.\boxed{ PixelAnchor/Residual. }

因為最容易驗證:

  • quality;
  • latency;
  • cost;
  • temporal consistency。

等 proof-of-concept 成立,再做 latent。


21. General Cloud Model 與 Dedicated Neural Renderer

本文正式分成:

CgeneralC_{general}

與:

Crender.C_{render}.

22. General Cloud Model

例如 general multimodal / image generation service。

其優點:

  • 可立即實驗;
  • visual prior 強;
  • 不需訓練專用 model。

缺點通常包括:

  • latency 高;
  • nondeterministic;
  • API rate limit;
  • non-streaming;
  • cost;
  • weak temporal contract。

所以:

Cgeneral\boxed{ C_{general} }

適合:

  • anchor;
  • scene transition;
  • ROI enhancement;
  • offline benchmark;
  • appearance experiment。

23. Dedicated Cloud Neural Renderer

Crender.C_{render}.

其理想特性:

  • persistent session;
  • engine carrier input;
  • low-step / single-step inference;
  • low jitter;
  • region API;
  • latent API;
  • temporal state;
  • deterministic mode;
  • bounded latency;
  • streaming transport。

這才可能進入:

interactive critical path.\text{interactive critical path}.

24. 不把當代 API 能力當理論前提

OSR-06 的成立條件不是:

2026 一般 API 已經能每 16 ms 回一張 4K 圖。

不需要。

本篇只要求:

∃ remote high-capacity appearance computation\boxed{ \exists\ \text{remote high-capacity appearance computation} }

而其更新頻率可以低於 display frequency。


25. Display Frequency 與 Intelligence Frequency 分離

核心:

fC≪fD.\boxed{ f_C \ll f_D. }

其中:

  • fCf_C:cloud intelligence update frequency;
  • fDf_D:display frequency。

例如:

fD=60–144Hz,f_D=60\text{--}144Hz,

而:

fC=0.2–10Hzf_C=0.2\text{--}10Hz

在不同 backend / task 下皆可能成立。

這些數字是 architecture examples,不是普遍保證。


26. Anchor

定義 cloud anchor:

Ak=(Ytk,WorldRevisiontk,Cameratk,Contracttk).A_k = ( Y_{t_k}, WorldRevision_{t_k}, Camera_{t_k}, Contract_{t_k} ).

anchor 只對特定:

  • world revision;
  • camera neighborhood;
  • object state;
  • truth contract;

有效。


27. Anchor Interval

ΔtA=tk+1−tk.\Delta t_A = t_{k+1}-t_k.

APR 動態決定:

ΔtA.\Delta t_A.

穩定場景:

ΔtA↑.\Delta t_A\uparrow.

高動態:

ΔtA↓.\Delta t_A\downarrow.

28. Anchor 不是 Frame

Cloud anchor 可以服務:

n>1n>1

個 display frames。

因此:

1 CloudAnchor→ManyLocalFrames.\boxed{ 1\ CloudAnchor \rightarrow \text{ManyLocalFrames}. }

29. Local Temporal Reconstruction Plane

本地:

Tt=(Depth,Motion,Transforms,History,Anchor,LocalModel).T_t = ( \text{Depth}, \text{Motion}, \text{Transforms}, \text{History}, \text{Anchor}, \text{LocalModel} ).

輸出:

Ft.F_t.

30. 最小 Temporal Reconstruction

最簡:

Ft+1=Warp(Ak,Dt,Vt,Camerat).F_{t+1} = Warp( A_k, D_t, V_t, Camera_t ).

再與:

Rbase(Wt+1)R_{base}(W_{t+1})

融合。


31. Base-Guided Reconstruction

比較安全:

Ft=Blend(Btbase,Warp(Ak),Confidencet).\boxed{ F_t = Blend( B_t^{base}, Warp(A_k), Confidence_t ). }

如果 warp confidence 低:

BtbaseB_t^{base}

權重提高。


32. Local Neural Reconstruction

可加入:

RlocalN.R_{localN}.

輸入:

  • base;
  • warped anchor;
  • motion;
  • depth;
  • history。

輸出:

Ftrefined.F_t^{refined}.

這是 3070 可以負責的較小工作。


33. 3070 的角色

RTX 3070 不需要跑大型 cloud model。

它可以負責:

  • base raster;
  • limited ray;
  • motion vector;
  • depth;
  • temporal warp;
  • lightweight neural;
  • final composition;
  • verification。

所以:

3070=Thin−but−AuthoritativeRenderer.\boxed{ 3070 = Thin-but-Authoritative Renderer. }

34. 為什麼舊 GPU 反而適合作研究條件

如果本地 GPU 太強,

cloud augmentation 的必要性下降。

3070 可以刻意形成:

Blocal<Bdesired.B_{local}<B_{desired}.

測試:

LocalConstrained+CloudSparseIntelligence\boxed{ \text{LocalConstrained} + \text{CloudSparseIntelligence} }

是否產生更高 utility-per-cost。


35. Camera Motion

Anchor 只在有限 view neighborhood 有效。

定義:

dC(Camerat,Cameraanchor).d_C( Camera_t, Camera_{anchor} ).

若:

dC<τC,d_C<\tau_C,

可 warp / reconstruct。

若:

dC≥τC,d_C\ge\tau_C,

trigger new anchor。


36. Object Motion

對 object oo:

To(t)T_o(t)

為 transform。

如果:

ΔTo\Delta T_o

過大,

object-local anchor 失效。


37. World Revision Binding

每個 cloud request 綁:

WorldRevision.\boxed{ \text{WorldRevision}. }

response 回來時:

revisionresponse=?revisioncompatible.revision_{response} \stackrel{?}{=} revision_{compatible}.

若已過期:

Reject/LateCache.Reject/LateCache.

38. Late Result Rejection

雲端最大問題之一:

回來時世界已經變了。

所以:

Late≠Useful.\boxed{ \text{Late} \neq \text{Useful}. }

如果:

WorldRevisiont−WorldRevisionrequest>τR,WorldRevision_t - WorldRevision_{request} > \tau_R,

response 不進 visible commit。


39. Late Result 不一定完全丟棄

如果 output 是:

  • material latent;
  • static background;
  • asset-local knowledge;

仍可進:

FutureCache.\text{FutureCache}.

所以:

LateVisible=0LateVisible=0

不一定:

ReuseValue=0.ReuseValue=0.

40. Camera Cut

如果:

CameraCut=1,CameraCut=1,

temporal history 通常:

Invalidate.\text{Invalidate}.

此時:

BaseRenderer\text{BaseRenderer}

先接管。

Cloud anchor 可 asynchronous rebuild。


41. Teleport / Scene Transition

同理:

FullRefreshGate=1.FullRefreshGate=1.

不要試圖 warp 舊 anchor。


42. Disocclusion

temporal reconstruction 最難問題之一:

PreviouslyHidden→Visible.\text{PreviouslyHidden} \rightarrow \text{Visible}.

舊 anchor 沒有該 pixel。

因此:

DisocclusionMask.\text{DisocclusionMask}.

43. Disocclusion Policy

對 disoccluded region:

  1. local base fill;
  2. local neural refine;
  3. APR 評估是否值得 cloud refresh;
  4. 不可用舊 anchor hallucinate canonical structure。

44. Multi-Layer History

可保留多層 history:

Ht(1),Ht(2),….H_t^{(1)}, H_t^{(2)}, \ldots.

先前被遮蔽 content 可能在後續重新可用。

這與 multi-layer temporal reuse 的研究方向一致。


45. Temporal Confidence Field

定義:

CT(x,t)∈[0,1].C_T(x,t) \in [0,1].

由:

  • motion confidence;
  • depth confidence;
  • disocclusion;
  • age;
  • world delta;
  • identity;

決定。


46. Composition Weight

Ft(x)=CT(x,t)Atwarp(x)+(1−CT(x,t))Btbase(x).F_t(x) = C_T(x,t)A_t^{warp}(x) + ( 1-C_T(x,t) ) B_t^{base}(x).

只是第一代形式。

實際可由 learned compositor 取代。


47. Temporal Drift

即使每一幀看起來合理,

長時間 warp 可能:

Drift↑.Drift\uparrow.

所以 anchor 必須定期刷新。


48. Drift Trigger

定義:

Dt=D(Ft,Referencet).D_t = D( F_t, Reference_t ).

若:

Dt>τD,D_t>\tau_D,

APR trigger:

NewAnchor.\text{NewAnchor}.

Reference 可以是:

  • base structural;
  • local verifier;
  • occasional fresh cloud;
  • ray reference。

49. Cloud Value Gate

不是所有 scope 都上雲。

定義:

CVG(x)=RVOIcloud(x)−Ccloud(x)−TRcloud(x).\boxed{ CVG(x) = RVOI_{cloud}(x) - C_{cloud}(x) - TR_{cloud}(x). }

若:

CVG(x)>0,CVG(x)>0,

才成為候選。


50. Cloud Cost

Ccloud=Capi+Cnetwork+Clatency+Cserialization+Cverification+Cfailure.C_{cloud} = C_{api} + C_{network} + C_{latency} + C_{serialization} + C_{verification} + C_{failure}.

不能只看 API 美元。


51. Cloud Risk

TRcloudTR_{cloud}

包含:

  • truth risk;
  • privacy;
  • nondeterminism;
  • provider drift;
  • unavailable revision;
  • outage;
  • jitter。

52. Cloud Benefit

Bcloud=ΔQuality+ΔTaskUtility+ΔAppearance.B_{cloud} = \Delta Quality + \Delta TaskUtility + \Delta Appearance.

Cloud selection:

Bcloud>Ccloud+TRcloud.B_{cloud} > C_{cloud}+TR_{cloud}.

53. Speculative Anchor

如果 APR 預測:

P(Need(x,t+Δ))>ps,P(Need(x,t+\Delta))>p_s,

可提前 request。

例如:

  • 玩家朝新房間移動;
  • cutscene 即將開始;
  • NPC 對話將進 close-up。

54. Speculative Waste

若預測錯:

Cwaste.C_{waste}.

所以:

BspecB^{spec}

必須有限。


55. Prefetch Window

定義:

Tprefetch.T_{prefetch}.

如果預測事件距離:

Δt\Delta t

大於 cloud latency p95,

可以提前送出。


56. Cloud Latency Distribution

不是只看平均:

Lmean.L_{mean}.

應看:

P50,P95,P99.P50, P95, P99.

因為 jitter 直接影響 temporal system。


57. GeForce NOW 的外部意義

GeForce NOW 已展示 cloud rendering 在良好網路條件下可以進入低延遲互動域;NVIDIA 曾公布 Blackwell GeForce NOW 支援 1080p 360 FPS、click-to-pixel 最低約 30 ms,且許多支援區域 network latency 可低於 30 ms。

這不能直接證明 general AI image API 也有相同 latency。

它只證明:

low-latency remote graphics transport is physically and operationally achievable under controlled infrastructure.\boxed{ \text{low-latency remote graphics transport is physically and operationally achievable under controlled infrastructure}. }

58. CloudXR 的外部意義

CloudXR 文件將:

  • end-to-end latency;
  • upload;
  • receive;
  • dejitter buffer;
  • display submission;
  • p90/p95/p99 jitter;

列為主要診斷量。

因此 OSR-06 把:

Jitter\text{Jitter}

視為一等資源狀態,而不是只看 bandwidth。


59. QuadStream 的外部意義

QuadStream 指出 cloud rendering 架構並非只有:

VideoStreaming\text{VideoStreaming}

與:

FullClientRendering\text{FullClientRendering}

兩極。

它透過傳送近似 scene representation,讓 client 可在本地生成 nearby novel views,以降低 motion-to-photon latency 並處理 disocclusion。

其 OSR 意義:

remote rendering can transmit reusable representation rather than final video only.\boxed{ \text{remote rendering can transmit reusable representation rather than final video only}. }

這正支持 latent / anchor / carrier architecture。


60. Bandwidth Model

若 pixel anchor:

Bpix=Resolution×Channels×Bytes×fC.B_{pix} = \text{Resolution} \times \text{Channels} \times \text{Bytes} \times f_C.

壓縮後:

Bcodec.B_{codec}.

Latent:

Blatent=∣Z∣×fC.B_{latent} = |Z| \times f_C.

ROI:

BROI≪BfullB_{ROI} \ll B_{full}

在適當場景成立。


61. 不追求固定格式

Carrier format 應由 backend capability negotiation 決定。

例如:

pixel\text{pixel} latent\text{latent} material\text{material} residual.\text{residual}.

OSR core 不固定。


62. Carrier Version

每個 carrier:

CarrierVersion.\text{CarrierVersion}.

Local decoder / compositor 必須確認相容。


63. Model–Decoder Binding

若 cloud model:

MvM_v

回 latent,

本地 decoder:

DvD_v

必須相容。

所以:

LatentContract=(ModelRevision,DecoderRevision,CarrierSchema).\boxed{ \text{LatentContract} = (ModelRevision,DecoderRevision,CarrierSchema). }

64. Model Update

Provider 更新 model:

Mv→Mv+1.M_v\rightarrow M_{v+1}.

若 latent schema 變:

Compile/Rebind.Compile/Rebind.

不能 silent reuse 舊 decoder。


65. Pixel Return 相對穩健

因為:

PNG/RGBPNG/RGB

contract 較穩。

所以第一代 external cloud prototype 應以 pixel / residual 為主。


66. Privacy Boundary

OSR-05 已有 export authority。

本篇增加:

ExportMaskt(x).\boxed{ ExportMask_t(x). }

只有:

ExportMask=ALLOWExportMask=ALLOW

的 region 才可上雲。


67. Sensitive Region

例如:

  • unreleased asset;
  • chat message;
  • personal info;
  • secret UI;
  • local file;
  • face;
  • account identifier。

可以:

ExportMask=DENY.ExportMask=DENY.

68. Redaction

若 cloud 只需要 lighting context,

可以對 sensitive content:

Redact.\text{Redact}.

傳:

  • depth;
  • mask;
  • anonymous material;
  • low-detail proxy。

69. Semantic Leakage

即使不傳 RGB,

semantic labels 也可能敏感。

所以 privacy 不只是:

PixelPrivacy.\text{PixelPrivacy}.

還包括:

SemanticPrivacy.\text{SemanticPrivacy}.

70. Export Receipt

每次 cloud call 記:

  • scope;
  • carrier classes;
  • byte count;
  • provider;
  • model;
  • source revision;
  • privacy policy revision;
  • request hash。

不保存 secret token。


71. Provider Failure

若:

Timeout,5xx,Quota,NetworkDown,InvalidOutput,VerificationFail,\text{Timeout}, 5xx, \text{Quota}, \text{NetworkDown}, \text{InvalidOutput}, \text{VerificationFail},

則:

Fallback.\text{Fallback}.

72. No Automatic World Retry

Cloud retry 可能造成:

  • duplicate cost;
  • late output;
  • state mismatch。

所以 first MVP 可以:

Retry=0Retry=0

預設。

再由 APR 決定是否重新發 request。


73. Request Identity

每個 cloud request:

RID=Hash(WorldRevision,Scope,Camera,Contract,BackendRevision).RID = Hash( \text{WorldRevision}, \text{Scope}, \text{Camera}, \text{Contract}, \text{BackendRevision} ).

避免同一 request 重複 commit。


74. Idempotent Commit

同一:

RIDRID

只能 commit 一次。

Late duplicate:

Ignore.\text{Ignore}.

75. Provider A/B

OSR-06 可支援:

ProviderA,ProviderB.Provider_A, Provider_B.

但不要在 critical frame 同時雙 call,除非 benchmark。

APR 根據:

  • latency;
  • quality;
  • price;
  • availability;

選擇。


76. Provider Neutrality

PRC 只看到:

CapabilityDescriptor.\text{CapabilityDescriptor}.

不是 provider brand。

所以:

CloudPlane⊥VendorIdentity.\boxed{ \text{CloudPlane} \perp \text{VendorIdentity}. }

77. Cloud Result Verification

至少:

Vstruct,Videntity,Vtemporal,Vtruth.V_{struct}, V_{identity}, V_{temporal}, V_{truth}.

高價值 region 才需要全部。


78. Local Structural Verifier

因為 canonical geometry 在本地,

最適合由本地驗證:

  • silhouette;
  • object count;
  • pose;
  • ID;
  • depth relation。

不需要再問 cloud:

你有沒有畫對?


79. Cloud Self-Verification 不足

同一 model 說:

我畫對了。

不構成獨立 verification。

所以:

Generator≠IndependentVerifier\boxed{ \text{Generator} \neq \text{IndependentVerifier} }

是 preferred architecture。


80. Final Compositor

所有 output 最後:

Compositor(Base,Cloud,LocalNeural,Semantic,UI).Compositor( \text{Base}, \text{Cloud}, \text{LocalNeural}, \text{Semantic}, UI ).

Compositor 仍由 local control。


81. Commit Priority

順序可以:

  1. mandatory safety;
  2. base world;
  3. verified local enhancement;
  4. verified cloud enhancement;
  5. optional decorative late result。

82. Late Upgrade

Cloud output 回來晚,

但仍在相容 window:

LateUpgrade.\text{LateUpgrade}.

可以:

  • blend in;
  • next frame;
  • next shot;
  • cache only。

83. 不允許整幀突變

若 cloud output 與 base 差異:

D>τpop,D>\tau_{pop},

使用:

  • blend;
  • masked transition;
  • next scene cut;
  • reject。

84. Local Temporal Window

定義:

Ht={Ft−k,…,Ft}.H_t = \{ F_{t-k},\ldots,F_t \}.

history 長度:

kk

由:

  • VRAM;
  • motion;
  • backend;
  • drift;

決定。


85. Short History vs Long History

short:

  • latency 低;
  • memory 低。

long:

  • temporal context 多;
  • VRAM 高;
  • stale risk 高。

APR 選:

ht.h_t.

86. Cloud Statefulness

Cloud backend 也可以有 session state:

SC.S_C.

例如保存:

  • scene appearance;
  • object latent;
  • material identity。

但:

SCS_C

不是 canonical world。


87. Cloud Session Loss

若 session 掛掉,

local world 完整。

只失去:

appearance acceleration.\text{appearance acceleration}.

所以:

CloudStateLoss⇏WorldStateLoss.\boxed{ \text{CloudStateLoss} \not\Rightarrow \text{WorldStateLoss}. }

88. Cloud Cache

可以 cache:

AssetAppearance(asset,condition).AssetAppearance(asset,condition).

例如角色皮膚、特定材質。

如果 camera / lighting 接近:

ReuseCloudAsset.\text{ReuseCloudAsset}.

89. Cross-Scene Reuse

某些 material latent 可跨 scene。

但必須綁:

  • asset version;
  • material version;
  • model revision。

90. Cost Amortization

一次 cloud inference:

CA.C_A.

若可供:

NN

幀/多視角 reuse,

平均成本:

Cˉ=CAN.\bar C = \frac{C_A}{N}.

這是 DAINR 成本優勢關鍵之一。


91. Anchor Value

定義:

AV(Ak)=UtilityOverLifetime(Ak)Cost(Ak).AV(A_k) = \frac{ UtilityOverLifetime(A_k) }{ Cost(A_k) }.

APR 應追求高:

AV.AV.

而非多 cloud call。


92. Cloud Call Efficiency

OSR-04 已有:

CCE.CCE.

本篇具體化:

CCE=CommittedUsefulCloudAnchorsAllCloudRequests.\boxed{ CCE = \frac{ \text{CommittedUsefulCloudAnchors} }{ \text{AllCloudRequests} }. }

93. Anchor Lifetime

TA=tinvalid−tcommit.T_A = t_{invalid}-t_{commit}.

理想:

TA↑T_A\uparrow

而不是 cloud request frequency ↑。


94. Local Reconstruction Ratio

定義:

LRR=DisplayFramesProducedWithoutFreshCloudInferenceDisplayFrames.\boxed{ LRR = \frac{ \text{DisplayFramesProducedWithoutFreshCloudInference} }{ \text{DisplayFrames} }. }

DAINR 應有高:

LRR.LRR.

95. Cloud Dependency Ratio

CDR=FramesWhoseMinimumManifestationRequiresCloudFrames.CDR = \frac{ \text{FramesWhoseMinimumManifestationRequiresCloud} }{ \text{Frames} }.

第一代 OSR 目標:

CDR≈0.\boxed{ CDR\approx0. }

cloud 用於 preferred enhancement。


96. First-Mile / Last-Mile Thinking

傳統 cloud gaming:

Cloud→FinalVideo.\text{Cloud} \rightarrow \text{FinalVideo}.

DAINR:

Local→MeaningfulCarrier→CloudIntelligence→ReusableCarrier→LocalDisplay.\text{Local} \rightarrow \text{MeaningfulCarrier} \rightarrow \text{CloudIntelligence} \rightarrow \text{ReusableCarrier} \rightarrow \text{LocalDisplay}.

這是雙向中間表示交換。


97. Cloud Intelligence as Remote Operator

可以抽象:

NC:Klocal→Kappearance.\boxed{ \mathcal N_C: K_{local} \rightarrow K_{appearance}. }

它不是遠端 framebuffer。

而是遠端 appearance operator。


98. Distributed Rendering Algebra

整體:

Ft=RL(Wt)⊕TL(NC(Xtk),Ht,Wt).F_t = R_L( W_t ) \oplus T_L( \mathcal N_C( X_{t_k} ), H_t, W_t ).

其中:

  • RLR_L:local baseline;
  • NC\mathcal N_C:cloud intelligence;
  • TLT_L:local temporal reconstruction;
  • ⊕\oplus:governed composition。

99. APR 決定何時呼叫 Cloud

CallCloud(x)=1\text{CallCloud}(x) = 1

當:

RVOIcloud>Ccloud+TRcloudRVOI_{cloud} > C_{cloud} + TR_{cloud}

且:

ExportAllowed=1.\text{ExportAllowed}=1.

100. APR 決定 Cloud Depth

Cloud 也不是只有:

ON/OFF.ON/OFF.

可以:

dC∈{low,medium,high}.d_C \in \{ \text{low}, \text{medium}, \text{high} \}.

例如:

  • 512 ROI;
  • 1K ROI;
  • full-frame anchor;
  • latent only。

101. APR 決定 Cloud Frequency

νC(x)=f(motion,risk,goal,drift,cost,latency).\nu_C(x) = f( \text{motion}, \text{risk}, \text{goal}, \text{drift}, \text{cost}, \text{latency} ).

這就是:

Cloud Intelligence Budgeting.\boxed{ \text{Cloud Intelligence Budgeting.} }

102. 3070 Baseline Experiment

第一代硬體:

RTX3070.RTX3070.

目標不是:

證明 3070 變成 RTX 5090。

而是:

Can sparse cloud intelligence increase visual utility beyond the local 3070 rendering budget?\boxed{ \text{Can sparse cloud intelligence increase visual utility beyond the local 3070 rendering budget?} }

103. Baseline A

A=LocalRaster.A= \text{LocalRaster}.

量:

  • FPS;
  • quality;
  • GPU time。

104. Baseline B

B=LocalRaster+LocalNeural.B= \text{LocalRaster} + \text{LocalNeural}.

105. Baseline C

C=NaiveCloud.C= \text{NaiveCloud}.

例如每個 keyframe 都完整 cloud。

預期:

  • quality 高;
  • latency / cost 差。

這是正確失敗 baseline。


106. System D

D=APR+ROICloudAnchor+LocalTemporal.D= APR + \text{ROICloudAnchor} + \text{LocalTemporal}.

107. System E

E=APR+CloudResidual/Latent+LocalTemporal+TruthVerification.E= APR + \text{CloudResidual/Latent} + \text{LocalTemporal} + \text{TruthVerification}.

後期版本。


108. 第一個場景

靜態房間 + 角色。

測:

  • face cloud enhancement;
  • background reuse;
  • camera orbit;
  • lighting change。

109. 第二個場景

高速角色移動。

測:

  • motion;
  • anchor invalidation;
  • local fallback。

110. 第三個場景

camera cut / teleport。

測:

FullRefresh.\text{FullRefresh}.

111. 第四個場景

network jitter / outage。

測:

CloudFailure⇒BaseContinues.\text{CloudFailure} \Rightarrow \text{BaseContinues}.

112. 第五個場景

敏感 UI / private texture。

測:

ExportMask.\text{ExportMask}.

113. 第六個場景

Cloud hallucination injection。

故意讓 cloud:

  • 改 object;
  • 改 face;
  • 增加物件。

測:

TruthFirewall.\text{TruthFirewall}.

114. 指標

至少:

Q=VisualQuality.Q = \text{VisualQuality}. S=StructuralFidelity.S = \text{StructuralFidelity}. T=TemporalConsistency.T = \text{TemporalConsistency}. L=PerceivedLatency.L = \text{PerceivedLatency}. C=CloudCost.C = \text{CloudCost}. B=Bandwidth.B = \text{Bandwidth}. P=ProvenanceCompleteness.P = \text{ProvenanceCompleteness}. W=WorldViolationRate.W = \text{WorldViolationRate}.

115. Anchor Metrics

AnchorRate,\text{AnchorRate}, AnchorLifetime,\text{AnchorLifetime}, AnchorReuseCount,\text{AnchorReuseCount}, AnchorWasteRate.\text{AnchorWasteRate}.

116. Network Metrics

RTT,P95,P99,Jitter,BytesUp,BytesDown.RTT, P95, P99, \text{Jitter}, \text{BytesUp}, \text{BytesDown}.

117. Local Metrics

GPUTime,VRAM,LocalDecodeTime,WarpTime,VerifierTime.\text{GPUTime}, VRAM, \text{LocalDecodeTime}, \text{WarpTime}, \text{VerifierTime}.

118. User-Visible Metrics

PopRate,FlickerRate,DriftRate,FallbackVisibility.\text{PopRate}, \text{FlickerRate}, \text{DriftRate}, \text{FallbackVisibility}.

119. Cloud Cost per Useful Second

定義:

CUS=CloudCostSecondsOfCommittedEnhancedDisplay.\boxed{ CUS = \frac{ \text{CloudCost} }{ \text{SecondsOfCommittedEnhancedDisplay} }. }

比單純:

CostPerCall\text{CostPerCall}

更有意義。


120. Bandwidth per Useful Enhancement

BUE=TransferredBytesCommittedQualityGain.BUE = \frac{ \text{TransferredBytes} }{ \text{CommittedQualityGain} }.

121. Research Hypotheses

H1|Sparse Cloud Beats Naive Cloud

CAPR−cloud<Cnaive−cloudC_{APR-cloud} < C_{naive-cloud}

且:

QAPR−cloud≈Qnaive−cloudQ_{APR-cloud} \approx Q_{naive-cloud}

在部分場景成立。


H2|Cloud Frequency Can Be Lower Than Display Frequency

存在場景:

fC≪fDf_C \ll f_D

而:

T≥τT,Q≥τQ.T\ge\tau_T, Q\ge\tau_Q.

H3|Local World Authority Improves Robustness

network failure 時:

TaskContinuitylocal−world>TaskContinuitycloud−world.\text{TaskContinuity}_{local-world} > \text{TaskContinuity}_{cloud-world}.

H4|Structured Carriers Improve Neural Fidelity

相較 RGB-only:

RGB+Depth+Motion+MaskRGB+\text{Depth}+\text{Motion}+\text{Mask}

應降低 structural / temporal violations。


H5|ROI Export Reduces Cost

BytesROI<Bytesfull\text{Bytes}_{ROI} < \text{Bytes}_{full}

且 target quality 不顯著下降。


H6|Local Verification Contains Cloud Hallucination

WorldViolationCommitRate\text{WorldViolationCommitRate}

應低於無 verification system。


H7|Cloud Anchors Amortize

對穩定/中等動態場景:

AnchorReuseCount>1.AnchorReuseCount>1.

122. 可反證條件

F1|Cloud Latency Too High

若所有 cloud result 都在 usefulness window 後才返回:

CloudValue→0.CloudValue\rightarrow0.

則 general cloud model 只能做 offline / precompute。

F2|Temporal Reconstruction Quality Insufficient

若:

fC≪fDf_C\ll f_D

導致嚴重 drift / pop,

必須提高 cloud frequency 或改 dedicated model。

F3|Carrier Bandwidth Too High

若傳:

Depth+Motion+Normal+RGBDepth+Motion+Normal+RGB

成本接近 full video cloud gaming,

架構收益下降。

F4|Verification Cost Erases Gain

若 local verifier 比 cloud gain 更昂貴,

需降低 verification granularity 或改模型。

F5|General Model Cannot Respect Structure

若 general cloud model 持續破壞 identity / geometry,

它不適合作 interactive enhancement,只能作研究 baseline。

F6|3070 Local Reconstruction Too Heavy

若 thin-client local tasks 本身把 3070 壓滿,

需更輕 compositor / decoder。

F7|Provider Drift Breaks Reproducibility

若 opaque provider model update 造成不可控外觀改變,

production 路線需要 dedicated / pinned model。


123. 第一代 General Cloud MVP 的誠實定位

第一版可以接受:

Lcloud=seconds.L_{cloud} = \text{seconds}.

只要用途是:

  • scene anchor;
  • static ROI;
  • before/after benchmark;
  • appearance reference。

它仍然可以驗證:

architecture semantics.\boxed{ \text{architecture semantics}. }

124. 第二代 Interactive Cloud MVP

需要:

Lcloud≪1sL_{cloud} \ll 1s

且:

  • persistent connection;
  • region carrier;
  • temporal state;
  • low jitter。

這可能需要 self-host / specialized service。


125. 第三代 Dedicated Renderer

最終:

single-step\text{single-step}

或少步數 neural renderer,

在 remote GPU 上專用執行。

此時才真正接近:

real-time DAINR.\text{real-time\ DAINR}.

126. 不把三代混成一個 Claim

本篇明確:

PrototypeFeasibility≠ProductionLatencyFeasibility.\boxed{ \text{PrototypeFeasibility} \neq \text{ProductionLatencyFeasibility}. }

第一代成功不能自動宣稱:

已可商業即時遊戲部署。


127. 與 DLSS 5 的核心差異

DLSS 5:

LocalEngine+LocalRTX50NeuralRenderer.\text{LocalEngine} + \text{LocalRTX50NeuralRenderer}.

DAINR:

LocalEngine+RemoteNeuralIntelligence+LocalTemporalReconstruction.\text{LocalEngine} + \text{RemoteNeuralIntelligence} + \text{LocalTemporalReconstruction}.

兩者共享:

  • 3D grounding;
  • motion;
  • temporal stability;
  • artist control。

但 execution location 不同。


128. 與 GeForce NOW 的核心差異

GeForce NOW:

CloudGame+CloudRenderer+VideoStream.\text{CloudGame} + \text{CloudRenderer} + \text{VideoStream}.

DAINR:

LocalGame+LocalBaseRenderer+CloudSelectiveIntelligence.\text{LocalGame} + \text{LocalBaseRenderer} + \text{CloudSelectiveIntelligence}.

129. 與 QuadStream 的關係

QuadStream:

CloudSceneRepresentation→ClientNovelView.\text{CloudSceneRepresentation} \rightarrow \text{ClientNovelView}.

DAINR:

LocalWorldCarrier→CloudAppearanceOperator→LocalTemporalView.\text{LocalWorldCarrier} \rightarrow \text{CloudAppearanceOperator} \rightarrow \text{LocalTemporalView}.

方向不同,

但都證明:

final video is not the only useful network boundary.\boxed{ \text{final video is not the only useful network boundary}. }

130. 與 Edge AI 的關係

如果 local NPU / GPU 未來更強:

CloudNeed↓.CloudNeed\downarrow.

DAINR 不會失效。

Cloud plane 可以逐步被 local backend 取代。

因為 OSR 已有:

Probe≠Backend.\text{Probe} \neq \text{Backend}.

131. Cloud 是可替換 Backend

今天:

CloudNeural.\text{CloudNeural}.

未來:

LocalNeural.\text{LocalNeural}.

只要兩者:

≡μ\equiv_{\mu}

對同一 obligation 可替代。

所以 DAINR 是 transition-friendly architecture。


132. 模型變強時

OSR compiler 自動把:

rcloud→rlocalr_{cloud} \rightarrow r_{local}

如果:

Costlocal<CostcloudCost_{local}<Cost_{cloud}

且品質足夠。


133. 模型更大時

反過來:

rlocal→rcloudr_{local} \rightarrow r_{cloud}

對 selected scope。

所以架構不假定硬體進化方向。


134. Local-First 原則

本篇第一代建議:

LocalFirst,CloudOptional.\boxed{ \text{LocalFirst}, \text{CloudOptional}. }

不是價值立場,

而是為了:

  • latency;
  • authority;
  • privacy;
  • failure isolation。

135. Cloud-First 也可存在

某些 offline cinematic mode:

CloudFirst\text{CloudFirst}

可能合理。

OSR 不禁止。

只是 profile 不同。


136. Domain Profiles

Competitive Game

CloudCriticalPath↓.CloudCriticalPath\downarrow.

Single-Player Cinematic

CloudEnhancement↑.CloudEnhancement\uparrow.

Photo Mode

CloudLatencyTolerance↑.CloudLatencyTolerance\uparrow.

Editor

CloudHighQuality↑.CloudHighQuality\uparrow.

XR

LocalReprojection↑.LocalReprojection\uparrow.

137. Photo Mode 是第一個很好的商業入口

Photo Mode 可以接受:

seconds.\text{seconds}.

所以 general cloud AI 可立即提供:

HighQualityEnhancement.\text{HighQualityEnhancement}.

這可能比即時 gameplay 更早落地。


138. Cutscene 預計算也是入口

若 cutscene camera 可預知:

SpeculativeAnchor.\text{SpeculativeAnchor}.

可提前生成。


139. Dialogue Close-Up

NPC 對話:

  • camera predictable;
  • face high value;
  • background low motion。

也是非常適合 sparse cloud anchor 的場景。


140. Static Strategy / RPG

相較 FPS,

畫面變化較慢。

因此:

AnchorLifetime↑.AnchorLifetime\uparrow.

DAINR 更容易先成立。


141. FPS 是高難場景

高:

  • camera angular velocity;
  • input sensitivity;
  • latency requirement;
  • disocclusion。

所以不應拿 FPS 作第一個 MVP。


142. MVP Scene Selection

第一個應選:

slow-to-medium camera, character-centric 3D scene.\boxed{ \text{slow-to-medium camera, character-centric 3D scene}. }

這最能驗證 cloud intelligence + local temporal reconstruction。


143. OSR-06 最小 Software Components

LocalWorldAdapter
BaseRenderer
APRController
OSRCompiler
ExportPolicy
CarrierEncoder
CloudBackendAdapter
ResultValidator
TemporalReconstructor
Compositor
EvidenceRecorder

144. 不先寫完整 Engine

MVP 可以用:

  • Godot;
  • Unity;
  • Unreal;
  • custom small scene。

OSR 不要求自研 graphics engine。


145. Engine Adapter

只需要能導出:

  • RGB base;
  • depth;
  • motion;
  • normal;
  • object mask;
  • camera;
  • revision。

146. Cloud Backend Adapter

第一代只需要:

submit(carrier, contract)
poll(request_id)
validate(response)

147. Temporal Reconstructor

第一代:

  • depth-aware warp;
  • motion vector;
  • blend;
  • base fallback。

之後才加 local neural。


148. Evidence Recorder

每個 frame 記:

  • plan ID;
  • world revision;
  • anchor ID;
  • cloud age;
  • fallback;
  • cost;
  • latency;
  • truth verification。

149. Debug Overlay

顯示:

  • base;
  • cloud region;
  • reused region;
  • temporal confidence;
  • stale;
  • rejected cloud;
  • cost heatmap。

150. 這個 Debug Overlay 很重要

否則只看 final frame,

很難知道:

畫質變好到底是哪層造成?


151. 第一代 Acceptance Criteria

至少:

  1. 沒網路仍可運作;
  2. cloud result 不能直接修改 world;
  3. stale response 會被拒絕;
  4. ROI cloud 能正常 compositing;
  5. camera cut 會 invalid history;
  6. cloud call frequency 低於 display frequency;
  7. local temporal frame 可在 anchors 間生成;
  8. verification fail 會 fallback;
  9. export-denied region 不上雲;
  10. 每次 cloud commit 有 receipt。

152. 第二代 Acceptance Criteria

加入:

  • latent carrier;
  • persistent cloud session;
  • dedicated neural renderer;
  • p95 latency;
  • anchor prediction;
  • multi-provider。

153. 第三代 Acceptance Criteria

真正 interactive:

UserPerceivedQuality\text{UserPerceivedQuality}

在:

60+FPS60+ FPS

顯示下維持,

而 cloud inference:

fC<fD.f_C<f_D.

154. 核心命題集

P1|Local World Authority

Authority(W)=LocalCanonical.\boxed{ Authority(W) = \text{LocalCanonical}. }

P2|Cloud Is a Manifestation Operator

CloudAI=ProjectionCapability,WorldWriteAuthority=0.\boxed{ \text{CloudAI} = \text{ProjectionCapability}, \quad WorldWriteAuthority=0. }

P3|Local Base Invariant

CloudFailure⇒MinimumManifestationRemains.\boxed{ \text{CloudFailure} \Rightarrow \text{MinimumManifestationRemains}. }

P4|Frequency Separation

fcloud≪fdisplay\boxed{ f_{cloud} \ll f_{display} }

可以成立。


P5|Anchor Amortization

1 CloudAnchor→N LocalFrames.\boxed{ 1\ CloudAnchor \rightarrow \text{N LocalFrames}. }

P6|Late Is Not Automatically Useful

LateResponse⇏VisibleCommit.\boxed{ \text{LateResponse} \not\Rightarrow \text{VisibleCommit}. }

P7|Minimum Necessary Export

Export=minimum carrier required by the selected obligation.\boxed{ \text{Export} = \text{minimum carrier required by the selected obligation}. }

P8|Pixel Is Not the Only Network Boundary

CloudReturn∈{pixel,residual,latent,material,lighting}.\boxed{ \text{CloudReturn} \in \{ \text{pixel}, \text{residual}, \text{latent}, \text{material}, \text{lighting} \}. }

P9|General Model Is Not Dedicated Renderer

GeneralCloudAI≠InteractiveNeuralRenderService.\boxed{ \text{GeneralCloudAI} \neq \text{InteractiveNeuralRenderService}. }

P10|Temporal Reconstruction Is a First-Class Renderer

TemporalReconstruction\boxed{ \text{TemporalReconstruction} }

不是簡單 workaround,而是 DAINR 的核心計算層。


P11|Cloud Intelligence Can Be Sparse

Intelligence Frequency≠Display Frequency.\boxed{ \text{Intelligence Frequency} \neq \text{Display Frequency}. }

P12|Cloud Extends Local Authority

Cloud intelligence should extend local rendering capability without replacing local world authority.\boxed{ \text{Cloud intelligence should extend local rendering capability without replacing local world authority.} }

155. 結論

如果把雲端 AI 想成:

一台遠端顯示卡,每幀替你畫完整畫面,

OSR-06 很快就會退化成 cloud gaming。

如果把它想成:

每秒呼叫 60 次圖片生成 API,

則 latency、jitter、成本與 temporal consistency 幾乎一定成為第一代系統的主要障礙。

本篇提出第三條路:

Local World+Sparse Cloud Intelligence+Local Temporal Reconstruction.\boxed{ \text{Local World} + \text{Sparse Cloud Intelligence} + \text{Local Temporal Reconstruction}. }

世界仍然在本地持續運作。

輸入仍然在本地低延遲閉環。

base renderer 永遠存在。

APR 只在:

RVOIcloud>Cost+RiskRVOI_{cloud} > Cost+Risk

時,才把一小部分顯現問題送到遠端。

Cloud 不必每幀知道整個世界。

它只需要對某些高價值 scope 回傳:

  • anchor;
  • residual;
  • latent;
  • material;
  • lighting;

本地再使用:

  • canonical geometry;
  • motion;
  • depth;
  • history;
  • local neural;

把這些低頻 appearance intelligence 展開成高頻 display。

因此,一張 RTX 3070 在這個架構中不再只是:

「跑不動下一代 neural renderer 的舊 GPU」。

它可以被重新定位為:

authoritative local world renderer and temporal reconstruction node.\boxed{ \text{authoritative local world renderer and temporal reconstruction node}. }

而雲端模型則成為:

remote high-capacity appearance operator.\boxed{ \text{remote high-capacity appearance operator}. }

兩者並不競爭同一個角色。

這也說明為什麼本篇不需要等到「雲端 AI 16 ms 生成 4K frame」才有研究價值。

第一代即使只做到:

1 anchor/several seconds1\ anchor / several\ seconds

只要它能證明:

Qualitylocal+cloud>QualitylocalQuality_{local+cloud} > Quality_{local}

同時:

CloudFrequency≪DisplayFrequency,\text{CloudFrequency} \ll \text{DisplayFrequency},

並且:

WorldAuthority=Local,\text{WorldAuthority} = \text{Local},

就已經證明了一個不同於 cloud gaming 與 local-only neural rendering 的架構類。

因此本篇的最終命題是:

The cloud does not need to render every frame to contribute intelligence to every frame.\boxed{ \text{The cloud does not need to render every frame to contribute intelligence to every frame.} }

156. 下一篇

OSR-07

《可反證的觀察者渲染:品質、延遲、成本、一致性與結構保真》

下一篇將完成 OSR 第一卷理論閉包。

它會建立:

  • benchmark;
  • baseline;
  • ablation;
  • quality metrics;
  • structural fidelity;
  • temporal consistency;
  • latency;
  • cloud cost;
  • bandwidth;
  • truth violations;
  • RVOI;
  • render avoidance;
  • anchor efficiency;
  • human evaluation;
  • falsification criteria。

最終回答:

OSR 到底如何被證明有用,或被證明沒有用?\boxed{ \text{OSR 到底如何被證明有用,或被證明沒有用?} }

參考資料

EveMissLab / OSR

  1. Neo.K. 從萬能光到觀察者主權渲染:理論譜系重構與研究綱領. OSR-00, v0.1, 2026.
  2. Neo.K. 我們到底想看什麼?觀察者、目的與顯現場. OSR-01, v0.1, 2026.
  3. Neo.K. 從射線到觀察探針:廣義觀察算子與感知渲染編譯器. OSR-02, v0.1, 2026.
  4. Neo.K. 異質渲染場:Raster、Ray、Neural、Semantic 與 Reuse 的統一選擇. OSR-03, v0.1, 2026.
  5. Neo.K. APR 治理的自適應渲染:感知預算、表示深度與動態重算. OSR-04, v0.1, 2026.
  6. Neo.K. 世界真值與顯現真值:生成式渲染中的一致性、幻覺與表示主權. OSR-05, v0.1, 2026.
  7. EveMissLab. APR — Adaptive Perceptual Reading / Agentic Perception Runtime. https://github.com/kakon77777-commits/APR
  8. EveMissLab. MRMIC/NVCL. https://github.com/kakon77777-commits/MRMIC_NVCL
  9. EveMissLab. PNCW — Projection-Native Computational World. https://github.com/kakon77777-commits/PNCW

外部研究與官方技術資料

  1. NVIDIA ADLR. DLSS 5: Generative Neural Rendering. Published 2026-09-01. https://research.nvidia.com/labs/adlr/DLSS5/
  2. NVIDIA GeForce. DLSS 5 3D-Guided Neural Rendering Debuts in NBA 2K27. 2026. https://www.nvidia.com/en-us/geforce/news/dlss-5-3d-guided-neural-rendering/
  3. Perel, O., Abu Alhaija, H., Wang, Z., Munkberg, J., Atzmon, M., Fidler, S., & Shugrina, M. TRON: Tracing Rays to Orchestrate a Neural Renderer for 3D Gaussian Reconstructions. arXiv:2606.11314, 2026. https://research.nvidia.com/labs/sil/projects/tron/
  4. NVIDIA. NVIDIA Blackwell Architecture Comes to GeForce NOW. https://nvidianews.nvidia.com/news/nvidia-blackwell-architecture-comes-to-geforce-now
  5. NVIDIA. GeForce NOW at CES 2026. https://blogs.nvidia.com/blog/geforce-now-ces-2026/
  6. NVIDIA CloudXR SDK. Network Setup. https://docs.nvidia.com/cloudxr-sdk/latest/requirement/network_setup.html
  7. Zhang, K., et al. QuadStream: A Quad-Based Scene Streaming Architecture for Novel Viewpoint Reconstruction. NVIDIA Research, 2022. https://research.nvidia.com/publication/2022-12_quadstream-quad-based-scene-streaming-architecture-novel-viewpoint
  8. Tokey, S. S., Boudaoud, B., Spjut, J., & Claypool, M. Adaptive Time Delay for Improving Player Experience and Fairness in First-Person Shooter Games with Network Latency. Foundations of Digital Games, 2026. https://research.nvidia.com/publication/2026-08_adaptive-time-delay-improving-player-experience-and-fairness-first-person

附錄 A|第一代資料流

Local World
   ↓
Base Renderer
   ↓
Depth / Normal / Motion / Mask / RGB
   ↓
APR + PRC
   ↓
Export Gate
   ↓ selected ROI / carrier
Cloud AI
   ↓
Anchor / Residual
   ↓
Local Verification
   ↓
Temporal Reconstruction
   ↓
Local Compositor
   ↓
Visible Frame

附錄 B|第一代 Cloud Request Contract

request:
  request_id
  world_revision
  camera_revision
  scope
  carrier_schema
  carrier_hash
  preservation_contract
  generation_contract
  deadline
  provider_capability
  export_policy_revision

附錄 C|第一代 Cloud Response Contract

response:
  request_id
  source_world_revision
  backend_revision
  output_class
  output_hash
  carrier_schema
  latency
  provenance
  optional_confidence

附錄 D|一句話版本

OSR-06 不把雲端 AI 當成每幀遠端畫圖器,而把它當成低頻、高容量、可選擇的 appearance operator:本地保留 canonical world、base renderer、APR、verification 與 temporal reconstruction;雲端只處理被 APR 判定值得上雲的最小 carrier/ROI,回傳 anchor、residual 或 latent,再由本地把稀疏 cloud intelligence 展開成高頻、可回退、世界真值仍由本地控制的顯示。