- title
- 分散式 AI 原生渲染:Local World、Cloud Intelligence 與 Temporal Reconstruction
- english_title
- Distributed AI-Native Rendering: Local World, Cloud Intelligence, and Temporal Reconstruction
- series
- Observer-Sovereign Rendering(OSR)
- paper_id
- OSR-06
- author
- Neo.K
- ai_collaboration
- GPT-5.6 Sol
- institution
- EveMissLab/一言諾科技有限公司
- version
- v0.1
- date
- 2026-09-18
- language
- zh-TW
- document_type
- 理論論文/distributed neural rendering/cloud-assisted graphics/temporal reconstruction
- status
- 初版完成
分散式 AI 原生渲染
Local World、Cloud Intelligence 與 Temporal Reconstruction
Distributed AI-Native Rendering
Local World, Cloud Intelligence, and Temporal Reconstruction
論文編號: OSR-06
系列: Observer-Sovereign Rendering(OSR)/觀察者主權渲染
作者: Neo.K
AI 協作: GPT-5.6 Sol
機構: EveMissLab/一言諾科技有限公司
版本: v0.1
日期: 2026 年 9 月 18 日
摘要
OSR-01 至 OSR-05 已建立觀察者條件化顯現、Observation Probe、Perceptual Rendering Compiler(PRC)、Heterogeneous Rendering Field(HRF)、APR-governed adaptive rendering,以及 world truth / manifestation truth 的真值防火牆。本篇處理今日最直接的工程命題:
如果本地 GPU 的生成/神經渲染能力不足,可否把高容量 AI 放到雲端,卻仍讓遊戲世界、互動、低延遲顯示與真值權威留在本地?
本文提出 Distributed AI-Native Rendering(DAINR)架構。與傳統 cloud gaming 將整個遊戲與 renderer 搬到遠端、再串流最終影片不同,DAINR 將系統拆成三個主要平面:
Local Canonical World+Cloud Intelligence Plane+Local Temporal Reconstruction
本地端持有 canonical world state、simulation、input loop、base renderer、authoritative geometry / motion / identity、APR controller、truth firewall、temporal cache 與 final compositor;雲端只接收經 export policy 篩選後的最小必要 carrier,執行 selected neural / multimodal appearance computation,再回傳 pixel anchor、residual、latent、material / lighting field 或其他非 canonical manifestation carrier。本地端驗證其 world revision、camera state、identity、structure、freshness 與 provenance 後,才允許 projection commit。
本文核心關係不是:
60 FPS display=60 cloud generations/s,
而是:
fcloud≪fdisplay.
雲端只在高價值區域、關鍵事件、場景切換或 APR 判斷有足夠 Rendering Value of Information(RVOI)時產生高階 appearance anchor。本地端則以 motion vectors、depth、world transforms、temporal history、local neural reconstruction 與 conventional rendering,把低頻 cloud intelligence 展開成高頻顯示。
本文正式區分兩種 cloud realization。第一種是現行 general-purpose multimodal / image-generation service,可用於低頻 anchor、研究驗證與 ROI enhancement,但通常不應被放入毫秒級 blocking critical path。第二種是未來或專用的 cloud neural-render service,其 transport、模型、carrier、streaming 與 inference path 專門為 interactive graphics 最佳化。此分界避免將「現有雲端 AI 可以產生高品質圖像」錯誤等同於「現有一般 API 已適合每幀即時遊戲渲染」。
2026 年的技術進展支持本架構的多個子命題。NVIDIA DLSS 5 已將 3D-guided generative neural rendering 放在 final rendering stage,使用 engine frame、motion vectors、temporal state 與 scene attributes 保持結構、確定性與時序穩定;TRON 則使用 ray-traced PBR / irradiance condition 驅動 single-step neural renderer,在互動速度下維持 geometry、material、lighting control。雲端側,GeForce NOW 已證明高品質遊戲畫面可透過全球資料中心以低延遲串流,官方曾公布支援 1080p 360 FPS 且 click-to-pixel 可低至約 30 ms、許多支援區域 network latency 可低於 30 ms;CloudXR 文件則明確將 end-to-end latency、jitter 與 reprojection 視為關鍵診斷量。QuadStream 等研究也說明:完全影片串流與完全 client rendering 之間存在「傳送可重投影 scene representation、本地即時生成鄰近視點」的中間架構空間。
本文進一步提出 Anchor Packet、Carrier Contract、Revision Binding、Late-Result Rejection、Temporal Reconstruction Window、Disocclusion Escalation、Cloud Value Gate、Speculative Anchor、ROI Export、Latent Return、Provider Fallback、Privacy Boundary、Bandwidth / Cost Model、Local Base Invariant 與 3070 Constrained Baseline Experiment。
本篇的核心命題是:
Cloud intelligence should extend local rendering authority, not replace local world authority.
以及:
Interactive neural rendering does not require remote intelligence to run at display frequency if local temporal reconstruction can preserve structure between sparse cloud anchors.
下一篇 OSR-07 將以品質、結構、時間一致性、延遲、雲端成本、重算率、truth violation 與 user-visible quality 建立完整可反證 benchmark。
關鍵詞: Distributed Rendering、Cloud Neural Rendering、Temporal Reconstruction、APR、DLSS 5、TRON、Cloud Gaming、Reprojection、Latent Rendering、RTX 3070、Observer-Sovereign Rendering
0. 本篇的位置
OSR-01:
what must become manifest?
OSR-02:
how is it compiled?
OSR-03:
which renderer should realize it?
OSR-04:
when should it be recomputed?
OSR-05:
what may the result claim to be?
OSR-06:
where should the expensive intelligence run?
這裡的:
where
不只是:
CPU/GPU.
而是:
Local↔Cloud.
1. 傳統 Cloud Gaming 與本篇不同
傳統 cloud gaming 的簡化形式:
Inputclient→CloudGame→CloudRenderer→EncodedVideo→ClientDisplay.
世界模擬與 rendering 主要都在 cloud。
client 主要負責:
- input;
- decoding;
- display;
- latency compensation。
本篇研究:
LocalGame+RemoteIntelligence.
亦即:
LocalWorld→CloudSelectedComputation→LocalComposition.
2. 為什麼不直接 Cloud Gaming
如果目的只是:
讓弱 GPU 玩高畫質遊戲。
Cloud gaming 已經是成熟方向。
但 OSR 的研究問題不同:
- world state 是否可留本地;
- simulation 是否可留本地;
- mod / local assets 是否不需全部上傳;
- 是否只租用 AI appearance intelligence;
- 是否讓 cloud inference frequency 遠低於 display frequency;
- 是否讓不同 regions 各自決定 local / cloud;
- 是否保留本地 fallback;
- 是否讓 cloud output 永遠不取得 world authority。
所以:
DAINR=CloudGaming.
3. 三平面架構
本文提出:
D=(L,C,T).
其中:
- L:Local Canonical Plane;
- C:Cloud Intelligence Plane;
- T:Local Temporal Reconstruction Plane。
4. Local Canonical Plane
本地端至少持有:
Lt=(Wt,Simt,Inputt,Btbase,Mt,APRt,PRCt,Trutht,Cachet).
其中:
- Wt:canonical world;
- Simt:simulation;
- Inputt:input loop;
- Btbase:base rendering buffers;
- Mt:motion / transform state;
- APRt:APR controller;
- PRCt:Perceptual Rendering Compiler;
- Trutht:truth firewall;
- Cachet:temporal / neural cache。
5. 本地世界權威
本篇第一條 invariant:
Authority(Wt)=LocalCanonical.
第一代 MVP 不讓 cloud 持有:
WorldWriteAuthority.
Cloud 只輸出:
ProjectionCandidate.
6. 本地 Base Renderer
定義:
Rbase.
要求:
CloudUnavailable⇒Rbase still produces a valid minimum manifestation.
這是 OSR-06 最重要的 reliability invariant。
7. Base Renderer 不必漂亮
它只需滿足:
MinimumManifestation.
可以是:
- raster;
- PBR;
- low ray budget;
- lower resolution;
- lower material complexity。
Cloud enhancement 負責:
PreferredAppearance.
8. Cloud Intelligence Plane
雲端:
Ct=(Modelt,Contextt,Inferencet,Providert,Returnt).
它可以提供:
- neural appearance;
- material enhancement;
- relighting;
- semantic detail;
- high-capacity reconstruction;
- latent anchor;
- object-local enhancement。
9. Cloud 不需要知道完整世界
本篇原則:
Minimum Necessary Export.
不是:
Upload(Wt).
而是:
Xtcloud=Extract(Wt,Ω,Contract,ExportPolicy).
10. Export Package
定義:
Xt=(Rt,Gt,Dt,Nt,Vt,Mt,St,Ht,Ct,Pt).
可能包含:
- Rt:rough / base RGB;
- Gt:geometry proxy;
- Dt:depth;
- Nt:normal;
- Vt:motion vector;
- Mt:material carrier;
- St:semantic mask / class;
- Ht:temporal history subset;
- Ct:artistic / observer controls;
- Pt:provenance / preservation contract。
實際 backend 不必需要全部。
11. Minimum Carrier Selection
Compiler 求:
Xt∗=argXminSize(X)
subject to:
Quality(X)≥τQ,
Structure(X)≥τS,
Privacy(X)=PASS.
12. ROI Export
若只需要角色臉:
Ω=Ωface.
不應傳整幀:
Frame4K.
而是:
Crop+Depth+Motion+Mask+Context.
所以:
CloudScope⊆DisplayScope.
通常成立。
13. Context Halo
純 crop 可能不足。
因此定義:
Ωexport=Ωtarget⊕Halo(r).
Halo 提供:
- lighting context;
- local geometry;
- nearby color;
- motion boundary。
但:
r
應受 privacy / bandwidth budget 約束。
14. Semantic-Minimal Export
某些 cloud task 不需要 raw pixel。
例如:
MaterialEnhancement
可以只傳:
- material class;
- normal;
- lighting;
- latent。
如果可行:
PixelExport=0.
這可能更省頻寬,也更保護內容。
15. Cloud Return Classes
Cloud 不必永遠回 RGB。
定義:
Yt∈{Itanchor,ΔIt,Zt,Lt,Mt′,St′}.
其中:
- Itanchor:完整/局部 pixel anchor;
- ΔIt:appearance residual;
- Zt:latent carrier;
- Lt:lighting field;
- Mt′:material representation;
- St′:semantic enhancement。
16. Pixel Anchor
最直觀:
Yt=Itanchor.
優點:
- 容易 prototype;
- 不需 shared decoder。
缺點:
- bandwidth 高;
- temporal reuse 困難;
- local editability 低。
17. Residual Return
Cloud 回:
ΔIt=Itcloud−Itbase.
本地:
It=Itbase+ΔIt.
優點:
- 強調 enhancement;
- base fallback 自然存在。
18. Latent Return
Cloud 回:
Zt.
本地:
It=Dlocal(Zt,Gt,Dt,Vt).
可能降低:
Bandwidth.
但需要:
- shared decoder;
- version binding;
- latent compatibility;
- local compute。
19. Material / Lighting Return
更進一步:
Yt=(MaterialLatent,LightingLatent).
本地仍負責 final shading / decode。
這最接近:
cloud 理解世界應該「長什麼樣」,
local GPU 負責高速展開。
20. 第一代 Prototype 不應先做 Latent
雖然 latent architecture 很漂亮,
MVP 第一版應優先:
PixelAnchor/Residual.
因為最容易驗證:
- quality;
- latency;
- cost;
- temporal consistency。
等 proof-of-concept 成立,再做 latent。
21. General Cloud Model 與 Dedicated Neural Renderer
本文正式分成:
Cgeneral
與:
Crender.
22. General Cloud Model
例如 general multimodal / image generation service。
其優點:
- 可立即實驗;
- visual prior 強;
- 不需訓練專用 model。
缺點通常包括:
- latency 高;
- nondeterministic;
- API rate limit;
- non-streaming;
- cost;
- weak temporal contract。
所以:
Cgeneral
適合:
- anchor;
- scene transition;
- ROI enhancement;
- offline benchmark;
- appearance experiment。
23. Dedicated Cloud Neural Renderer
Crender.
其理想特性:
- persistent session;
- engine carrier input;
- low-step / single-step inference;
- low jitter;
- region API;
- latent API;
- temporal state;
- deterministic mode;
- bounded latency;
- streaming transport。
這才可能進入:
interactive critical path.
24. 不把當代 API 能力當理論前提
OSR-06 的成立條件不是:
2026 一般 API 已經能每 16 ms 回一張 4K 圖。
不需要。
本篇只要求:
∃ remote high-capacity appearance computation
而其更新頻率可以低於 display frequency。
25. Display Frequency 與 Intelligence Frequency 分離
核心:
fC≪fD.
其中:
- fC:cloud intelligence update frequency;
- fD:display frequency。
例如:
fD=60–144Hz,
而:
fC=0.2–10Hz
在不同 backend / task 下皆可能成立。
這些數字是 architecture examples,不是普遍保證。
26. Anchor
定義 cloud anchor:
Ak=(Ytk,WorldRevisiontk,Cameratk,Contracttk).
anchor 只對特定:
- world revision;
- camera neighborhood;
- object state;
- truth contract;
有效。
27. Anchor Interval
ΔtA=tk+1−tk.
APR 動態決定:
ΔtA.
穩定場景:
ΔtA↑.
高動態:
ΔtA↓.
28. Anchor 不是 Frame
Cloud anchor 可以服務:
n>1
個 display frames。
因此:
1 CloudAnchor→ManyLocalFrames.
29. Local Temporal Reconstruction Plane
本地:
Tt=(Depth,Motion,Transforms,History,Anchor,LocalModel).
輸出:
Ft.
30. 最小 Temporal Reconstruction
最簡:
Ft+1=Warp(Ak,Dt,Vt,Camerat).
再與:
Rbase(Wt+1)
融合。
31. Base-Guided Reconstruction
比較安全:
Ft=Blend(Btbase,Warp(Ak),Confidencet).
如果 warp confidence 低:
Btbase
權重提高。
32. Local Neural Reconstruction
可加入:
RlocalN.
輸入:
- base;
- warped anchor;
- motion;
- depth;
- history。
輸出:
Ftrefined.
這是 3070 可以負責的較小工作。
33. 3070 的角色
RTX 3070 不需要跑大型 cloud model。
它可以負責:
- base raster;
- limited ray;
- motion vector;
- depth;
- temporal warp;
- lightweight neural;
- final composition;
- verification。
所以:
3070=Thin−but−AuthoritativeRenderer.
34. 為什麼舊 GPU 反而適合作研究條件
如果本地 GPU 太強,
cloud augmentation 的必要性下降。
3070 可以刻意形成:
Blocal<Bdesired.
測試:
LocalConstrained+CloudSparseIntelligence
是否產生更高 utility-per-cost。
35. Camera Motion
Anchor 只在有限 view neighborhood 有效。
定義:
dC(Camerat,Cameraanchor).
若:
dC<τC,
可 warp / reconstruct。
若:
dC≥τC,
trigger new anchor。
36. Object Motion
對 object o:
To(t)
為 transform。
如果:
ΔTo
過大,
object-local anchor 失效。
37. World Revision Binding
每個 cloud request 綁:
WorldRevision.
response 回來時:
revisionresponse=?revisioncompatible.
若已過期:
Reject/LateCache.
38. Late Result Rejection
雲端最大問題之一:
回來時世界已經變了。
所以:
Late=Useful.
如果:
WorldRevisiont−WorldRevisionrequest>τR,
response 不進 visible commit。
39. Late Result 不一定完全丟棄
如果 output 是:
- material latent;
- static background;
- asset-local knowledge;
仍可進:
FutureCache.
所以:
LateVisible=0
不一定:
ReuseValue=0.
40. Camera Cut
如果:
CameraCut=1,
temporal history 通常:
Invalidate.
此時:
BaseRenderer
先接管。
Cloud anchor 可 asynchronous rebuild。
41. Teleport / Scene Transition
同理:
FullRefreshGate=1.
不要試圖 warp 舊 anchor。
42. Disocclusion
temporal reconstruction 最難問題之一:
PreviouslyHidden→Visible.
舊 anchor 沒有該 pixel。
因此:
DisocclusionMask.
43. Disocclusion Policy
對 disoccluded region:
- local base fill;
- local neural refine;
- APR 評估是否值得 cloud refresh;
- 不可用舊 anchor hallucinate canonical structure。
44. Multi-Layer History
可保留多層 history:
Ht(1),Ht(2),….
先前被遮蔽 content 可能在後續重新可用。
這與 multi-layer temporal reuse 的研究方向一致。
45. Temporal Confidence Field
定義:
CT(x,t)∈[0,1].
由:
- motion confidence;
- depth confidence;
- disocclusion;
- age;
- world delta;
- identity;
決定。
46. Composition Weight
Ft(x)=CT(x,t)Atwarp(x)+(1−CT(x,t))Btbase(x).
只是第一代形式。
實際可由 learned compositor 取代。
47. Temporal Drift
即使每一幀看起來合理,
長時間 warp 可能:
Drift↑.
所以 anchor 必須定期刷新。
48. Drift Trigger
定義:
Dt=D(Ft,Referencet).
若:
Dt>τD,
APR trigger:
NewAnchor.
Reference 可以是:
- base structural;
- local verifier;
- occasional fresh cloud;
- ray reference。
49. Cloud Value Gate
不是所有 scope 都上雲。
定義:
CVG(x)=RVOIcloud(x)−Ccloud(x)−TRcloud(x).
若:
CVG(x)>0,
才成為候選。
50. Cloud Cost
Ccloud=Capi+Cnetwork+Clatency+Cserialization+Cverification+Cfailure.
不能只看 API 美元。
51. Cloud Risk
TRcloud
包含:
- truth risk;
- privacy;
- nondeterminism;
- provider drift;
- unavailable revision;
- outage;
- jitter。
52. Cloud Benefit
Bcloud=ΔQuality+ΔTaskUtility+ΔAppearance.
Cloud selection:
Bcloud>Ccloud+TRcloud.
53. Speculative Anchor
如果 APR 預測:
P(Need(x,t+Δ))>ps,
可提前 request。
例如:
- 玩家朝新房間移動;
- cutscene 即將開始;
- NPC 對話將進 close-up。
54. Speculative Waste
若預測錯:
Cwaste.
所以:
Bspec
必須有限。
55. Prefetch Window
定義:
Tprefetch.
如果預測事件距離:
Δt
大於 cloud latency p95,
可以提前送出。
56. Cloud Latency Distribution
不是只看平均:
Lmean.
應看:
P50,P95,P99.
因為 jitter 直接影響 temporal system。
57. GeForce NOW 的外部意義
GeForce NOW 已展示 cloud rendering 在良好網路條件下可以進入低延遲互動域;NVIDIA 曾公布 Blackwell GeForce NOW 支援 1080p 360 FPS、click-to-pixel 最低約 30 ms,且許多支援區域 network latency 可低於 30 ms。
這不能直接證明 general AI image API 也有相同 latency。
它只證明:
low-latency remote graphics transport is physically and operationally achievable under controlled infrastructure.
58. CloudXR 的外部意義
CloudXR 文件將:
- end-to-end latency;
- upload;
- receive;
- dejitter buffer;
- display submission;
- p90/p95/p99 jitter;
列為主要診斷量。
因此 OSR-06 把:
Jitter
視為一等資源狀態,而不是只看 bandwidth。
59. QuadStream 的外部意義
QuadStream 指出 cloud rendering 架構並非只有:
VideoStreaming
與:
FullClientRendering
兩極。
它透過傳送近似 scene representation,讓 client 可在本地生成 nearby novel views,以降低 motion-to-photon latency 並處理 disocclusion。
其 OSR 意義:
remote rendering can transmit reusable representation rather than final video only.
這正支持 latent / anchor / carrier architecture。
60. Bandwidth Model
若 pixel anchor:
Bpix=Resolution×Channels×Bytes×fC.
壓縮後:
Bcodec.
Latent:
Blatent=∣Z∣×fC.
ROI:
BROI≪Bfull
在適當場景成立。
61. 不追求固定格式
Carrier format 應由 backend capability negotiation 決定。
例如:
pixel
latent
material
residual.
OSR core 不固定。
62. Carrier Version
每個 carrier:
CarrierVersion.
Local decoder / compositor 必須確認相容。
63. Model–Decoder Binding
若 cloud model:
Mv
回 latent,
本地 decoder:
Dv
必須相容。
所以:
LatentContract=(ModelRevision,DecoderRevision,CarrierSchema).
64. Model Update
Provider 更新 model:
Mv→Mv+1.
若 latent schema 變:
Compile/Rebind.
不能 silent reuse 舊 decoder。
65. Pixel Return 相對穩健
因為:
PNG/RGB
contract 較穩。
所以第一代 external cloud prototype 應以 pixel / residual 為主。
66. Privacy Boundary
OSR-05 已有 export authority。
本篇增加:
ExportMaskt(x).
只有:
ExportMask=ALLOW
的 region 才可上雲。
67. Sensitive Region
例如:
- unreleased asset;
- chat message;
- personal info;
- secret UI;
- local file;
- face;
- account identifier。
可以:
ExportMask=DENY.
68. Redaction
若 cloud 只需要 lighting context,
可以對 sensitive content:
Redact.
傳:
- depth;
- mask;
- anonymous material;
- low-detail proxy。
69. Semantic Leakage
即使不傳 RGB,
semantic labels 也可能敏感。
所以 privacy 不只是:
PixelPrivacy.
還包括:
SemanticPrivacy.
70. Export Receipt
每次 cloud call 記:
- scope;
- carrier classes;
- byte count;
- provider;
- model;
- source revision;
- privacy policy revision;
- request hash。
不保存 secret token。
71. Provider Failure
若:
Timeout,5xx,Quota,NetworkDown,InvalidOutput,VerificationFail,
則:
Fallback.
72. No Automatic World Retry
Cloud retry 可能造成:
- duplicate cost;
- late output;
- state mismatch。
所以 first MVP 可以:
Retry=0
預設。
再由 APR 決定是否重新發 request。
73. Request Identity
每個 cloud request:
RID=Hash(WorldRevision,Scope,Camera,Contract,BackendRevision).
避免同一 request 重複 commit。
74. Idempotent Commit
同一:
RID
只能 commit 一次。
Late duplicate:
Ignore.
75. Provider A/B
OSR-06 可支援:
ProviderA,ProviderB.
但不要在 critical frame 同時雙 call,除非 benchmark。
APR 根據:
- latency;
- quality;
- price;
- availability;
選擇。
76. Provider Neutrality
PRC 只看到:
CapabilityDescriptor.
不是 provider brand。
所以:
CloudPlane⊥VendorIdentity.
77. Cloud Result Verification
至少:
Vstruct,Videntity,Vtemporal,Vtruth.
高價值 region 才需要全部。
78. Local Structural Verifier
因為 canonical geometry 在本地,
最適合由本地驗證:
- silhouette;
- object count;
- pose;
- ID;
- depth relation。
不需要再問 cloud:
你有沒有畫對?
79. Cloud Self-Verification 不足
同一 model 說:
我畫對了。
不構成獨立 verification。
所以:
Generator=IndependentVerifier
是 preferred architecture。
80. Final Compositor
所有 output 最後:
Compositor(Base,Cloud,LocalNeural,Semantic,UI).
Compositor 仍由 local control。
81. Commit Priority
順序可以:
- mandatory safety;
- base world;
- verified local enhancement;
- verified cloud enhancement;
- optional decorative late result。
82. Late Upgrade
Cloud output 回來晚,
但仍在相容 window:
LateUpgrade.
可以:
- blend in;
- next frame;
- next shot;
- cache only。
83. 不允許整幀突變
若 cloud output 與 base 差異:
D>τpop,
使用:
- blend;
- masked transition;
- next scene cut;
- reject。
84. Local Temporal Window
定義:
Ht={Ft−k,…,Ft}.
history 長度:
k
由:
- VRAM;
- motion;
- backend;
- drift;
決定。
85. Short History vs Long History
short:
long:
- temporal context 多;
- VRAM 高;
- stale risk 高。
APR 選:
ht.
86. Cloud Statefulness
Cloud backend 也可以有 session state:
SC.
例如保存:
- scene appearance;
- object latent;
- material identity。
但:
SC
不是 canonical world。
87. Cloud Session Loss
若 session 掛掉,
local world 完整。
只失去:
appearance acceleration.
所以:
CloudStateLoss⇒WorldStateLoss.
88. Cloud Cache
可以 cache:
AssetAppearance(asset,condition).
例如角色皮膚、特定材質。
如果 camera / lighting 接近:
ReuseCloudAsset.
89. Cross-Scene Reuse
某些 material latent 可跨 scene。
但必須綁:
- asset version;
- material version;
- model revision。
90. Cost Amortization
一次 cloud inference:
CA.
若可供:
N
幀/多視角 reuse,
平均成本:
Cˉ=NCA.
這是 DAINR 成本優勢關鍵之一。
91. Anchor Value
定義:
AV(Ak)=Cost(Ak)UtilityOverLifetime(Ak).
APR 應追求高:
AV.
而非多 cloud call。
92. Cloud Call Efficiency
OSR-04 已有:
CCE.
本篇具體化:
CCE=AllCloudRequestsCommittedUsefulCloudAnchors.
93. Anchor Lifetime
TA=tinvalid−tcommit.
理想:
TA↑
而不是 cloud request frequency ↑。
94. Local Reconstruction Ratio
定義:
LRR=DisplayFramesDisplayFramesProducedWithoutFreshCloudInference.
DAINR 應有高:
LRR.
95. Cloud Dependency Ratio
CDR=FramesFramesWhoseMinimumManifestationRequiresCloud.
第一代 OSR 目標:
CDR≈0.
cloud 用於 preferred enhancement。
96. First-Mile / Last-Mile Thinking
傳統 cloud gaming:
Cloud→FinalVideo.
DAINR:
Local→MeaningfulCarrier→CloudIntelligence→ReusableCarrier→LocalDisplay.
這是雙向中間表示交換。
97. Cloud Intelligence as Remote Operator
可以抽象:
NC:Klocal→Kappearance.
它不是遠端 framebuffer。
而是遠端 appearance operator。
98. Distributed Rendering Algebra
整體:
Ft=RL(Wt)⊕TL(NC(Xtk),Ht,Wt).
其中:
- RL:local baseline;
- NC:cloud intelligence;
- TL:local temporal reconstruction;
- ⊕:governed composition。
99. APR 決定何時呼叫 Cloud
CallCloud(x)=1
當:
RVOIcloud>Ccloud+TRcloud
且:
ExportAllowed=1.
100. APR 決定 Cloud Depth
Cloud 也不是只有:
ON/OFF.
可以:
dC∈{low,medium,high}.
例如:
- 512 ROI;
- 1K ROI;
- full-frame anchor;
- latent only。
101. APR 決定 Cloud Frequency
νC(x)=f(motion,risk,goal,drift,cost,latency).
這就是:
Cloud Intelligence Budgeting.
102. 3070 Baseline Experiment
第一代硬體:
RTX3070.
目標不是:
證明 3070 變成 RTX 5090。
而是:
Can sparse cloud intelligence increase visual utility beyond the local 3070 rendering budget?
103. Baseline A
A=LocalRaster.
量:
104. Baseline B
B=LocalRaster+LocalNeural.
105. Baseline C
C=NaiveCloud.
例如每個 keyframe 都完整 cloud。
預期:
- quality 高;
- latency / cost 差。
這是正確失敗 baseline。
106. System D
D=APR+ROICloudAnchor+LocalTemporal.
107. System E
E=APR+CloudResidual/Latent+LocalTemporal+TruthVerification.
後期版本。
108. 第一個場景
靜態房間 + 角色。
測:
- face cloud enhancement;
- background reuse;
- camera orbit;
- lighting change。
109. 第二個場景
高速角色移動。
測:
- motion;
- anchor invalidation;
- local fallback。
110. 第三個場景
camera cut / teleport。
測:
FullRefresh.
111. 第四個場景
network jitter / outage。
測:
CloudFailure⇒BaseContinues.
112. 第五個場景
敏感 UI / private texture。
測:
ExportMask.
113. 第六個場景
Cloud hallucination injection。
故意讓 cloud:
測:
TruthFirewall.
114. 指標
至少:
Q=VisualQuality.
S=StructuralFidelity.
T=TemporalConsistency.
L=PerceivedLatency.
C=CloudCost.
B=Bandwidth.
P=ProvenanceCompleteness.
W=WorldViolationRate.
115. Anchor Metrics
AnchorRate,
AnchorLifetime,
AnchorReuseCount,
AnchorWasteRate.
116. Network Metrics
RTT,P95,P99,Jitter,BytesUp,BytesDown.
117. Local Metrics
GPUTime,VRAM,LocalDecodeTime,WarpTime,VerifierTime.
118. User-Visible Metrics
PopRate,FlickerRate,DriftRate,FallbackVisibility.
119. Cloud Cost per Useful Second
定義:
CUS=SecondsOfCommittedEnhancedDisplayCloudCost.
比單純:
CostPerCall
更有意義。
120. Bandwidth per Useful Enhancement
BUE=CommittedQualityGainTransferredBytes.
121. Research Hypotheses
H1|Sparse Cloud Beats Naive Cloud
CAPR−cloud<Cnaive−cloud
且:
QAPR−cloud≈Qnaive−cloud
在部分場景成立。
H2|Cloud Frequency Can Be Lower Than Display Frequency
存在場景:
fC≪fD
而:
T≥τT,Q≥τQ.
H3|Local World Authority Improves Robustness
network failure 時:
TaskContinuitylocal−world>TaskContinuitycloud−world.
H4|Structured Carriers Improve Neural Fidelity
相較 RGB-only:
RGB+Depth+Motion+Mask
應降低 structural / temporal violations。
H5|ROI Export Reduces Cost
BytesROI<Bytesfull
且 target quality 不顯著下降。
H6|Local Verification Contains Cloud Hallucination
WorldViolationCommitRate
應低於無 verification system。
H7|Cloud Anchors Amortize
對穩定/中等動態場景:
AnchorReuseCount>1.
122. 可反證條件
F1|Cloud Latency Too High
若所有 cloud result 都在 usefulness window 後才返回:
CloudValue→0.
則 general cloud model 只能做 offline / precompute。
F2|Temporal Reconstruction Quality Insufficient
若:
fC≪fD
導致嚴重 drift / pop,
必須提高 cloud frequency 或改 dedicated model。
F3|Carrier Bandwidth Too High
若傳:
Depth+Motion+Normal+RGB
成本接近 full video cloud gaming,
架構收益下降。
F4|Verification Cost Erases Gain
若 local verifier 比 cloud gain 更昂貴,
需降低 verification granularity 或改模型。
F5|General Model Cannot Respect Structure
若 general cloud model 持續破壞 identity / geometry,
它不適合作 interactive enhancement,只能作研究 baseline。
F6|3070 Local Reconstruction Too Heavy
若 thin-client local tasks 本身把 3070 壓滿,
需更輕 compositor / decoder。
F7|Provider Drift Breaks Reproducibility
若 opaque provider model update 造成不可控外觀改變,
production 路線需要 dedicated / pinned model。
123. 第一代 General Cloud MVP 的誠實定位
第一版可以接受:
Lcloud=seconds.
只要用途是:
- scene anchor;
- static ROI;
- before/after benchmark;
- appearance reference。
它仍然可以驗證:
architecture semantics.
124. 第二代 Interactive Cloud MVP
需要:
Lcloud≪1s
且:
- persistent connection;
- region carrier;
- temporal state;
- low jitter。
這可能需要 self-host / specialized service。
125. 第三代 Dedicated Renderer
最終:
single-step
或少步數 neural renderer,
在 remote GPU 上專用執行。
此時才真正接近:
real-time DAINR.
126. 不把三代混成一個 Claim
本篇明確:
PrototypeFeasibility=ProductionLatencyFeasibility.
第一代成功不能自動宣稱:
已可商業即時遊戲部署。
127. 與 DLSS 5 的核心差異
DLSS 5:
LocalEngine+LocalRTX50NeuralRenderer.
DAINR:
LocalEngine+RemoteNeuralIntelligence+LocalTemporalReconstruction.
兩者共享:
- 3D grounding;
- motion;
- temporal stability;
- artist control。
但 execution location 不同。
128. 與 GeForce NOW 的核心差異
GeForce NOW:
CloudGame+CloudRenderer+VideoStream.
DAINR:
LocalGame+LocalBaseRenderer+CloudSelectiveIntelligence.
129. 與 QuadStream 的關係
QuadStream:
CloudSceneRepresentation→ClientNovelView.
DAINR:
LocalWorldCarrier→CloudAppearanceOperator→LocalTemporalView.
方向不同,
但都證明:
final video is not the only useful network boundary.
130. 與 Edge AI 的關係
如果 local NPU / GPU 未來更強:
CloudNeed↓.
DAINR 不會失效。
Cloud plane 可以逐步被 local backend 取代。
因為 OSR 已有:
Probe=Backend.
131. Cloud 是可替換 Backend
今天:
CloudNeural.
未來:
LocalNeural.
只要兩者:
≡μ
對同一 obligation 可替代。
所以 DAINR 是 transition-friendly architecture。
132. 模型變強時
OSR compiler 自動把:
rcloud→rlocal
如果:
Costlocal<Costcloud
且品質足夠。
133. 模型更大時
反過來:
rlocal→rcloud
對 selected scope。
所以架構不假定硬體進化方向。
134. Local-First 原則
本篇第一代建議:
LocalFirst,CloudOptional.
不是價值立場,
而是為了:
- latency;
- authority;
- privacy;
- failure isolation。
135. Cloud-First 也可存在
某些 offline cinematic mode:
CloudFirst
可能合理。
OSR 不禁止。
只是 profile 不同。
136. Domain Profiles
Competitive Game
CloudCriticalPath↓.
Single-Player Cinematic
CloudEnhancement↑.
Photo Mode
CloudLatencyTolerance↑.
Editor
CloudHighQuality↑.
XR
LocalReprojection↑.
137. Photo Mode 是第一個很好的商業入口
Photo Mode 可以接受:
seconds.
所以 general cloud AI 可立即提供:
HighQualityEnhancement.
這可能比即時 gameplay 更早落地。
138. Cutscene 預計算也是入口
若 cutscene camera 可預知:
SpeculativeAnchor.
可提前生成。
139. Dialogue Close-Up
NPC 對話:
- camera predictable;
- face high value;
- background low motion。
也是非常適合 sparse cloud anchor 的場景。
140. Static Strategy / RPG
相較 FPS,
畫面變化較慢。
因此:
AnchorLifetime↑.
DAINR 更容易先成立。
141. FPS 是高難場景
高:
- camera angular velocity;
- input sensitivity;
- latency requirement;
- disocclusion。
所以不應拿 FPS 作第一個 MVP。
142. MVP Scene Selection
第一個應選:
slow-to-medium camera, character-centric 3D scene.
這最能驗證 cloud intelligence + local temporal reconstruction。
143. OSR-06 最小 Software Components
LocalWorldAdapter
BaseRenderer
APRController
OSRCompiler
ExportPolicy
CarrierEncoder
CloudBackendAdapter
ResultValidator
TemporalReconstructor
Compositor
EvidenceRecorder
144. 不先寫完整 Engine
MVP 可以用:
- Godot;
- Unity;
- Unreal;
- custom small scene。
OSR 不要求自研 graphics engine。
145. Engine Adapter
只需要能導出:
- RGB base;
- depth;
- motion;
- normal;
- object mask;
- camera;
- revision。
146. Cloud Backend Adapter
第一代只需要:
submit(carrier, contract)
poll(request_id)
validate(response)
147. Temporal Reconstructor
第一代:
- depth-aware warp;
- motion vector;
- blend;
- base fallback。
之後才加 local neural。
148. Evidence Recorder
每個 frame 記:
- plan ID;
- world revision;
- anchor ID;
- cloud age;
- fallback;
- cost;
- latency;
- truth verification。
149. Debug Overlay
顯示:
- base;
- cloud region;
- reused region;
- temporal confidence;
- stale;
- rejected cloud;
- cost heatmap。
150. 這個 Debug Overlay 很重要
否則只看 final frame,
很難知道:
畫質變好到底是哪層造成?
151. 第一代 Acceptance Criteria
至少:
- 沒網路仍可運作;
- cloud result 不能直接修改 world;
- stale response 會被拒絕;
- ROI cloud 能正常 compositing;
- camera cut 會 invalid history;
- cloud call frequency 低於 display frequency;
- local temporal frame 可在 anchors 間生成;
- verification fail 會 fallback;
- export-denied region 不上雲;
- 每次 cloud commit 有 receipt。
152. 第二代 Acceptance Criteria
加入:
- latent carrier;
- persistent cloud session;
- dedicated neural renderer;
- p95 latency;
- anchor prediction;
- multi-provider。
153. 第三代 Acceptance Criteria
真正 interactive:
UserPerceivedQuality
在:
60+FPS
顯示下維持,
而 cloud inference:
fC<fD.
154. 核心命題集
P1|Local World Authority
Authority(W)=LocalCanonical.
P2|Cloud Is a Manifestation Operator
CloudAI=ProjectionCapability,WorldWriteAuthority=0.
P3|Local Base Invariant
CloudFailure⇒MinimumManifestationRemains.
P4|Frequency Separation
fcloud≪fdisplay
可以成立。
P5|Anchor Amortization
1 CloudAnchor→N LocalFrames.
P6|Late Is Not Automatically Useful
LateResponse⇒VisibleCommit.
P7|Minimum Necessary Export
Export=minimum carrier required by the selected obligation.
P8|Pixel Is Not the Only Network Boundary
CloudReturn∈{pixel,residual,latent,material,lighting}.
P9|General Model Is Not Dedicated Renderer
GeneralCloudAI=InteractiveNeuralRenderService.
P10|Temporal Reconstruction Is a First-Class Renderer
TemporalReconstruction
不是簡單 workaround,而是 DAINR 的核心計算層。
P11|Cloud Intelligence Can Be Sparse
Intelligence Frequency=Display Frequency.
P12|Cloud Extends Local Authority
Cloud intelligence should extend local rendering capability without replacing local world authority.
155. 結論
如果把雲端 AI 想成:
一台遠端顯示卡,每幀替你畫完整畫面,
OSR-06 很快就會退化成 cloud gaming。
如果把它想成:
每秒呼叫 60 次圖片生成 API,
則 latency、jitter、成本與 temporal consistency 幾乎一定成為第一代系統的主要障礙。
本篇提出第三條路:
Local World+Sparse Cloud Intelligence+Local Temporal Reconstruction.
世界仍然在本地持續運作。
輸入仍然在本地低延遲閉環。
base renderer 永遠存在。
APR 只在:
RVOIcloud>Cost+Risk
時,才把一小部分顯現問題送到遠端。
Cloud 不必每幀知道整個世界。
它只需要對某些高價值 scope 回傳:
- anchor;
- residual;
- latent;
- material;
- lighting;
本地再使用:
- canonical geometry;
- motion;
- depth;
- history;
- local neural;
把這些低頻 appearance intelligence 展開成高頻 display。
因此,一張 RTX 3070 在這個架構中不再只是:
「跑不動下一代 neural renderer 的舊 GPU」。
它可以被重新定位為:
authoritative local world renderer and temporal reconstruction node.
而雲端模型則成為:
remote high-capacity appearance operator.
兩者並不競爭同一個角色。
這也說明為什麼本篇不需要等到「雲端 AI 16 ms 生成 4K frame」才有研究價值。
第一代即使只做到:
1 anchor/several seconds
只要它能證明:
Qualitylocal+cloud>Qualitylocal
同時:
CloudFrequency≪DisplayFrequency,
並且:
WorldAuthority=Local,
就已經證明了一個不同於 cloud gaming 與 local-only neural rendering 的架構類。
因此本篇的最終命題是:
The cloud does not need to render every frame to contribute intelligence to every frame.
156. 下一篇
OSR-07
《可反證的觀察者渲染:品質、延遲、成本、一致性與結構保真》
下一篇將完成 OSR 第一卷理論閉包。
它會建立:
- benchmark;
- baseline;
- ablation;
- quality metrics;
- structural fidelity;
- temporal consistency;
- latency;
- cloud cost;
- bandwidth;
- truth violations;
- RVOI;
- render avoidance;
- anchor efficiency;
- human evaluation;
- falsification criteria。
最終回答:
OSR 到底如何被證明有用,或被證明沒有用?
參考資料
EveMissLab / OSR
- Neo.K. 從萬能光到觀察者主權渲染:理論譜系重構與研究綱領. OSR-00, v0.1, 2026.
- Neo.K. 我們到底想看什麼?觀察者、目的與顯現場. OSR-01, v0.1, 2026.
- Neo.K. 從射線到觀察探針:廣義觀察算子與感知渲染編譯器. OSR-02, v0.1, 2026.
- Neo.K. 異質渲染場:Raster、Ray、Neural、Semantic 與 Reuse 的統一選擇. OSR-03, v0.1, 2026.
- Neo.K. APR 治理的自適應渲染:感知預算、表示深度與動態重算. OSR-04, v0.1, 2026.
- Neo.K. 世界真值與顯現真值:生成式渲染中的一致性、幻覺與表示主權. OSR-05, v0.1, 2026.
- EveMissLab. APR — Adaptive Perceptual Reading / Agentic Perception Runtime. https://github.com/kakon77777-commits/APR
- EveMissLab. MRMIC/NVCL. https://github.com/kakon77777-commits/MRMIC_NVCL
- EveMissLab. PNCW — Projection-Native Computational World. https://github.com/kakon77777-commits/PNCW
外部研究與官方技術資料
- NVIDIA ADLR. DLSS 5: Generative Neural Rendering. Published 2026-09-01. https://research.nvidia.com/labs/adlr/DLSS5/
- NVIDIA GeForce. DLSS 5 3D-Guided Neural Rendering Debuts in NBA 2K27. 2026. https://www.nvidia.com/en-us/geforce/news/dlss-5-3d-guided-neural-rendering/
- Perel, O., Abu Alhaija, H., Wang, Z., Munkberg, J., Atzmon, M., Fidler, S., & Shugrina, M. TRON: Tracing Rays to Orchestrate a Neural Renderer for 3D Gaussian Reconstructions. arXiv:2606.11314, 2026. https://research.nvidia.com/labs/sil/projects/tron/
- NVIDIA. NVIDIA Blackwell Architecture Comes to GeForce NOW. https://nvidianews.nvidia.com/news/nvidia-blackwell-architecture-comes-to-geforce-now
- NVIDIA. GeForce NOW at CES 2026. https://blogs.nvidia.com/blog/geforce-now-ces-2026/
- NVIDIA CloudXR SDK. Network Setup. https://docs.nvidia.com/cloudxr-sdk/latest/requirement/network_setup.html
- Zhang, K., et al. QuadStream: A Quad-Based Scene Streaming Architecture for Novel Viewpoint Reconstruction. NVIDIA Research, 2022. https://research.nvidia.com/publication/2022-12_quadstream-quad-based-scene-streaming-architecture-novel-viewpoint
- Tokey, S. S., Boudaoud, B., Spjut, J., & Claypool, M. Adaptive Time Delay for Improving Player Experience and Fairness in First-Person Shooter Games with Network Latency. Foundations of Digital Games, 2026. https://research.nvidia.com/publication/2026-08_adaptive-time-delay-improving-player-experience-and-fairness-first-person
附錄 A|第一代資料流
Local World
↓
Base Renderer
↓
Depth / Normal / Motion / Mask / RGB
↓
APR + PRC
↓
Export Gate
↓ selected ROI / carrier
Cloud AI
↓
Anchor / Residual
↓
Local Verification
↓
Temporal Reconstruction
↓
Local Compositor
↓
Visible Frame
附錄 B|第一代 Cloud Request Contract
request:
request_id
world_revision
camera_revision
scope
carrier_schema
carrier_hash
preservation_contract
generation_contract
deadline
provider_capability
export_policy_revision
附錄 C|第一代 Cloud Response Contract
response:
request_id
source_world_revision
backend_revision
output_class
output_hash
carrier_schema
latency
provenance
optional_confidence
附錄 D|一句話版本
OSR-06 不把雲端 AI 當成每幀遠端畫圖器,而把它當成低頻、高容量、可選擇的 appearance operator:本地保留 canonical world、base renderer、APR、verification 與 temporal reconstruction;雲端只處理被 APR 判定值得上雲的最小 carrier/ROI,回傳 anchor、residual 或 latent,再由本地把稀疏 cloud intelligence 展開成高頻、可回退、世界真值仍由本地控制的顯示。