從爬取到付費:AI 資訊需求的層級與 AIO/GEO 邊界
從機器端資源配置、延遲資訊使用與領域異質性,到可觀測、可授權、可交易的知識供給
英文題名: From Crawling to Payment: Layers of AI Information Demand and the Boundaries of AI and Generative Engine Optimization
研究系列:《AI 時代的網路資訊價值、注意力收斂與經濟世界域耦合》
系列篇號: 02 / 12
文件編號: EML-AIEC-2026-02
研究命題與經濟觀察: Neo.K
AI 協作整理: GPT-6(Aletheia)
機構: EveMissLab/一言諾科技有限公司
原稿日期: 2026-10-16(Asia/Taipei)
版本: v0.1
文件性質: 理論研究/資訊經濟分類框架/可反駁假說與可操作測量設計
正本格式: Canonical UTF-8 Markdown
研究狀態: 已提出可測量假說與研究方法;未宣稱已獨立驗證模型內部訓練、內容採納或經濟因果結果
直接前置: 本系列 Paper 01〈機器可見,而人類未必認識〉;EWDT-02、EWDT-07、EWDT-18;AI-Readable Web;AICR/AICL
作者: Neo.K
摘要
生成式搜尋、檢索增強生成、模型訓練候選資料擷取與自主 Agent 的發展,使網站內容被機器取得的頻率、廣度及用途逐漸脫離傳統「機器先索引、人類再點擊、內容方取得流量收入」的單一路徑。對資訊供給者而言,這種轉變同時造成兩個容易被混淆的判斷:其一,將大規模 AI 爬取視為已被模型訓練、實際採納、公開引用或產生收益的直接證據;其二,因缺乏可觀察的引用與人類回流,即將反覆、大規模且具成本的機器資訊接觸視為沒有任何經濟或資訊意義。本文主張,兩種判斷都跨越了原始證據的有效邊界。
本文提出「機器資訊需求分層」(Layered Machine Information Demand, LMID)作為任務相對的研究框架。框架分離資源發現、存取嘗試、有效內容取得、解析與候選處理、索引或其他保留、檢索與上下文納入、可觀察引用、模型訓練候選與實際訓練採納、下游功能性使用、權利許可、授權結算及收入實現等不同事件。這些事件之間可以存在條件傳導、延遲使用、共享快取、離線取得或第三方轉載等非線性路徑,不能視為任何網站都會依序通過的單一必然漏斗。尤其,網站日誌通常無法辨認模型訓練集的最終篩選結果、參數中的具體知識表示或後續不可見的商業使用。
本文肯定大量、長期且成功取得實質內容的已核驗 AI 機器請求,本身具有可分析的「資源配置與資訊取得訊號」:系統實際花費請求、排程、網路及處理資源接觸來源。當觀察能排除機械式重試、一般搜尋爬蟲、重複物件、惡意掃描、設定錯誤及觀測分類錯誤時,跨時間、跨獨立業者及跨不同內容物件的有效取得更可能反映持續的機器資訊需求。不過,此種需求訊號既不保證資訊品質,也不能直接換算成內容在訓練模型中的權重、來源不可替代性、支付意願或內容方收入。
本文進一步釐清 AIO(此處指面向 AI 資訊接觸與可用性的最佳化策略,並非全球一致的正式學術縮寫)與 GEO(Generative Engine Optimization)的目標差異。網站是否被機器發現、內容是否被成功攝取、來源能否在生成式回答中被引用、品牌是否被人類記住、內容是否獲授權付費,屬於不同的最佳化目標。其效益受資訊領域、查詢意圖、內容的新穎性與可驗證性、更新週期、原始來源必要性、替代品成本、商品或服務可交易性,以及平台的檢索架構制約,並不具全領域同質性。生成式搜尋可能提高對某類資訊的機器使用,同時降低原始網站的人類點擊;也可能促進獨特研究與工具服務被發現。不存在從「GEO 可見度提升」到「品牌知名度與營收提升」的固定轉換率。
研究最後提出多維觀測向量、機器端讀取的去重與驗證方式、延遲事件配對、分領域對照實驗、七項可反駁假說及反向機制測試,並連接 EWDT 既有「需求不等於偏好」「投影不等於完整世界」「候選不等於已沉積轉化」之邊界。本文並不預言所有 AI 內容使用終將收費,而是建立評估哪些機器資訊需求可轉化為授權、交易或其他非貨幣價值的條件性經濟框架,供本系列第 03 篇的注意力收斂與第 06 篇的機器資訊付費市場研究延伸。
關鍵詞: AI 爬取、機器資訊需求、AIO、GEO、檢索增強生成、訓練資料、延遲使用、機器資源配置、資訊價值、內容授權、可觀測性、RSL、Pay Per Crawl、EWDT
0. 研究定位:拒絕兩種對稱的推論跳躍
本篇承接 Paper 01 的「機器端可見性與人類端來源識別可以分離」,向下一步追問:既然機器端與人類端的資訊接觸不能混為一談,那麼機器對資訊的不同層級需求應如何被辨識,其價值又應如何在未逾越證據邊界的前提下被討論?
本文不主張:
- 所有 HTTP 請求都是 AI 請求,或所有 AI 請求都是訓練請求;
- 只要網站被某個 AI crawler 訪問,就已進入最終訓練資料集;
- 內容被模型「學習」可直接從伺服器日誌、引用次數或模型輸出精確反推;
- AI 引用很少便代表沒有取得、索引、學習候選處理或內部使用;
- AI 今天未公開引用便意味未來絕對不會使用;
- 大量機器流量一定由內容優秀或不可替代所造成;
- 任何持續爬取都應被視為 AI 公司的真實購買意願;
- 資訊價值只存在於公開引用、真人點擊或已實現的授權收入;
- AIO/GEO 的效果可以從某一個平台或領域直接推廣到全部網路;
- 所有領域的最佳目標皆為「讓生成式 AI 在回答裡提及來源」;
- 內容授權格式的存在,即表示平台技術上一定執行、法律上一定承認或商業上一定付款;
- 收費提高便必然增加收入,或免費存取便必然沒有經濟效益;
- AI 爬蟲必須先透過專用 API 才能取得內容;
- 2027–2028 年必然出現單一時間點的 AI 內容付費市場轉折;
- 本研究已掌握任何特定 AI 模型的內部訓練資料、參數權重或未公開採購契約。
本文提出兩個同時成立、但必須分別證成的命題:
命題 A: 大規模且經核驗的機器資源投入,可能構成獨立於公開引用和真人回流的資訊需求訊號;此訊號應被保留並研究,而非直接視為零。
命題 B: 資源投入不會自動證明訓練採納、功能性貢獻、稀缺性、付款意願或經濟收益;每一層都具有額外的觀測與驗證義務。
本篇的目標是讓命題 A 與 B 能夠在同一研究框架中接受驗證,而不是讓其中一個否定另一個。
1. 從傳統 SEO 經濟到多目的的機器資訊使用
1.1 傳統搜尋經濟的簡化路徑
在傳統搜尋的常見商業敘事中,網站提供頁面,搜尋引擎建立索引,人類看見搜尋結果後點擊來源,網站可能透過廣告、訂閱、交易、品牌認知或後續業務取得報酬。這條路徑並非對舊網路的完整描述:早就存在 API、資料授權、搜尋快取、沒有點擊的資訊展示、企業採購及其他機器使用;但它足以構成一個曾經很有影響力的經營直覺。
內容發布 → 搜尋爬取 → 搜尋排名 → 人類點擊 → 網站業務結果
這個直覺的問題,不是每個箭頭都已失效,而是大量新的資訊路徑不再要求人類逐一打開原始頁面。
1.2 AI 使資訊目的分岔
目前可公開確認的部分機器存取用途至少包含:搜尋索引、模型訓練候選擷取,以及使用者觸發的網頁讀取。Cloudflare 的 2025 年 Radar 年度報告明確將 AI crawling 分成 training、search 與 user action 類別,並指出用途不明的請求需要另外保留分類[E1]。此分類是依其監測與宣告機制建立,不能由此推定所有請求後來都被實際用於訓練。
OpenAI 官方 crawler 文件也區分 OAI-SearchBot、GPTBot 與 ChatGPT-User 的不同公開用途,且特別註明搜尋與訓練控制可獨立設定,部分共同允許的內容可能透過一次擷取服務不同用途[E2]。Google 的 Google-Extended 更是產品用途控制符記,而不是具有獨立 HTTP User-Agent 的專門爬蟲[E3]。
這些實例說明:請求用什麼名義發起、資料被允許做什麼、平台實際在內部如何使用,是三個相關但不等同的事實。
1.3 從「人類導航」到「資訊功能需求」
考慮三種查詢:
- 一個人想知道「今天晚餐如何做兩人份的番茄蛋料理」,生成式 AI 可以直接整合常識與食材限制;
- 一個 Agent 需要某種程式庫的最新版本參數說明,可能必須取得具體來源、版本與契約;
- 一位研究者要求某篇論文的原始證明與資料,則僅憑模型概述通常不足以完成驗證。
三者可能都發生 AI 的資訊接觸,但其「來源必須被認識」「原始內容必須被打開」「存取是否可由替代資料滿足」等條件不同。這會直接改變 AIO/GEO 的適用性。
2. 最小本體:內容、存取事件、使用事件與經濟事件
為避免把不同分母混用,本文先固定四種不同的研究單元。
內容物件(Content Object):具有可追蹤 canonical ID、內容版本、語義類型及權利描述的資訊單元,可是一篇論文、一個 API 規格、一個版本化資料集、一則新聞或一組研究圖表。URL 可以作為定位方式,但同一內容可能有多個 URL,也可能在同一 URL 被更新。
存取事件(Access Event):某個用戶端在特定時間、目的與授權環境下請求某項資源。一次請求不等於一次獨特內容取得;成功回應也不一定包含完整正文。
資訊使用事件(Information Use Event):內容參與索引、檢索、摘要、評估、決策、分析、產品運作、訓練資料處理等某個可辨識的任務。這一事件可能只能由使用方內部紀錄確認,不能一概假設網站能從伺服器端得知。
經濟事件(Economic Event):內容存取或利用所生成的成本、節省、授權、委託、付款、分潤、成交或其他可認列經濟後果。經濟事件不一定有現金交易;但未發生付費,也不能反推沒有任何功能收益。
對來源 、內容物件 、業者 與時間 ,最低資料鍵可寫為:
其中 是內容版本, 是機器與網站當時適用的權利/存取政策版本。若缺少內容版本或研究時窗,很容易把重複擷取、歷史頁面、全新文章與索引維護混在一起。
3. 機器資訊需求的十二類事件:不是固定的十二道工序
本文提出 Layered Machine Information Demand(LMID),以十二種可分別標註的事件,取代「爬取之後一定先學習、再引用、最後付款」的線性想像。
| 類別 | 研究事件 | 網站方通常可見的證據 | 不可直接推出 |
|---|---|---|---|
| L0 | 被發現或列入候選 | sitemap 擷取、連結發現紀錄、公開索引 | 已讀取正文 |
| L1 | 存取嘗試 | HTTP 請求、機器人身分與目的分類 | 請求成功 |
| L2 | 有效內容取得 | 成功回應、正文 bytes、內容類型與雜湊 | 完整語義理解 |
| L3 | 解析或候選資料處理 | 使用方的處理日誌、公開處理規格 | 最終保留 |
| L4 | 索引、快取或其他保留 | 索引查證、使用方日誌、授權資料報告 | 已被模型參數吸收 |
| L5 | 查詢檢索與上下文納入 | 可核驗的檢索事件、系統追蹤 | 必然可見引用 |
| L6 | 回答引用、歸因或來源呈現 | 指定查詢的 AI 回答及 URL | 人類已點擊或記住 |
| L7 | 訓練候選資料集納入 | 可稽核候選集清單、處理報告 | 實際訓練使用 |
| L8 | 實際訓練/更新使用 | 可信的訓練與資料溯源證據 | 可逐字識別模型內「權重」 |
| L9 | 下游功能性使用 | 產品追蹤、Agent 任務紀錄、案例證據 | 有公開來源提名 |
| L10 | 授權、交易意向與協商 | 權利協議、支付請求、商務洽詢 | 交易結算完成 |
| L11 | 付款、非貨幣回報或價值實現 | 實際收款、採購憑證、合約履行、可量測成果 | 結果一定來自唯一來源 |
這不是一條所有系統都必須經歷的完整順序。例如:
- 搜尋引擎可能先取得內容、建立索引,之後在某次查詢中被引用;
- 訓練資料可能由已授權資料集、公開儲存庫或第三方提供,不經網站當期 HTTP 日誌;
- 使用者提供網址給 Agent,可觸發即時讀取與摘要,而沒有傳統全網索引階段;
- 企業可先簽訂資料授權,後由資料交付管道提供批次內容;
- AI 回答可能引用曾被保留的來源,而不在回答當下重新訪問原站;
- 一次可被認定為商業價值的使用,也可能沒有任何公開引用或來源名稱呈現。
因此,LMID 是事件型別的部分有序圖,不是單向階梯,更不是「從 L0 到 L11 的成功率排行榜」。
3.1 三條主要路徑示意
[來源內容與權利]
|
+----------------+----------------+
| | |
v v v
[搜尋/檢索管線] [候選訓練管線] [代理/資料採購]
| | |
[索引與上下文] [篩選與可能訓練] [即時閱讀或授權]
| | |
v v v
[回答/引用/任務] [不可見下游使用] [服務/結算/分潤]
\________________|________________/
|
[不同時間的再使用]
圖中不存在「所有 AI 爬取都能進入模型訓練」的箭頭。所謂未來再使用,也必須有資料確實被保留、再次取得或被合法轉手的可能路徑;它不是沒有證據時的必然推論。
4. 從請求數到實質讀取:分母必須重建
假設一個網站在某個月份收到 1,000 萬次機器請求,這可以證明機器端存在某種規模的網路活動;但若沒有資訊物件與用途分類,仍無法確認取得了多少不同的有效知識。
應分開記錄:
分別代表總請求數、已核驗類別請求數、成功取得請求數、不同內容物件數、不同內容版本數及實際取得的內容正文 bytes(不是整頁連帶靜態資產的總頻寬)。
4.1 HTTP 200 也不是「已讀完」
同為成功回應,可能取得的是首頁、導覽、空頁、部分正文、需登入提示、JavaScript 殼、動態注入失敗的模板、已快取的重複內容,或與內容本體不相關的圖片資源。304 Not Modified、HEAD、206 Partial Content、403、404 也應分別記錄,不能把它們無差別當成「一篇文章被完整學習」。
因此有效內容取得率必須事先指定合格條件。例如:成功完成傳輸、對應可驗證正文類型、正文非空、內容雜湊可歸入 canonical 物件,且若是部分回應需標示取得範圍。此條件只能提高「取得內容」的觀測信度,仍不代表機器一定在語義上理解了該內容。
4.2 用內容版本而不只是 URL 來去重
同一份論文可能同時存在 Markdown、HTML、PDF 與多語言投影,甚至被映射到多個子網域。若以 URL 作唯一資訊單位,可能大幅高估內容種類;但若以完全相同的 byte hash 作唯一判斷,又可能把有實質修訂的版本或不同語言錯誤地拆成互不相關的內容。
建議同時保存:canonical object ID、revision ID、exact digest、格式、語言、對應投影關係及發布時間。研究者可以分別報告「HTTP 命中」「物件命中」「版本命中」「獨立語義來源」,不應將其任意互換。
4.3 研究者如何對待已驗證機器人
單靠 User-Agent 字串不是可靠的身分證明,因為標頭可被任意宣告。網站研究應優先參照已核驗機器人分類、官方公開 IP 範圍、合法的身分憑證、反向 DNS 驗證與平台可信度信號,同時保留未知來源。
這是資料歸因原則,不是鼓勵繞過網站的存取防護。對無法核驗的請求,不應為了湊出「AI 訪問量」而全部歸入 AI 類別。
5. 核心命題:大量機器取得可以構成資訊需求訊號
5.1 不應將「沒有公開引用」當成「機器接觸沒有資訊意義」
每一次真實的遠端內容讀取,都至少涉及排程、網路傳輸、連線處理及伺服器回應的資源使用。若已知某個機器系統具有預算約束,且長期、反覆、跨不同內容物件成功讀取同一網站,其行為便可能揭露某種系統層級的取得偏好、更新需求或既有工作流依賴。
這個觀察的最低內容是:機器系統將有限操作資源投入了某種存取行為。它並非主張資訊價值已被完整評價,更不是「花費資源」本身必然證明被讀內容有高品質。
令 表示業者 在時間 對內容物件 所作的取得動作, 表示對應的正向資源成本,則觀察到:
至多支持該取得動作曾經發生;在成本可確定時,亦可支持:
但不能因此推出:
更不能推出:
其中 是尚待界定及驗證的下游功能價值, 是對來源方可觀察的收入。成本、需求與已實現收入是不同量綱與歸屬。
5.2 資源選擇性命題
如果某個機器業者完全不考慮內容、需求或頁面更新,對整個網域均勻重試,則大量流量很可能只揭露掃描規則。若業者是在有限預算下,隨需求、內容版本、任務相關性或更新頻率差異化配置訪問,流量分布才更可能揭露取得價值的選擇。
因此,本篇提出一個條件命題:
在已排除純機械重試與共同流量混淆,並控制網頁可達性、更新頻率及網域規模後,持續且有選擇性的機器有效取得,對機器端資訊需求的推論價值通常高於未分層的總請求數。
Google 官方的檢索預算文件亦明確區分「檢索容量」與「檢索需求」,指出資源配置受到已知網址庫、熱門度、新鮮度、品質及網站健康狀態等因素影響[E12]。這支持「爬取資源有限且有分配機制」的前提,但 Google 的搜尋檢索邏輯不能直接代表所有 AI 業者,亦不能僅憑大規模爬取推斷單篇內容具有特別高的品質。
這是需要檢驗的經驗命題,不是「AI 爬蟲一定會選好內容」的先驗定律。
5.3 為什麼大型資訊庫的請求量容易被誤解
若一個研究網站有數千篇論文、龐大的歷史版本與多格式投影,那麼大量請求可能來自:初始索引、更新監測、語義候選蒐集、版本對齊或失敗重試。即使完全沒有公開引用,這些動作仍可能代表系統存在資訊取得任務。
但同一個大網站也可能因以下因素產生高度請求量:
- sitemap 或跨站連結暴露了大量 URL;
- 存在重複的分頁、參數路徑、重導迴圈或重複格式;
- 某些爬蟲按照固定頻率巡檢而未有效分辨變更;
- 內容難以解析導致重新擷取;
- 掃描器、監控程式或不明自動化來源被錯誤分類為 AI;
- 回應錯誤或快取設定導致非預期重試;
- 既有檢索系統持續維護資料,但新查詢需求並未同步上升。
這些機制並不都等於「完全無價值」;例如索引維護本身也可能是機器工作的必要成本。然而它們與資訊內容被選擇、下游使用的關係差異很大。研究者必須先辨認機制,才能合理估計訊號強弱。
5.4 從數量級到證據品質
不能直接說「一千次沒有價值、一百萬次很有價值、一億次一定重要」。數量級必須相對於網站大小、內容類型、訪問對象、正常爬取基準、業者總流量、時間窗與系統成本解讀。
可比較下列假設性情況:
| 個案 | 請求量 | 不同實質內容版本 | 已核驗業者 | 主要合理解釋 |
|---|---|---|---|---|
| A | 100 萬 | 3 | 1 | 可能是重複檢查或設定異常 |
| B | 20 萬 | 15,000 | 4 | 可能存在廣泛資訊取得需求 |
| C | 1,000 萬 | 未知 | 未知 | 目前無法判定內容價值 |
| D | 3 萬 | 500 | 2 | 量小但可對應高專業價值任務 |
上述數字為構造的比較情境,並非網站實際統計。其作用是提醒研究者:有條件的內容覆蓋比單一總請求量更有解釋力,並且資料稀缺不代表資訊缺乏經濟價值。
6. 不等價的推論鏈:哪些可以說、哪些只能假設?
本篇將最常見的推理跳階整理為一組不等價關係:
同時必須承認反方向也未必成立:
後一式只代表「目前缺乏訓練證據」不能直接推出「未來絕不使用」,不表示未來使用必定發生。研究者還應保留第三個結果:某來源可能在所有相關時間窗內都沒有被選入後續用途。
6.1 不能由外部引用反推模型權重
現代模型輸出通常受大量訓練資料、模型結構、訓練程序、即時檢索、提示詞、上下文位置及生成策略共同影響。即使模型能正確回答某篇文章涉及的問題,也可能依靠一般知識、其他來源或當次檢索,而不是源自該文章進入特定訓練集。
因此下列宣稱均不具外部充分性:
- 某網站被頻繁抓取,所以某模型對該網站的內部權重很高;
- 某篇論文被引用很多,所以基礎模型一定曾用它訓練;
- AI 沒有引用某篇論文,所以它一定沒有讀過、沒有候選處理或從未使用相關思想;
- 模型重述了來源的一個觀點,便能推出來源唯一且直接的因果貢獻。
若要研究訓練採納,需要使用方提供資料溯源、訓練紀錄或經過適當設計的模型歸因研究;其中即便有某份文件進入訓練資料,也不等於可將模型參數劃定為該文件的單獨權重。
6.2 非使用的證據也有強弱
如果研究者抽查十個提示詞,沒有發現來源引用,這只能構成小樣本下的「未觀察到」。若同一領域事先固定大量查詢、多平台、多語言、多時段並完成可重複採樣,仍然沒有引用,則可對該研究條件下的引用機率上界提出較強約束。
這仍不能作為不可見的訓練使用率之上界,更不能延伸成永久不使用的本體宣告。
因此研究應報告:「在何平台、何時段、何任務、何抽樣數及何檢測能力下,沒有觀察到哪種事件」,而不是泛稱「AI 根本沒用我的內容」。
7. 時間維度:機器資訊需求可能延遲顯現
7.1 延遲使用不等於無限免責
資訊取得與下游使用未必同時發生。例如新文件被爬取後先進入候選索引,數週後才被某次查詢檢索;資料集被收集並通過授權或品質處理,也可能在數月後才進入產品工作流。
這類有具體機制的延遲需要納入測量。但是,若一個理論允許「只要還沒用到,就永遠可能在未來某天用到」,卻不指定可檢驗的時間窗與中間機制,便不具有有效的預測約束。
本篇要求分開三件事:
- 已觀測的取得時點;
- 有證據支持的保留或後續接觸路徑;
- 在預先指定時間窗內的實際引用、調用、合約或其他後果。
7.2 延遲使用的事件研究
對內容物件 ,令 為首次已核驗有效取得時點, 為某種已觀測下游使用時點,若兩者能可靠配對,定義觀測到的延遲:
僅當 確實能與相同內容物件、相應權限及某種證據充分的使用機制對應時,才應把 當成事件級延遲。否則只能估計來源級關聯,而不能虛構出逐篇內容的採納時間。
更一般地,可建立任務相對的條件風險率:
其中 是指定的可觀測結果型別,例如「在固定查詢樣本中首次被引用」或「首次確認付費下載」, 是內容類型、更新狀態、曝光與授權條件。這是離散時間的候選分析式,並非宣稱模型內部訓練事件在外部可直接觀測。
7.3 避免把時間相關性當成因果效應
同一篇研究突然被多家 AI 系統爬取、被新聞轉載並被使用者搜尋,可能都來自共同的外部事件,例如重大科學突破、開源專案發布或網路熱門議題。
此時若觀察到「爬取增加先於引用增加」,尚不足以證明爬取直接導致引用;可能是兩者共同受到內容發布與外部注意力驅動。時間模型需加入共同衝擊、事件發布、平台產品更新、索引延遲與同業爬取策略等控制。
8. AIO 與 GEO:不是同一個最佳化目標
8.1 本文對 AIO 的局部操作定義
市場上 AIO 可指稱多種不同實務,包括 AI Optimization、AI Overview Optimization 或對 AI 原生資訊供給的最佳化;縮寫本身目前不具有單一且普遍接受的學術操作標準。本文不把任一行銷業者的宣傳術語當成普遍科學定義。
為了能與 GEO 區分,本文暫時定義:
AIO(本篇語境):為使指定 AI 資訊管線能夠正確發現、取得、辨識、解析、驗證、遵守權利條件並在允許範圍內使用內容,而進行的機器面向資訊可用性改善。
在此定義下,AIO 不必將人類品牌曝光當成唯一終點。它可能關心 canonical 物件身分、格式穩定、版本資訊、原始資料完整性、結構化語義、權限、可追溯性與計算可讀性。
8.2 GEO 的研究性定義
Aggarwal 等人的 GEO: Generative Engine Optimization(KDD 2024)提出生成式引擎中來源可見度的改善方法與測量框架,並指出不同領域的最佳化效果有差異[E4]。這項工作建立了 GEO 的研究基礎,但其中報告的特定效果數值不能不經條件檢查就被推廣到所有引擎、所有查詢、所有領域或長期商業績效。
本篇把 GEO 的主要研究終點限定為:指定生成式引擎、任務及查詢分布下,來源在答案生成流程中的被選入、被使用或被呈現程度。這可以包含引用次數、引用位置、文字展示、來源識別及對答案內容的可測影響,但不能自動包含品牌記憶或交易。
2026 年一份涵蓋 45 項研究的批判性綜述指出,GEO 的搜尋啟動、檢索、重排、上下文配置、引用、內容吸收與下游行為需分別測量;部分受控改寫能影響已被檢索之內容的引用或使用,但不能直接證明跨平台、長期的自然發現率及商業轉換具有同樣效果[E5]。本文將此視為測量設計的現有研究背景;此綜述為預印本,不能當成已被後續實證完全確認的定論。
8.3 五個容易衝突的最佳化目標
一個內容方可能同時追求:
其中:
- :機器發現與有效攝取(Discoverability / Ingestion);
- :特定合法任務下的實際可用性(Task Utility);
- :生成式答案中的引用與來源歸因(Citation);
- :人類來源識別與品牌記憶(Brand Recognition);
- :可觀察的經濟結果(Economic Outcome)。
這些目標不具有固定一致方向。例如開放完整原文可能提高機器可用性,卻降低某些僅靠點擊閱讀收費的網站直接回流;允許摘要可能增強品牌接觸,也可能使使用者不再打開網站;提高授權收費可能增加單次交易收入,卻減少願意付費取得的業者數量。
因此,若沒有內容方的任務與收入模式,就不存在一個對所有來源都正確的「GEO 分數最大化」策略。
8.4 AIO/GEO 最適化不能與網路倫理切離
為提高答案出現機率而操弄來源、偽造引用、隱藏付費、刻意污染資料或誤導 Agent,不應被視為正當最佳化方法。一項 2026 年研究對生成式引擎推薦代理的操弄風險進行評估,指出受控的來源改寫可能影響推薦內容可靠性[E6]。
這意味資訊供給者、搜尋引擎與 Agent 之間還存在品質、可驗證性與風險治理的利益衝突。可見度本身不能替代真實性、權利有效性或使用者利益。
9. 領域異質性:為什麼 AIO/GEO 不會均勻有效?
9.1 八個決定適用性的條件
本篇提出一組用於分領域研究的候選條件,而非對所有網站給出單一排名:
- 答案可替代性:AI 能否在不開啟原頁的情況下合理滿足使用者需求?
- 原始來源必要性:任務是否要求原始試驗、精確規格、合法憑證、證據或版本可追溯性?
- 時間敏感度:內容更新週期與過期風險有多高?
- 資料稀缺與可替代性:相同內容是否容易從其他來源取得?
- 授權及法律守衛:資料是否可自由轉載、僅可摘要、禁止訓練或需付費使用?
- 人類品牌必要性:使用者是否需要知道來源才能作出決策?
- 任務可執行性:內容是提供一般解說,還是能直接支撐 API、工作流程或正式操作?
- 市場可交易性:是否有明確支付者、結算機制、交付標準及可驗證收益?
這些條件可能彼此耦合。例如原始資料很稀缺,不表示一定有人願意付費;品牌知名度很高,也不表示資料具有不可替代性。
9.2 第一代領域對照表
| 領域 | 典型機器需求 | 常見的人類端可能結果 | AIO/GEO 的主要效益邊界 |
|---|---|---|---|
| 一般食譜與生活常識 | 摘要、整合、個人化答案 | 原站點擊可能被直接回答替代 | 容易被多個來源取代;品牌效果未必同步 |
| 原創數學研究與證明 | 版本化公式、命題、可追溯文獻 | 部分研究者仍需要核對原稿 | 來源引用比一般話題更必要,但正確性需獨立審查 |
| API 與軟體技術文件 | 精確參數、相容性、範例、錯誤碼 | Agent 可能直接使用而不產生大眾知名度 | 版本與可執行性高於品牌曝光次數 |
| 新聞與即時數據 | 更新、事件背景、原始報導 | 新鮮度重要,摘要可能減少部分回流 | 更新成本、權利與來源稽核非常重要 |
| 專業資料庫與高驗證資料 | 結構化存取、比對、驗證 | 可能形成 B2B 或 Agent 採購 | 資料合法性與契約通常比公開引用更重要 |
| 消費商品與交易 | 比較、評測、價格、庫存、下單 | 人類可能仍重視品牌、保固與信任 | 只提高引用不等於促成合格交易 |
| 原創藝術、遊戲與娛樂 | 推薦、辨識、作品資訊 | 使用者可能希望直接體驗原作品 | 作品體驗難被資訊摘要全面替代 |
| 公共與法規資訊 | 條文、政策、行政流程查核 | 使用者可能直接依 AI 解說作決策 | 來源權威、日期、司法管轄及可追溯性為必要條件 |
此表是機制分析,不是對領域市場份額、點擊率或盈利能力的實證結論。每一格都可以存在相反個案;未來研究應進一步以查詢目的及使用者類型細分。
9.3 同一領域也不能只看內容類型
同樣是食譜,普通家常菜說明與特殊食材的原創實驗、完整影片、精確營養資料和具法律責任的食品安全內容,其可替代性並不相同;同樣是論文,純粹重述教科書知識與公開新的可重現資料,其被要求追溯原始來源的程度也可能不同。
因此領域分類只是一階控制變數,真正的效益估計仍需結合內容單位、查詢任務與使用目的。
10. GEO 成效可能提高,而網站業績反而下降
10.1 目標衝突的最小機制
假設內容方原本依賴某篇文章獲得廣告收益。當 AI 更容易讀懂該篇內容,便可能在答案中正確使用其事實、摘要及引用。對 AI 使用者而言,完成任務所需的頁面開啟次數可能減少。
在某些條件下,以下事件可同時成立:
這不表示 GEO 導致了廣告收入下降,而是說「答案可見性」與「原站廣告獲益」並非天然同向。要證明因果,需要同時觀察平台演算法變化、查詢需求、競爭者內容及使用者行為等條件。
Pew Research Center 於 2025 年的美國搜尋行為研究發現,出現 AI 摘要的搜尋與傳統連結點擊下降具有觀測關聯,AI 摘要內來源的點擊比例也很低[E7]。這一結果不能直接外推為所有網站與所有搜尋情境的因果效果,但足以提醒研究者:來源被放進回答,並非就會取得等比例流量回流。
10.2 另一條相反路徑同樣成立
對某些資料、專業服務或研究工具而言,若 AI 正確辨識其官方文件或獨特能力,使用者可能因此第一次知道該服務、開啟官方網站、嘗試 API 或進行企業採購。於是也可能出現:
兩條路徑不矛盾,因為它們在答案替代性、來源必要性、交易目標與獲利模型上的條件不同。
因此,本篇建議將 AIO/GEO 經濟效果視為條件性異質效果,而非跨領域的單一全域參數。
11. 機器資訊需求的經濟含義:資源投入、有效需求與支付意願
11.1 「需求」不應只解讀成主觀偏好
EWDT-07 已將需求從單一偏好擴展為使用、投入、義務、結算、網絡與歷史等多層需求[T2]。AI 機器取得內容也可在此框架下被分類:
- 工具性使用需求:為完成某個研究、開發、問答或代理任務而取得資訊;
- 基礎設施需求:為維持索引、候選語料或既有檢索系統的可用性而更新內容;
- 驗證需求:為檢查來源版本、可追溯性、授權狀態與資料品質而取得資訊;
- 替代性需求:為比較多個相似來源而讀取,即使最終只保留或選用少數來源;
- 競爭性需求:為維持產品覆蓋率、服務品質或市場競爭位置而進行一般化資料取得;
- 交易性需求:為獲取某種受限制的資料、更新權、使用資格或服務權限,形成可結算的採購需求。
這些需求可以同時存在,也可能在不同時段切換。其共同特徵是:最終受益者、實際擷取者、資訊所有者與付款者不一定相同。 本篇僅建立需求型別,第 06 篇再展開 B2A/C2A 等支付與授權主體關係。
11.2 非零資訊需求,不等於非零價格
一個機器系統願意免費取得某種公開頁面,不表示它願意支付任何正價格。若存在免費替代來源或足以完成任務的既有快取,內容的邊際支付意願可能很低;相反地,若需要專有、及時、可驗證且附權利保障的資料,則可能形成持續交易需求。
因此應保留:
這不否定大量機器讀取的資訊意義,而是要求用另一組資料估計經濟價值能否從使用方移轉給內容方。
11.3 內容方的淨結果可為正、零或負
假設網站對某類存取收費,網站方在期間 的可認列淨結果可寫成概念性的帳本:
其中各項應依一致的會計口徑與實際情境界定; 可以包含可量測的合作或服務收益,但不可任意把「潛在知名度」當成已確認收入。 可以包含因封鎖或收費使某些搜尋收錄、品牌曝光或其他業務機會減少的估計損失。
因此不能由「收費系統已上線」推論「內容方必然獲利」;也不能因為某網站目前免費被爬取,就斷言其完全沒有策略性回報。
11.4 資訊稀缺、權利與品質是互相制約的條件
高品質資訊可能容易被多方免費重新整理,導致來源方議價力有限;某些資訊很稀缺,卻因缺乏足夠需求而沒有市場價格;有些需要高額授權費的專有資料,可能因存在可替代的公開資料而失去需求。
一個有意義的機器資訊市場,至少需要分別研究:
表示可用性、稀缺性、權利條件、替代性、支付能力與驗證能力等分析維度。此處不宣稱六個維度存在對所有內容適用的唯一加權方式。
12. 從免費取得到明確付費:可交易性是另外一個研究問題
12.1 不應把 Pay Per Crawl 與全面商業採用等同
截至本文原稿日期,Cloudflare 官方 AI Crawl Control 文件將 Pay Per Crawl 標示為封閉測試(closed beta),允許網站對指定爬蟲採取 Allow、Block 或 Charge 等操作[E8]。官方 FAQ 又指出可對合格成功取得事件計費,重複抓取同一頁也可能重複收費,而一般錯誤回應不收費[E9]。
這是機器付費存取具有工程可行路徑的證據,但它不是「整個 AI 產業已普遍向所有網站付費」的證據。平台和內容方的實際採用率、談判力、結算成本與收益仍需另行測量。
12.2 收費的單位並非自然固定
機器資訊使用可能依不同單位計費:
| 收費基礎 | 適用情境候選 | 主要風險或缺口 |
|---|---|---|
| 每次成功取得 | 單篇文章、即時文件取得 | 重複取得與快取影響使用量 |
| 按內容物件或版本 | 可版本化資料、研究文章 | 內容版本的分割與認定成本 |
| API 調用 | 軟體工具、查詢與資料服務 | 調用不保證實際價值 |
| 定期授權 | 大型資料庫、長期商業使用 | 權利範圍與高額固定成本 |
| 用途限定授權 | 摘要、訓練候選、分析、轉載 | 用途追蹤與執行問題 |
| 結果或交易分潤 | 代理採購、特定任務成交 | 跨來源歸因與重複計數 |
| 公共授權或免費供給 | 公共知識、開放研究及自願共享 | 永續維護資源與風險分擔 |
從技術上能寫出付費 header,並不直接解決法律授權、交易公平性、稽核、付款者身份或價值分配。
12.3 RSL 是語義與權利層,不是自動強制付款的證明
Really Simple Licensing(RSL)1.0 規格於 2025 年 12 月發布,提供機器可讀的使用、授權、支付及法律條款表示方式[E10]。它使內容所有者有機會對自動化存取表達更細緻的條件;但規格被發布不代表所有 Agent 都會遵守,也不表示任何網站只要加入 RSL 即能自動取得付費收入。
同理,EveMissLab 既有 AICR/AICL 概念草案提供內容權利與 Agent 支付的連接思路[T5],但本篇不重寫其協議,也不把未實證的互通性視為現成的產業標準。
12.4 robots.txt 不是授權憑證
IETF RFC 9309 已明確指出 Robots Exclusion Protocol 的規則不是存取授權,也不是安全控制的替代品[E11]。因此在 AI 內容經濟中,應區分:
- 向自動爬蟲表達抓取偏好;
- 網頁或 API 本身的身份驗證與存取權限;
- 著作權、資料庫權利、契約及合理使用等法律議題;
- 對允許使用行為的精確授權;
- 真正執行付款、記帳與爭議處理的制度。
這些不是同一個控制層,也不能由單一 robots 設定取代。
12.5 專用 API 並非 AI 的唯一取得路徑
AI Agent 可以透過一般使用者介面、受授權瀏覽器、使用者提供的檔案或其他資料來源取得內容;因此以「沒有呼叫我的 API」推斷「一定不是 AI 使用」,會低估某些代理活動。反過來,API 呼叫也可能只是人類程式或傳統軟體,不能直接計為自主 Agent。
本篇將此視為觀測與角色歸因限制,不討論規避驗證、違反服務條款或偽裝人類以繞過防護的工程技術。跨身份、委託、執行者與付款歸屬的完整問題,保留到系列 Paper 09。
13. 面向既有研究的接口:不重寫 EWDT,也不替代一般經濟學
13.1 EWDT-02:資訊投影失真
EWDT-02 已指出觀測投影不等於完整世界,研究者必須檢查指標對特定任務是否足夠[T1]。機器爬取研究的典型失真是把:
錯誤地映射為:
甚至:
本篇的 LMID 不是否定請求數,而是替不同解釋問題建立合法的觀測邊界。
13.2 EWDT-07:需求不是單一偏好
EWDT-07 將需求拆解為多型態關係,說明有效需求未必等於偏好或購買力[T2]。機器資訊取得可能因工具性任務、版本維護、競爭覆蓋、合法性檢查及契約義務生成。這為「為何機器花費資源閱讀某些來源,但不一定能向原站付費」提供較完整的上位關係語法。
13.3 EWDT-18:候選不等於經濟世界域擴張
EWDT-18 已將 AI 的候選生成、驗證、部署、採納、吸收與沉積區分[T3]。本篇的資訊事件分層與此具有相容性:爬蟲取得的候選資訊可能是後續世界轉化的前置,但在未經驗證、部署與吸收以前,不得提前算成新的文明可實現狀態。
因此:
然而,當可追溯資訊被持續吸收為可操作知識、有效工具或新的採購/研究能力時,就可以開始研究其世界域轉化貢獻,而不是永遠把所有機器內容接觸視為外部噪音。
13.4 AI-Readable Web 與語義儲備網域
既有〈從 Human-Centric Web 到 AI-Readable Web〉已討論 canonical corpus、manifest、rights、provenance 及機器可讀介面[T4];〈語義儲備網域命題〉則討論 Agent 時代的語義地址及其條件性價值重估[T6]。
本篇不主張建置這些機制必然增加 AI 引用。其作用是使內容身分、版本與權利更容易被辨識,為未來研究「哪些機器實際取得哪些內容」及「何種授權交易真正發生」建立必要前置。
13.5 與 Paper 01 的邊界
Paper 01 研究的是雙重受眾識別落差:機器接觸與人類來源記憶不必同向。本篇則進一步研究機器接觸內部的需求層級,特別是:資訊取得、引用、訓練候選、訓練採納、使用與付費不能相互代替。
本篇不預先展開「人類注意力為何收斂、內容供給為何膨脹」的完整產業機制,此問題留至 Paper 03;亦不全面展開內容授權市場的制度選擇與多主體支付,此問題留至 Paper 06。
14. 機器資訊需求觀測向量與資料字典
對網站 、期間 及指定可核驗業者集 ,本文建議建立:
其中:
- :請求數(Requests);
- :已核驗來源比例(Verified Attribution);
- :符合預先定義條件的有效內容取得(Fulfilled Content Access);
- :被取得的獨立內容物件/版本覆蓋(Unique Content Coverage);
- :在指定 AI 查詢樣本中可觀察的來源引用(Observable Citation);
- :可觀察的人類原站回流與來源識別(Human Referral / Recognition);
- :實際收到的內容授權或機器付費(Payment Realization)。
這七個分量的單位不同,不應未經任務指定和正規化就相加成一個網站品質分數。更高的請求數可能代表低效重試,更高的引用數也可能是同一平台集中重複生成的結果。
14.1 四種分母,不得混用
| 分母 | 例子 | 不代表 |
|---|---|---|
| 每次 HTTP 請求 | 10 萬次 requests | 10 萬篇不同文章 |
| 每份內容物件/版本 | 1,500 份不同版本 | 1,500 次公開引用 |
| 每次 AI 回答/查詢 | 500 次回答中 40 次引用 | 40 位不同的人 |
| 每次付費或合約事件 | 8 次實際結算 | 8 個可獨立加總的知識增量 |
另外,若平台以訓練、搜尋與使用者動作區分 bot 類別,仍應保留不明用途,並註明分類者、政策版本及分類錯誤可能性。
14.2 四個建議比率
在分母非零、定義一致且資料可核驗時,可以計算:
有效內容取得率:
內容物件覆蓋率:
查詢樣本引用率:
實際付費結算率:
這四個比率各自回答不同問題。當收費事件與一般爬取事件的合法性條件不同時, 不能用所有 HTTP 請求直接作分母;當 AI 回答不是從爬蟲取得的內容產生時,也不能把 當成某特定爬蟲的工作績效。
14.3 來源取得成本不能由伺服器流量直接換算
站點可以估計自身流量、運算與傳輸成本;但 AI 服務商是否實際花費大量模型計算處理該內容,通常取決於後續解析、索引、清洗、訓練與產品架構等內部流程。外部網站日誌可支持部分存取成本分析,不能據此可靠估計業者的完整算力成本。
所以「機器願意花成本來讀」應被表述為存在可觀察或合理推定的資源投入,而不是逕行宣稱某公司為某篇文章花費多少 GPU-hours。
15. 七項可反駁假說:使「機器需求」不淪為事後解釋
以下假說均為本文提出、尚待檢驗的研究命題,不能直接寫成現存事實。檢驗前應先固定研究對象、分母、樣本窗口、觀測平台、排除條件與統計方法。
H1:內容覆蓋與有效取得,比原始請求量更能預測後續可觀測使用
候選機制: 在控制網站規模、內容更新與已知爬蟲排程後,成功取得更多不同實質版本的來源,更可能被相關任務中的 AI 系統於後續有限時間窗檢索或引用。
主要自變數: 已驗證機器的不同內容物件/版本覆蓋與有效正文取得。
結果變數: 事先固定 AI 查詢樣本中的可觀察來源引用或其他確有證據的下游調用。
主要反證: 經控制共同時間趨勢、內容發布、來源聲望與網站大小後,內容覆蓋率對下游可觀測使用沒有額外預測力,或原始請求數反而具有相同甚至更高的穩定預測力。
限制: 若結果只觀測到引用,不能據此排除其他不可見下游使用。
H2:跨獨立業者的持續取得,比單一來源的高頻重抓更具資訊需求辨識力
候選機制: 多個獨立業者持續讀取同類實質內容,可能比單一業者的機械性重試更能支持內容具有超越單一系統偶發排程的取得需求。
必要控制: 業者是否共用索引、雲端資源、上游供應商或流量分類器;若不同機器人其實屬於同一企業的共同基礎設施,不能把它們當成真正獨立觀測。
主要反證: 控制共同供應商、網站更新與外部熱門事件後,跨業者覆蓋沒有新增解釋力;跨來源取得主要由共同爬取清單或標準化網路巡檢造成。
H3:機器可見度與人類品牌識別存在任務相對解耦
候選機制: 在部分高資訊替代性、低品牌必要性的查詢中,AI 取得與使用增加,不必伴隨人類來源名稱回憶同步增加。
測量: 機器有效取得、固定查詢下的引用與品牌名稱呈現、真人來源識別問卷。
主要反證: 跨主要領域與任務的控制樣本均顯示機器使用與人類品牌記憶具有穩定且近乎同比的關係,沒有預期的查詢異質性;或原先觀察的落差可完全由測量偏差解釋。
本假說直接承接 Paper 01,不重複將品牌知名度等同 AI 引用。
H4:AIO 改善、GEO 引用改善及經濟成果改善,不具固定的單調傳導
候選機制: 修正 canonical 身分、內容結構或版本資訊,可能提高有效攝取;改寫摘要或來源表現,可能改變生成答案中的引用;但上述效果不一定提高同一網站的人類點擊、品牌記憶或商業收入。
設計要求: 區分單純技術可讀性改善與旨在增加引用的內容改寫;避免一次更動網站全面結構後,將所有變化歸因於其中單一措施。
主要反證: 在充分控制的多領域研究中,所有主要任務都呈現穩定、正向且近似相同的攝取—引用—品牌—收入轉換函數;或觀察不到本文預期的任務異質性。
H5:領域與查詢任務會調節 GEO 對來源回流的效果
候選機制: 原始來源不可替代性高、需要精確版本或交易驗證的任務,與可直接由答案滿足的通用常識任務,對 AI 引用及原站回流的反應可能不同。
測量: 按研究領域、來源必要性、答案替代性及使用者目標預先分層,估計生成式答案曝光與來源點擊的條件性關聯或實驗效果。
主要反證: 在足夠統計檢測力與跨平台樣本下,沒有可重現的領域或查詢目的交互作用;或所有差異都由使用者組成、裝置等混淆變數造成。
H6:機器取得與合法付費之間的轉化,取決於權利、差異化內容與結算條件
候選機制: 在可明確識別付款者與有效權利、可提供稀缺或高驗證資料、且具可接受交易成本的條件下,部分機器資訊需求更可能轉成實際授權交易,而不只是免費爬取。
觀測: 實際合約、已結算款項、授權適用內容版本、取得前後行為,以及未完成交易的失敗原因。
主要反證: 即使可替代性、權利和支付成本在可比範圍內變化,仍無法識別對交易採用有意義的條件性差異;或付款主要由外在補貼、捆綁服務而非內容用途驅動。
H7:延遲使用具有有限、可估計的時間分布,而非無期限必然實現
候選機制: 對被成功讀取且進入指定檢索管線的內容,後續首次可觀測使用可能具有數日、數週或數月的滯後分布,其形式依平台與內容更新節奏不同。
觀測窗口: 事先選定 30/90/180 天等適當窗口,對尚未發生事件的內容使用右設限處理;此處天數是研究設計例子,不是實證得出的普遍時間常數。
主要反證: 在合理涵蓋期內,沒有可辨識的使用事件分布,或可觀測事件與此前取得毫無可靠對應;亦可能證明特定平台根本不保留該類內容。
嚴格界線: H7 不允許用「或許未來一百年會使用」免除任何未實現的預測。
16. 第一代實證程序:從網站日誌到跨來源研究
16.1 研究對象與最小樣本單位
建議從具版本管理的資訊供給者入手,例如學術論文庫、軟體文件、新聞資料庫與公共資訊平台,以內容物件—版本—週為基本分析單位。研究者應至少分離:
- 原始內容是否公開可達;
- 內容發布與修訂日期;
- 對應機器請求是否可核驗;
- 有效正文取得的狀態;
- 內容被官方索引或生成式服務引用的可觀測證據;
- 是否存在可核對的授權及交易紀錄。
若缺少機器人身分或內容版本,研究者應將該資料標註為低可信度,不得使用隱含精確度的指標取代。
16.2 固定語料與固定查詢樣本
為避免只挑成功被 AI 引用的文章作研究,應在實驗開始前鎖定來源池、領域比例、基準時段與提示詞集合。可以按通用解說、需要精確來源的研究查詢、API 技術查詢及交易型查詢分層。
同一查詢建議採不同時間、語言及有限次同義轉述進行重複測量,並完整保留未引用、引用其他來源、拒答或來源錯配的結果。此設計可以估計生成式答案來源的不穩定性,但仍需尊重平台使用限制與研究倫理。
16.3 被動觀察與主動實驗必須區分
被動觀察可揭露流量時間序列及其與引用的關聯,但不能輕易辨識因果。主動實驗可在符合法律與平台規範的條件下,對網站自有且內容等價的頁面進行結構化 metadata、canonical 映射、格式可讀性或版本標示的控制性調整。
實驗不得對外提供錯誤科學主張、偽造文獻引用或專為操弄 AI 而污染使用者資訊。應採實際有助於資料品質的低風險干預,例如改善原本不穩定的文件目錄、增設準確的版本資訊或修正無效連結。
16.4 分組、干預與混淆
理想情況是在同一網站內,對相似內容物件群採群集隨機化或分批 rollout,並保留尚未更動組。分析時應注意:同一物件不同格式可能共用快取,搜尋引擎可能跨組共享索引,導致處置外溢;這時不能將頁面當成彼此完全獨立的試驗單位。
可能的混淆至少包括:文章品質、網站更新、社群宣傳、新聞事件、學術引用、平台索引變更、搜尋模型更新、機器人識別規則更動、內容授權變動,以及網頁速度與錯誤率。
16.5 證據分級與報告方式
本篇建議沿用 Paper 01 的五階段研究管理語法,但依具體用途補充:
| 等級 | 本篇認識狀態 | 允許的敘述 |
|---|---|---|
| E0 | 理論或假設 | 某機制「可能」成立 |
| E1 | 個案、介面快照、經營者估計 | 有初步現象,但口徑與偏差未完成核查 |
| E2 | 事件級已核驗資料 | 在明確時間、單位下觀察到有效取得或交易 |
| E3 | 可跨來源、時段或平台重複 | 指定樣本有穩定可重現的關聯 |
| E4 | 有可信因果辨識的研究 | 特定干預在特定條件下具有可支持的因果效果 |
以上不是科學界唯一的證據分類,更不能將 E4 當成對所有未觀測機制的完整證明。
17. 由網站管理報表出發的探索性個案
17.1 這個系列的原始觀測
本系列的研究起點,是 EveMissLab 網域列表在 2026 年 10 月的一份 Cloudflare 管理介面摘錄:其中 unboundedaxiom.org 顯示約 71.3k 不重複訪客,另有多個網域出現一定規模的訪問計數;研究者自身估計人類直接訪客可能遠少於介面顯示值。Paper 01 已對此作為探索性個案進行處理。
這份案例目前缺少足以由外部獨立確認的機器人用途比例、請求成功率、正文取得範圍、跨站去重及時間窗,因此不能被本篇改寫成「已核實 71.3k AI 訓練訪客」。
17.2 如果取得事件級資料,可以真正問什麼?
第一層可檢驗問題:這些請求中有多少來自可核驗 AI 搜尋、訓練候選、使用者觸發及其他自動化來源?
第二層:在已確認類別中,有多少成功取得實際正文,覆蓋多少篇不同論文及版本?
第三層:這些取得行為是否持續出現,是否隨新文章發布變動,是否有多個彼此獨立的業者?
第四層:在相同內容池的固定查詢測試中,引用、版本正確性、來源提名是否隨時間變化?
第五層:是否能確認任何後續授權、付費、API 服務使用、研究合作或其他實際成果?
即使第五層完全尚無資料,第一至第三層依然值得測量;但它們的價值應稱作機器資訊取得及可達性資料,而不是偽裝成已發生的訓練或付費收入。
17.3 大規模讀取能否支持內容的重要性?
若未來的事件級資料顯示:多個獨立來源、長時間、多次有效讀取大量不同的原創研究內容,且排除了重複路徑、內容錯誤、異常重試與一般化掃描,那便能較有力地支持「這個資訊庫在一些機器資訊取得流程中具有穩定接觸地位」。
但是否代表業者特別認可這些理論、將它們納入訓練、在某個任務中真正依賴或已產生市場價值,仍需要相應的下一層證據。這樣的表述同時保留機器資訊需求訊號的正面意義,以及研究推論的可檢驗性。
18. 替代解釋與失效模式:不能把所有訊號解讀成價值
為防止 LMID 成為一種永遠可以解釋所有結果的理論,本文明定至少十種需要檢驗的替代機制:
- 索引巡檢效應:固定排程導致爬取,即使內容很少被下游使用。
- 內容規模效應:頁面和版本多,機器請求自然多,但單位內容的實際需求可能很低。
- 結構缺陷效應:錯誤重導、URL 參數、重複路徑使流量虛增。
- 網站更新效應:高頻更新本身導致多次重新取得,而不是獨特內容更受重視。
- 代理服務外溢:人類使用某 AI 工具讀取網站,卻在統計上看似某業者的主動研究需求。
- 分類誤差:未知掃描器、一般搜索引擎或人類操作被錯誤分類。
- 共同上游效應:多個表面不同平台實際共享索引或資料供應商,不構成獨立需求。
- 熱門事件效應:同一外部新聞使爬取、引用及真人流量一起增加,卻未必有彼此的直接因果關係。
- 品質與品牌混淆:原本品牌強的來源較容易被引用,不能將之全部歸功於 GEO 修改。
- 付費選擇偏差:最願意付款的業者可能本來就面臨稀缺資料或監管要求,導致試驗的樣本無法代表一般免費網頁。
一旦這些機制足以解釋某個案例中的機器流量,研究者就必須適度降低對「獨立資訊需求價值」的推論,而不是用尚不可見的訓練用途抵擋反證。
19. 對內容方與 AI 業者的實務含義
19.1 對內容方
內容方最重要的不是追求所有 KPI 一起提高,而是先辨認自己的內容如何創造價值。依賴原站廣告者,應關注真人回流、使用者留存與平台摘要替代;技術文件供應者,應關注最新規格是否被正確引用及 API 調用;專業資料供應者,則可能更重視授權合約、資料品質及可驗證交付。
同時,管理報表必須把「多少機器人成功下載了內容」「有多少獨特內容被覆蓋」「有多少可見引用」「有多少真人回流」「實際收了多少錢」分開列出。若全部寫成「AI 網站價值」,反而降低可解釋性。
19.2 對 AI 產品與 Agent 供應者
允許來源方辨識用途、尊重存取與使用權利、提供適當可追溯性,可能降低資料取得摩擦及權利爭議。當某些內容是專有、更新頻繁且具有高驗證需求的資料時,直接建立明確授權與交易路徑,也可能比不透明的被動爬取更穩定。
但這是有條件的商業設計假說,不代表每一次取得都需要創造新的微支付,也不表示公共開放資訊應被普遍改成高價門檻。
19.3 對研究者與監管者
未來機器資訊經濟不應只看「訓練爬蟲流量」或「平台引用多少來源」。同樣需要研究資訊取得的權利、支付者、內容貢獻、資料更新週期、公共知識可得性及消費者最終福利。
在更高尺度上,資訊價值不是直接由 HTTP 流量創造;資訊需要經過處理、驗證、採用及制度吸收,才可能改變真實生產與消費的可行集合。這也符合既有 EWDT 的轉化條件原則。
20. 研究結論:先承認機器需求,再限制推論邊界
本文針對 AI 資訊市場提出一個既不能過度樂觀、也不能過度否定的觀察立場。
第一,機器端大規模內容接觸不是天然的零訊號。 真正發生的有效取得、持續排程、跨業者與跨實質內容覆蓋,至少構成可研究的系統性資源配置現象。若研究者只因缺乏公開引用、真人知名度或現金收入,就把它全部歸零,可能忽略生成中的機器資訊需求。
第二,資訊取得不是訓練採納的替代證據。 來源被請求、正文被下載、進入索引、模型在回答裡引用、進入訓練管線、下游任務採用與授權付款是不同事件;沒有哪一層可被當成後續每一層的必然條件。
第三,AIO/GEO 不具跨領域的單一最優解。 一般解說、原創科學、工程規格、即時報導、授權資料與可交易商品具有不同的來源必要性、答案替代性及收益路徑。提高機器可讀性可能同時增加 AI 使用、減少某種人類點擊;提高 AI 引用也不必然提升品牌記憶或收入。
第四,機器資訊經濟必須把有效需求與交易市場分離。 取得成本、工具需求、網站方收入、商業採購意願和可收費授權關係具有不同的觀測條件。資料有用不必然有人願意購買;目前免費不代表未來沒有合法交易可能;可以收費也不保證收費後的淨效益為正。
第五,時間維度應同時保留可能性與可反駁性。 今天沒有公開引用不表示某份資料永遠不會被使用,但研究者也不得以無限長的未來可能性免除對具體轉化路徑、時間窗口與失效條件的說明。
因此,本篇將核心命題濃縮為:
AI 資訊需求應被視為具有多層事件、異質用途、時間延遲、權利約束與不同價值實現路徑的經濟活動。大規模且可核驗的機器取得具有獨立可研究的資訊意義,但其是否轉化為實際使用、社會認知或支付收益,必須由各層相應證據另行證明。
與 Paper 01 合讀,可以得到一個初步但嚴格的結構:
機器取得量 ≠ 人類知名度
機器取得量 ≠ 訓練採納
機器取得量 ≠ 可見引用
機器取得量 ≠ 內容方收入
但:
經核驗的機器取得量 ≠ 沒有任何資訊意義
沒有公開引用 ≠ 已證明沒有後續使用
真正值得研究的,不是為所有這些指標找到一個容易宣傳的替代數字,而是查明在什麼條件下、經由什麼機制、於多長時間內,它們會彼此轉換、分離、相互抵消或構成新的經濟關係。
下一篇: Paper 03〈供給膨脹、注意力收斂與新入口生成:非泡沫型網路轉化〉。本篇完成的是機器資訊需求的分類與轉化邊界;下一篇才進一步討論人類有限注意力、低門檻內容供給、平台集中與新注意力生成的宏觀關係。
附錄 A:事件紀錄的最低欄位契約
以下是研究性資料結構示意,用於說明何種證據需要保留;不是特定網站的真實日誌,也不構成任何服務商官方 schema。
| 欄位 | 目的 | 備註 |
|---|---|---|
event_id |
單次事件的內部唯一識別 | 研究資料使用去識別化值 |
timestamp_utc |
請求或結果時間 | 與網站時區分開保留 |
source_id |
網站或資料來源 | 不等同於付款者 |
canonical_object_id |
內容本體 | 可跨 URL 對應 |
content_revision |
文件版本 | 必須可辨認新舊版 |
projection_format |
HTML、PDF、MD、JSON 等 | 不能直接當不同知識物件 |
actor_class |
已驗證 bot、未核驗、真人、混合/未知 | 不強迫全部二分 |
claimed_purpose |
search、training-candidate、user-action、other | 是宣告/分類,不是已發生的全部內部用途 |
verification_method |
判斷身分的依據 | 可包含可信的多來源核驗資訊 |
http_status |
回應狀態碼 | 可辨別 200、206、304、403 等 |
qualified_body_bytes |
實質正文的估計傳輸量 | 須註明缺漏、部分內容及計算口徑 |
access_policy_revision |
取得當時的授權/政策狀態 | 不代表自動獲法律授權 |
observable_citation |
指定生成式回答是否引用該來源 | 應另存 query 與平台條件 |
human_referral |
可觀察真人回流 | 不等於人類已形成品牌記憶 |
settlement_reference |
經濟交易可核驗指標 | 僅在確有合法交易證據時填寫 |
evidence_level |
本文 E0–E4 分級 | 分級對應的是特定主張,不是整筆資料自動可信 |
一筆可重現研究紀錄還需要保存資料取得權限、去識別化規則、欄位定義版本及失敗事件;只保留成功案例會造成顯著的選擇偏差。
附錄 B:事件可識別性與認識論硬邊界
| 主張 | 網站伺服器日誌通常可支持嗎? | 需要的額外證據 |
|---|---|---|
| 有某些機器請求 | 在具適當日誌時可 | 來源核驗與去重 |
| 已回傳某份正文 | 部分可 | 內容映射、版本與回應完整性 |
| 某 AI 業者建立了索引 | 通常不足 | 索引可觀測結果或使用方紀錄 |
| 某段內容進入訓練候選集 | 通常不足 | 使用方候選集或可信來源交付證據 |
| 某內容已用於實際模型訓練 | 通常不足 | 可核驗訓練資料溯源及處理紀錄 |
| 某文件對模型權重具有固定可量化貢獻 | 通常不足,甚至內部也可能難直接分離 | 嚴格的模型歸因設計,且必須說明識別限度 |
| 某回答公開引用特定 URL | 可透過外部抽樣部分確認 | 平台、查詢、日期、回答快照 |
| 人類記住了來源或品牌 | 不足 | 自願調查或其他適當識別測量 |
| 某業者實際為取得內容付款 | 一般流量不足 | 合約履行、交易或財務結算證據 |
這裡的「通常不足」不是說該事實永遠不可研究,而是提醒研究者不要用錯誤的觀測來源回答超出其證據能力的問題。
附錄 C:最小預註冊研究計畫範本
研究問題: 是否存在某一類資訊來源,在控制內容更新與網站規模後,持續的已核驗機器有效取得先於後續可觀測引用增加?此關係是否依領域與查詢目的而異?
主要分析單位: canonical 內容物件 × 版本 × 週;輔以來源網站層級與業者層級的分層模型。
基準期間: 依資料可得性預先指定,例如 8–12 週;不因結果不顯著而任意延長。
追蹤期間: 可先選 90 天,必要時預先規劃延長到 180 天;新資料收集後須分開報告前後兩個結果。
主要結果: 固定查詢池中來源被引用的比例,及正文被正確使用/錯用的可核驗比例。這兩個結果不等於訓練採納。
主要控制: 領域、文件長度、發布時間、內容更新、外部反向連結、機器人類別、網站結構、網站可用性、共同新聞事件及 AI 平台版本。
陰性/安慰劑對照: 已長期不再更新的頁面、主要用於站內導覽而缺乏實質內容的頁面、錯誤回應路徑;不能讓這些非內容路徑被算成「大規模學習」。
拒絕條件: 事件與內容無法對齊、身分分類錯誤率過高、資料只有網站總請求、引用查詢樣本不穩定或缺少跨時段比較,均不得對訓練及機器需求作強推論。
報告義務: 事先保存操作規則、缺漏率、變更日誌、搜尋查詢、模型與平台版本、結果不確定區間及所有失敗案例。研究結果可為正、負或不顯著;不可依結果方向重寫既定的假說語義。
參考文獻與可核對資料
A. 外部研究、正式規格及官方技術文件
[E1]Cloudflare. (2025-12-15). The 2025 Cloudflare Radar Year in Review: The rise of AI, post-quantum, and record-breaking DDoS attacks. 2025 年 Cloudflare 可見網路的 AI 爬蟲類別、用途及流量觀測;統計不能代表全網普查。
https://blog.cloudflare.com/radar-2025-year-in-review/
[E2]OpenAI. Overview of OpenAI Crawlers(官方開發者文件,2026 年 10 月核對)。區分 OAI-SearchBot、GPTBot、ChatGPT-User 及用途控制,亦註明在部分條件下可重用一次爬取結果。
https://developers.openai.com/api/docs/bots
[E3]Google for Developers. Google's common crawlers(2026 年 10 月核對)。Googlebot 與 Google-Extended 等產品用途控制符記的不同作用,並說明 Google-Extended 沒有獨立 HTTP request user-agent。
https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
[E4]Aggarwal, P., Murahari, V., Rajpurohit, T., Kalyan, A., Narasimhan, K., & Deshpande, A. (2024). GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. DOI: 10.1145/3637528.3671900. 此文主要支持生成式引擎可見度與領域效果差異的研究背景,不支持跨平台永續收入保證。
https://arxiv.org/abs/2311.09735
[E5]Martinez, O. (2026-07-15). Optimizing Visibility in Generative Engines: A Critical Survey of Generative Engine Optimization (2023–2026). arXiv:2607.14035(預印本/批判性綜述,與已完成獨立重現的原始實驗證據須區分)。
https://arxiv.org/abs/2607.14035
[E6]Wen, Q., et al. (2026). SafeGEO: Understanding Generative Engine Optimization Risks in Recommendation Agents. arXiv:2606.28356(預印本;評估生成式推薦受來源最佳化操弄之風險,非全部 GEO 操作的普遍因果估計)。
https://arxiv.org/abs/2606.28356
[E7]Chapekis, A., & Lieb, A. / Pew Research Center. (2025-07-22). Google users are less likely to click on links when an AI summary appears in the results. 900 位同意提供瀏覽資料的美國成年人樣本;研究結果為觀測關聯而非隨機化因果判定。
https://www.pewresearch.org/short-reads/2025/07/22/google-users-are-less-likely-to-click-on-links-when-an-ai-summary-appears-in-the-results/
[E8]Cloudflare. Manage AI crawlers(AI Crawl Control 官方文件,2026 年 10 月核對)。記載可依爬蟲設定 Allow、Block、Charge,並註明 Pay Per Crawl 屬封閉 beta。
https://developers.cloudflare.com/ai-crawl-control/features/manage-ai-crawlers/
[E9]Cloudflare. Pay Per Crawl FAQ(官方文件,2026 年 10 月核對)。說明合格成功取得之計費、重新爬取與錯誤回應不計費等條件。
https://developers.cloudflare.com/ai-crawl-control/features/pay-per-crawl/faq/
[E10]RSL Technical Steering Committee. (2025-12-10). Really Simple Licensing (RSL) 1.0 Specification(Recommendation)。定義機器可讀之使用、許可及支付條件;並非無需執行機制即自動完成經濟結算。
https://rslstandard.org/rsl
[E11]Koster, M., Illyes, G., Zeller, H., & Sassman, L. (2022-09). RFC 9309: Robots Exclusion Protocol. IETF. 明示 robots.txt 規則不是存取授權,也不能替代有效安全措施。
https://www.rfc-editor.org/rfc/rfc9309.html
[E12]Google for Developers. Crawl budget management(官方檢索基礎架構文件,2026 年 10 月核對)。區分檢索容量與檢索需求,說明內容規模、更新、新鮮度、熱門程度及網站健康狀態如何共同影響爬取;其論述主要針對 Google 檢索系統,不能直接推廣為所有 AI crawler 的共同演算法。
https://developers.google.com/crawling/docs/crawl-budget
B. EveMissLab 既有研究與概念前置
[T1]Neo.K with GPT-5.6 Sol. (2026-09-23). EWDT-02|經濟投影失真論(v0.1)。對應本篇的指標投影與觀測充分性邊界。
https://unboundedaxiom.org/p/lm-004440/
[T2]EveMissLab. (2026-09-23). EWDT-07|供需的重新定義:實體、制度、符號與依賴性需求(v0.1)。對應機器資訊需求的多型態分離。
https://unboundedaxiom.org/p/lm-004422/
[T3]EveMissLab. (2026-09-23). EWDT-18|AI 泡沫與經濟世界域擴張:轉化性文明的總閉合(v0.1)。候選、驗證、部署、吸收及世界沉積不可混同。
https://unboundedaxiom.org/p/lm-004409/
[T4]EveMissLab. (2026). 從 Human-Centric Web 到 AI-Readable Web:AI 爬蟲、Agent 與機器讀者時代的網站架構轉換。提供 canonical 內容物件、資料版本及權利介面等網站架構前置。
https://unboundedaxiom.org/p/lm-001202/
[T5]EveMissLab. (2026). AICR / AICL as an AI Content Licensing and Agentic Payment Connection Layer(v0.1 public draft)。提出內容權利與 Agent 支付連接的草案;不視為已完成全市場採用的外部標準。
[T6]EveMissLab. (2026). 語義儲備網域命題:Agentic Web 時代的網域價值函數反轉。作為語義可發現性與機器導航的條件性理論前置。
https://unboundedaxiom.org/p/lm-001266/
[T7]EveMissLab. (2026). AI 內容付費與網路民主化經濟:從資料白嫖、巨型估值到分級授權市場的政治經濟學分析。用於經濟權利與分層付費之背景,本篇不複製其詳細付費制度主張。
https://unboundedaxiom.org/p/lm-001221/
[T8]本系列 Paper 01. (2026-10-16). 機器可見,而人類未必認識:雙重受眾的資訊識別落差(EML-AIEC-2026-01,v0.1)。本篇直接前置,含 EveMissLab 網域資料之探索性個案及其觀測限制。
相對檔名:AI_Economic_Coupling_Paper01_Machine_Visibility_Human_Recognition_v0.1_2026-10-16.md
原始碼、版本與驗證聲明
- 本篇的正式可修訂成果是 UTF-8 Markdown 原始檔,不以聊天畫面渲染結果作為 canonical source。
- 原稿的所有正式數學界定式僅使用
$...$與$$...$$作為 LaTeX delimiter;無須將渲染後公式從聊天畫面複製回原稿。 - 任何來源引用、實際收入、機器人存取或訓練採納的宣稱,必須保持原始證據的種類、分母、時間與可觀測邊界。
- Cloudflare 管理介面個案屬探索性資料,本文未擁有足以識別模型訓練、內部採納或特定業者實際付款的未公開事件級資料。
- 既有母理論的原始檔使用 EWDT(Economic World-Domain Transformation Theory)縮寫;本輪討論出現 EWOT 口述用法。本文不修改原始母論名稱或 source,並在引用中維持 EWDT 正本編號。
- 本文所有構造數值、示意模型與待測假說均已標示其非實測性質;未以數學形式化替代經驗驗證。
Paper 02 結束。