說到維基百科，大家都不陌生。光在負評的資料來源裡，你就能經常看到它。世超每次寫那些帶點歷史的、科普性質的文章時，就會查維基百科的解釋，完了再順著底部的參考資料挖一挖，能延伸出更多資訊點。可以說，維基百科是一般人理解一個概念，最便捷也最權威的方式之一。

維基百科的營運機構，是一個叫做維基媒體的非營利組織。組織旗下除了有維基百科，還有維基共享資源，維基字典，維基教科書等項目。

這些項目都是免費給大家用的，因為維基媒體的核心價值就是讓知識自由獲取和分享。

但最近，維基媒體真的被 AI公司們鬧麻了。

這些公司為了訓練大模型，派了無數個 AI爬蟲源源不斷爬取維基媒體上面的資料。

但說起來你可能不信：維基媒體居然沒告這些 AI公司，而是選擇了——

主動上交。

“各位大哥，我把資料都整理好了，你們別爬了行不。”

前段時間，維基媒體把英文、法文的維基百科內容託管在社群平台Kaggle，告訴那些AI 公司，要資源自取。

光給資源還不行，維基還要服務好這些大哥，專門把資料針對 AI模型的口味優化了一遍。

因為機器和人類不一樣，我們看起來清晰直覺的頁面，他們還需要多動點腦子，來判斷每個部分是啥。

所以維基就把頁面做成了JSON 格式的結構化內容，那些標題、摘要、解釋都按照統一格式分好。

這樣AI 在查看時更容易讀懂每一段的內容和數據，從而降低了AI 公司的成本。

這一波啊，這一波屬於是為了保護老巢不被沖垮，維基給狼群做了一盤美味的肉，扔在了別的地方。

世超覺得，維基這麼做真挺無奈的。

早在4 月1 號時，他們已經發過部落格吐槽了：從2024 年以來，平台用來下載多媒體內容的流量增加了50%。

本來以為是大家更愛學習了，結果一查發現全TM 是AI 公司的爬蟲類。爬蟲們源源不絕地把資源爬回去，然後拿去訓練大模型。

爬蟲對維基的影響，還真挺大的。

因為維基媒體在全球有多個區域資料中心（歐洲、亞洲、南美洲等）和一個核心資料中心（美國維吉尼亞州阿什本）。

核心資料中心存所有的資料，而區域資料中心會暫時快取一些熱門詞條。

這麼做好處是啥呢？

例如最近很多亞洲人在查「 Speed 」這個詞，那「 Speed 」就會被快取到亞洲的區域資料中心。

這樣後來的亞洲網友查看「 Speed 」時，這些數據就會走同城快遞，從亞洲資料中心出發，不用再從美國的資料中心走國際物流了。

這高頻詞條走廉價通道，低頻詞條走高價通道的辦法，不光提高了各個區域用戶的載入速度，也降低了維基媒體的伺服器壓力。

但問題是： AI 管你這的那的？只要是個字條，它都要訪問，而且批量性訪問。

這就導致不斷有流量走高價通道。

前段時間維基媒體發現，那些走美國資料中心的高成本流量，居然有65% 都是AI 爬蟲糟蹋的。

要知道維基是免費的，但它的伺服器不是，每年都有300 萬美元託管成本。

不過吐槽可能沒啥用，所以幾週後維基媒體選擇把資源整理出來，託管在其他平台，讓AI 公司自取。

其實不光是維基百科，從內容平台到開源項目，從個人播客到媒體網站大家都遇到類似問題。

去年夏天，iFixit 老闆就在Twitter上吐槽Claude 的爬蟲在一天訪問了自家網站100 萬次…

看到這，你可能會說，不是一個有機器人協議robot.txt 麼，不想讓AI 爬蟲訪問自己的網站，可以把它寫進協議裡。

啊對，在ifixit 把Claude 爬蟲加到robots.txt 後，爬行確實暫停了下（變成了30分鐘一次）

在曾經的網路時代，robots 協議的確是個一勞永逸的技術，也有公司因為不遵守吃到了官司。

但擱現在，這個君子協議只能算紙老虎。

現在的大模型公司，能爬盡爬。

畢竟別家都在爬，你不爬，那你的語料庫就不如別人強大，大模型起跑線就會低人一等。

那咋辦——

給爬蟲換一個名字唄（user-agent）。你只說不讓魯迅爬，又不讓說不要讓週樹人爬。

有沒有大模型這麼無恥？可太多了。

之前就有reddit 網友明明在協議中禁止OpenAI 的爬蟲，結果對面改了下名字，繼續爬。

再例如perplexity 也被科技媒體WIRED 抓到，根本無視robots 協定。

這些年呢，大家也在嘗試各種新的辦法。

有人研究出在robots 協議中放一個壞死鏈接，但凡點進鏈接的一定是爬蟲，畢竟正常用戶是不會點擊這個協議。

也有人選擇借助Web 應用程式防火牆( WAF )，基於IP 位址、請求模式、行為分析綜合識別惡意爬蟲。

也有人決定要幫網站弄一套驗證碼。

但基本上這些辦法，往往道高一尺，魔高一丈。你抵抗越狠，AI 公司也會採取更殘暴的爬取手段。

所以賽博菩薩cloudflare 前段時間出了一套技術是監測到有惡意爬蟲，就索性讓爬蟲進來。

當然放它進來，不是給它好吃的，而是做了一道「錯飯」——

提供一串和被抓取網站無關的網頁，讓AI 在裡面慢慢看。

cloudflare 的操作還算是收斂著了。

今年1 月，有網友寫了一款更兇狠的工具，叫做Nepenthes 豬籠草。

和豬籠草殺死昆蟲一樣，「 豬籠草」將AI 爬蟲困在沒有出口連結的「 無限迷宮」 靜態文件中，讓它們抓不了真實內容。

不光如此，“ 豬籠草”還不斷向爬蟲投餵“ 馬可夫亂語”，來污染AI 的訓練資料。據說這個技術目前僅有OpenAI 的爬蟲能逃脫。

好好好，原來AI 攻防戰，在大模型訓練源頭就已經打響了。

當然了，平台們也可以和AI 公司達成協議。

例如Reddit 和Twitter都向AI 公司推出了收費套餐，每月使用多少API、存取多少推文，我就收你多少錢。

也有沒談成還打起官司的。例如《紐約時報》商量無果後，就起訴了OpenAI 抓取自家文章。

看到這你可能會好奇：為什麼維基百科不告這些AI 爬蟲？

世超猜測，這可能和維基百科本身有關。

維基百科的授權協議非常開放。

它大部分內容是允許任何人（ 包括AI 公司）在遵守署名和相同協議共享的條件下，自由地使用、複製、修改和分發。

所以從法律角度來看，AI 公司抓取、使用維基百科的資料進行模型訓練，大機率還是合法的。

而且就算把AI 公司告上法庭，但現在業界也沒有對AI 侵權這塊有個明確的法律界線。這種風險大、成本高、消耗時間久的選擇，對維基媒體來說，並不切實際。

最主要的是，維基媒體的使命就是──讓地球上的每個人都能自由地獲得所有知識。

雖然AI 爬蟲帶來的伺服器成本是一個問題，但透過法律手段或商業協議，來限制別人取得資源，或許和他們的使命相違背吧。

照這麼來看，維基媒體選擇把資料整理好，給AI 公司拿去訓練，也許是最合適，但也最無奈的辦法吧。