Google現在預設不索引網站內容轉而尋求更有選擇性的收錄
想像一下：現在是十年前，您剛剛開設了一個新的WordPress 部落格。幾小時內，有時甚至幾分鐘內，你的內容就被Google收錄了。你搜尋最新文章中的一個獨特句子，它就出現在Google首頁。感覺就像變魔術一樣，這就是Google的使命”組織全世界的信息並使其普遍可用”。對於用戶來說，這意味著如果資訊存在於網路上的某個地方，那麼只要稍加巧妙的搜索，就能找到它。對於內容創作者來說，這是一個千載難逢的機會：創作內容，Google將確保它被找到。
但是，有機會的地方就有濫用：
- 低品質內容充斥網絡
- 連結買賣
- 大量灰色和黑色搜尋引擎優化內容
Google為此推出了一系列演算法更新，每次都比上一次更複雜。 “熊貓”、”企鵝”和它們的後續版本旨在清理Google眼中的操縱性搜尋引擎優化做法。
這不是一次性事件，而更像是搜尋引擎優化人員和Google之間長達二十年的舞蹈。雙方都在不斷調整，Google不斷推出更新，搜尋引擎優化人員也不斷找到新的方法，在指南範圍內（有時甚至在指南範圍外）進行優化。
“內容為王”的興衰
在搜尋引擎優化人員與Google之間持續不斷的爭鬥中，業界出現了一個新的口號：”內容為王”。這理念有兩個主要面向：
- 好的內容自然會吸引鏈接，並可能產生積極的用戶互動信號，從而提高排名。
- Google的演算法本質上重視高品質內容，並對其進行排名。
其理念是，透過專注於創建優秀的內容，網站可以改善其搜尋引擎優化，而無需訴諸更多技術性或潛在的操縱性策略。
然而，這概念從未完全正確。許多真正優秀的內容創作者從未獲得他們認為應得的排名，這說明僅有品質是不夠的。同時，這並非完全錯誤–好的內容往往在搜尋結果中表現出色。
其中一個根本問題是，Google或其他任何人都無法透過演算法確定”好”內容。
對於搜尋引擎優化人員和內容創作者來說，這句咒語起到了有益的簡化作用，為他們提供了一個明確的目標。當搜尋引擎優化人員過於深入地研究技術細節時，Google也可以用它來解釋–他們總是可以回到”只要創造好的內容”。
人工智慧內容革命
時間快轉到2018 年。 OpenAI 發布了GPT-1，內容創作的未來突然變得清晰可見。人工智慧生成的內容與人類撰寫的文本無異，即將到來。內容為王”的時代即將結束。
現在，請設身處地為Google想想。在未來，人工智慧可以產生無限量的類人內容。你會怎麼做？
Google的回應是雙重的：
- 推廣EAT（專業性、權威性、可信性）這個模糊概念。在實踐中，這就是偏愛知名品牌和成熟網站。
- 放棄索引一切的使命。相反，要有選擇性。非常有選擇性。
新現實：選擇性索引
這就是目前的現狀：Google不再試圖索引整個網路。事實上，它變得極其挑剔，拒絕索引大多數內容。這並不是因為內容創作者沒有達到某種武斷的品質標準。相反，這是Google作為搜尋引擎的角色發生了根本性的變化。
Google現在似乎是在”預設不索引”的基礎上運行的。只有當它認為有真正需求時，才會將內容收錄到索引中。這項決定似乎基於各種因素：
- 內容極具獨特性：僅僅寫一些未被廣泛報導的內容是不夠的。 Google似乎要求內容必須真正新穎或填補其索引中的重大空白。
- 認知權威：Google認為在其利基市場中具有高度權威性的網站可能會有更多內容被收錄，但即便如此，也不能保證。
- 品牌知名度：知名品牌的大部分內容通常都會被收錄，而小型或不知名部落客則面臨更嚴格的選擇性。
- 臨時索引和取消索引：在實踐中，Google通常會快速索引新內容，這可能是為了避免錯過突發新聞或重要更新。不久之後，Google 可能會取消對該內容的索引，此後該內容一直處於被取消索引的狀態。因此，最初被收錄並不一定表示Google 認為您的內容有價值。
我們親眼目睹了這種轉變。過去，當創建一個新網域時，它會在一小時或更短時間內被收錄，有時甚至在幾秒鐘內。即使是沒有任何提及和反向連結的全新網域也是如此。當搜尋其中一篇全新部落格的標題或文章中的某個獨特句子時，它就會出現在Google首頁上。
現在，對於每篇內容，Google都會決定是否值得索引，而答案似乎往往是”否”。他們可能會索引他們認為真正獨特的內容或根本沒有涉及的主題。但是，如果您所寫的主題被Google 認為是在其他地方稍有涉及的，他們很可能不會將其收錄。即使是一位擁有大量讀者的備受尊敬的作家，這種情況也可能發生。
有趣的是，我注意到當內容設法被收錄時，其排名往往出乎意料地好。這就好像被收錄的障礙已經變得如此之高，以至於一旦你通過了這個障礙，你就已經在排名的道路上走了一大半。然而，要達到這一點卻變得難上加難。
重要的是，這種極端的選擇性並非一視同仁。知名大品牌的大部分內容通常很快就會被收錄，而小型部落格或利基網站的收錄門檻則要高得多。對這些小網站來說，這已經不只是創造好內容的問題了，而是要讓Google相信你的內容對他們的索引是絕對必要的。
後果
Google搜尋已經從綜合搜尋引擎轉變為更類似於獨家產品目錄的產品。對用戶來說，這意味著他們正在尋找的資訊可能已經存在，但卻無法透過Google找到，大量有價值的內容都被忽略了。你可能會搜尋到的資訊可能永遠不會出現在Google的搜尋結果中。不是因為它不存在，而是因為Google選擇了不收錄它。
對於內容創作者來說，這是個巨大的挑戰：如果Google拒絕索引你的大部分內容，你如何獲得對大眾的可見性？