今天，谷歌的Dropout專利生效這一消息突然在圈內傳開，而生效日期就在6月25日，有效期15年。三年前，谷歌就給Dropout申請了專利，但因為此舉引發了業界眾多異議，最最後無疾而終。只是令人沒想到時隔三年，這一專利申請竟然生效了。

何為Dropout？

但凡是接觸過機器學習的人士，一定知道Dropout。它是在進行深度學習、訓練神經網絡時，普遍會用到的方法，也是調參的一種手段，可以有效防止過擬合。由Hinton 在2012 年的論文《Improving neural networks by preventing co-adaptation of feature detectors》中提出。

而在隨後Alex 和Hinton 的論文《ImageNet Classification with Deep Convolutional Neural Networks》中，則用Dropout 算法來防止過擬合。論文中的AlexNet 網絡模型瞬間引爆神經網絡應用熱潮，並贏得了2012 年圖像識別大賽冠軍，使得CNN 成為圖像分類上的核心算法模型。

而Dropout 在這裡面，就起到了訓練深度神經網絡的一種trick 供選擇這一重要作用。簡單來講：在前向傳播過程中，Dropout 讓某個神經元的激活值以一定的概率p 停止工作，通過取各種網絡的平均來提升模型的穩定性，從而有效的緩解過擬合現象，並在一定程度上達到正則化的效果。

而且對於機器學習來說，一旦模型過擬合，那麼該模型幾乎不能用。因此，這一方法在很早的時候，就被廣泛的運用在機器學習領域中。

Dropout 申請專利

在谷歌申請專利的介紹中，他們把Dropout 稱為——《解決神經網絡過擬合的系統與方法》。我們可以在Google Patents （https://patents.google.com/patent/US9406017B2/en）上看到這項技術的專利詳情頁面。

通過摘要，我們大致可以了解到關於Dropout 的這幾點：

• Dropout 是一個用來訓練神經網絡的系統；
• 其中網絡某些層上的特徵檢測器都連著一個開關；
• 在每個訓練場景下，這些開關會隨機關閉部分特徵檢測器；
• 而這些訓練場景下的權重會被歸一化，最終將神經網絡應用在測試集上。

從圖中右上角，我們可以看到該技術發明者包括：Geoffrey E. Hinton、Alexander Krizhevsky、Ilya Sutskever、Nitish Srivastva；而目前的專利權受讓人（Current Assignee）是谷歌。

Dropout 的影響

綜上所述，當Dropout 這一普遍且通用的方法成為了專利，雖然它非常簡單，但此舉就好比加法成為了個人專利，這勢必會為整個行業帶來大的擾動。

這一方法在將來的使用中，是否存在法律風險？谷歌會對該專利作出怎樣的限制？這些限制將給學術研究與合作帶來怎樣的結果？對於國內外的相關企業又有什麼影響？……這些問題不免引起大家的關注與思考。

消息發出後，reddit 上就針對這件事進行了熱烈的討論：

其中討論得最多的問題就是—— 以後我們是否還能夠自由使用Dropout？

針對這一問題，有人認為谷歌不會強制執行專利許可，就像他們之前的“使用深度神經網絡處理圖像”專利一樣，也沒有強制執行；

也有人持有相反的態度，並且將關注點落在了企業層面，認為這一專利申請，勢必會影響一大部分年輕的機器學習公司。因為谷歌可以對其專利代碼被使用，隨時提出訴訟，而對公司造成消極影響；

還有持辯證態度的群眾，他總結到這個事情的影響視​​個人情況而定。如果你是機器學習相關的公司負責人，這件事的就會對公司利益造成損害；如果你與穀歌有利益糾紛，走法律程序前三思，因為你很可能會被谷歌公司以專利侵權返告；但如果你是谷歌的專利律師，那恭喜，估計世界上也沒有能難到你的案件了！

知乎上，一位知友也發表了自己的看法——

還有網友表示我們不應該指責谷歌，應該指責專利制度；正如有句話所說“不要怪玩家，要怪就怪制定遊戲規則的人。”不過，在事情還沒有任何定論之前，我們也只能持觀望態度，畢竟專利設置之初，其本意是用來鼓勵和保護髮明創造的，從過去的一些專利申請來看，它確實也起到了相應的作用，也維護了很多發明者自身的利益。

當然，我們也希望如大部分樂觀網友所說，谷歌的行為只是單純為了維護自身利益；而Dropout 專利申請生效事件，也不會為學術圈乃至整個行業帶來任何消極影響。