這波針對爬蟲業務的強監管是由於公安部門打擊“套路貸”牽扯出了導流獲客和暴力催收這兩個幫兇，發現爬蟲是主要工具，為這些“套路貸”平台爬取通訊錄、地址定位等個人敏感信息，從而引發了命案及相關刑事調查。

爬蟲，應用與邊界

網絡爬蟲，是一種按照一定規則，自動抓取互聯網信息的程序與技術。如果通過爬蟲抓取網絡公開信息，並不違法；但如果抓取的是未公開、未授權的個人敏感信息，就屬於違法行為，違反的是2017年6月1日實施的《網絡安全法》以及“兩高”相關司法解釋。

51信用卡事件在杭州警方發聲明之前，多方都認為是因為爬蟲技術使用不當觸及紅線導致，由此，爬蟲技術也被拉到了公眾關注的焦點。21世紀經濟報導記者了解到，其實，外界的這種猜想也是無風不起浪，爬蟲整肅風暴緣何刮到杭州並捲起風暴？

今年以來，大數據風控行業頗不平靜，9月份以來，杭州的魔蠍科技和公信寶運營公司、杭州存信數據科技有限公司（以下簡稱“杭州存信”）以及貸款超市頭部機構“信用管家”先後被杭州警方調查。

此外，還有多家大數據風控公司人士“協助調查”，涉及同盾科技等多家機構。一時風聲鶴唳，大數據行業的從業者人人自危。多家大數據公司表態暫停爬蟲業務。

21世紀經濟報導記者多方了解到，上述公司受調查均是與爬蟲業務有關。

對此，同盾科技相關人士22日回复21世紀經濟報導記者稱，數聚魔盒產品是信川的產品之一，因為該服務對適用條件與場景有嚴格的授權要求與限制，為了更加嚴格的保護用戶合法權益，避免個人信息被誤用，同盾已經從去年開始逐步調整業務，目前已全部停止相關服務。除此之外，同盾的高管並沒有接受警方調查，同時，同盾主營業務也沒受到影響，沒有相關調整。

爬蟲“鼻祖”被查

10月21日上午，51信用卡位於杭州西湖區紫霞街80號西溪谷國際商務中心的辦公地點遭遇杭州警方突擊調查。引來業內一片嘩然。

而51信用卡正是行業內最早開展爬蟲的公司之一，這讓不少業內人士猜測此次被警方調查即是利用爬蟲技術非法獲取用戶個人信息，而這是近期公安部嚴厲打擊的範疇。

51信用卡堪稱業內爬蟲行業的鼻祖，此次杭州被調查的數據公司魔蠍科技創始人周江翔是51信用卡的前高管。魔蠍科技是業內知名的大數據服務公司，合作機構範圍較廣，牽涉業內大量金融機構。

但杭州公安10月21日深夜發布的最新通報顯示，51信用卡被調查的原因是其委託的外包催收機構涉嫌非法催收，涉嫌尋釁滋事等犯罪行為。

就在51在杭州被大批警察包圍突擊調查的同一天，10月21日，最高人民法院、最高人民檢察院、公安部、司法部聯合發布《關於辦理非法放貸刑事案件若干問題的意見》。《意見》將打擊目標鎖定社會危害性最為突出的非法高利放貸，明確在定罪量刑時以單次實際年利率超過36%的非法放貸為基準。規定即日生效施行。

同日，《關於辦理利用信息網絡實施黑惡勢力犯罪刑事案件若干問題的意見》也正式發布，公安部副部長、全國掃黑辦副主任杜航偉在新聞發布會中表示，《意見》首先明確，通過線上方式實施黑惡勢力犯罪的主要手段是“發布、刪除負面或虛假信息，發送侮辱性信息、圖片，以及利用信息、電話騷擾等方式，威脅、要挾、恐嚇、滋擾他人”，同時對利用信息網絡實施的強迫交易罪、敲詐勒索罪、尋釁滋事罪如何認定以及此類案件的特殊取證方式等問題，作了明確規定。

“刀怎麼用才是問題”

所謂網絡爬蟲，是一種按照一定規則，自動抓取互聯網信息的程序與技術。如果通過爬蟲抓取網絡公開信息，並不違法；但如果抓取的是未公開、未授權的個人敏感信息，就屬於違法行為，違反的是2017年6月1日實施的《網絡安全法》以及“兩高”相關司法解釋。

爬蟲技術的數據主要分為司法信息、電商信息、銀行卡信息、運營商信息、社交信息、開放數據等幾大類。在這些數據維度中，比較受歡迎的都是覆蓋度高、標準化較強的通用類數據，比如身份驗證、逾期黑名單信息等，一般是通過爬取淘寶、社交網絡、網上銀行等獲取數據。

21世紀經濟報導記者了解到，這波針對爬蟲業務的強監管是由於公安部門打擊“套路貸”牽扯出了導流獲客和暴力催收這兩個幫兇，發現爬蟲是主要工具，為這些“套路貸”平台爬取通訊錄、地址定位等個人敏感信息，從而引發了命案及相關刑事調查。

2017年6月1日，《網絡安全法》正式施行，其中第四十一條規定，網絡運營者收集、使用個人信息，應當遵循合法、正當、必要的原則，公開收集、使用規則，明示收集、使用信息的目的、方式和範圍，並經被收集者同意；第四十四條規定，任何個人和組織不得竊取或者以其他非法方式獲取個人信息，不得非法出售或者非法向他人提供個人信息。

一家杭州的大數據風控公司相關負責人對21世紀經濟報導記者表示，“目前觀測到的市場的一些動向和監管的尺度，更多是在於爬蟲技術的非法使用。不注重個人隱私保護，洩露信息，甚至販賣信息給涉黑暴力催收。所以賣刀沒問題，刀怎麼用才是問題。”

他認為，經過整肅之後存活的數據公司數量會大幅減少，同時對於數據使用的規範要求會更嚴格，這會讓絕大部分的金融科技公司都或多或少受到衝擊，因為大數據是整個金融科技行業的基礎設施。

判斷爬蟲行為合法性， robot協議不可或缺

在最近的態勢下，大數據行業如今面臨強監管。

一位從業人員對此表示，公民個人信息是絕對不敢爬了，那麼網上的公開非敏感個人信息能否收集，怎樣的爬蟲行為是合法的？

對此，中國銀行法學研究會理事肖颯10月22日對21世紀經濟報導記者表示，判斷爬蟲行為是否具有合法性，robot協議不可或缺。存在已有25年的robot協議是互聯網搜索引擎與網頁持有者之間達成的“行業規範”，該協議會告知網站的“訪問權限”，如果設置了robot協議，大數據公司還要突破訪問權限，那麼就具有明顯的主觀惡性。

互聯網行業裡谷歌、百度、搜狗、ebay等，均設有該協議，這幾乎是每一個互聯網人都知道的常識，如果公司不想被爬取信息，只需要很輕鬆地安放robot協議表明不願意被爬取和收錄就可以了。

“也就是說，如果沒有robot，應該就可以理解為可以合法爬取的公開信息。”肖颯稱。

但是近期的案例有明顯從嚴的趨勢。以某直轄市某區判決一場刑事官司為例，被告人張某、宋某、侯某共謀用技術手段（爬蟲）在某網站抓取視頻，放入自己所在公司網站上，造成被害公司人民幣2萬元的經濟損失。2017年9月提起公訴，後三人被判非法獲取計算機信息系統數據罪，各自領刑。

同盾科技CEO蔣韜曾在對外發布的公開信《心存敬畏向善而行》中表示，人工智能及大數據的發展中的數據及隱私保護是一個世界級難題，需要監管、企業、法律界等共同研究和探討。

---

爬蟲技術罪與罰：失衡的催收應用邊界

“爬蟲技術是一項工具，但被居心不良的人使用，就可能出現大問題。”一位互聯網消費金融平颱風控總監感慨說。

儘管近日51信用卡被查主要源自其委託的催收公司存在冒用國家工作人員暴力催收行為，但在多位業內人士看來，這種暴力催收行為離不開爬蟲技術的“配合”。

“比如有些互聯網消費金融平台通過爬蟲技術能時時掌握借款人行踪與地址定位（未必獲得用戶允許），然後將此信息轉交給催收公司，由後者上門輪番暴力催收，無論借款人跑到哪裡，暴力催收就如影隨影，如此部分借款人心態崩潰，容易走上不歸路。”這位互聯網消費金融平颱風控總監透露，此外有些平台在未獲得用戶授權的情況下，通過爬蟲技術掌握借款人與親朋好友的通話記錄，由此向這些親朋好友施壓督促他還款，導致借款人感到臉面丟失，也容易走上不歸路。

他坦言，這背後，與某些平台通過爬蟲技術過度收集並販賣借款人隱私信息息息相關。

多數情況下，借款人看到的授權協議僅僅顯示平台將通過後者授權的賬號，只能登陸相關網站郵箱與手機桌面查看所下載的APP。但事實上，這些平台的爬蟲技術早已突破授權協議使用範疇，開始抓取借款人在網站郵箱與手機桌面的大量各類數據，其中不少涉及用戶極其隱私的個人信息“另有他用”。比如他們會將藉款人地址定位信息“交給”催收公司進行催收回款，或將藉款人其他隱私信息賣給其他平台作為信貸風控決策依據等。

“在歐美國家，這種行為肯定是觸犯法律的。”一位曾在美國開發爬蟲技術的金融機構技術總監向21世紀經濟報導記者透露。

記者多方了解到，目前中國對用戶隱私信息保護的相關法律正在加速完善，比如正在徵求意見的《個人金融信息（數據）保護試行辦法》規定，（金融機構）不得非法從從事個人徵信業務活動的第三方獲取個人金融信息，以及金融機構不得以“概括授權”的方式取得信息主體對收集、處理、使用和對外提供其個人金融信息的同意。

被玩壞的爬蟲技術

上述金融機構技術總監直言，爬蟲技術在歐美國家金融領域的使用相當普遍，比如在洗錢監管方面，不少金融科技公司通過爬蟲技術抓取各類公開信息，以此完善涉嫌洗錢者的名單以及其人際關係網，從而不放過任何一個漏網之魚。

“在中國，爬蟲技術顯然被玩壞了。”他透露，相比歐美國家金融機構通過爬蟲技術只能抓取公開信息或經用戶授權的個人信息，中國不少P2P平台都存在利用爬蟲技術過度收集用戶隱私信息行為。具體而言，比如用戶授權P2P平台只能訪問他瀏覽過的網站頁面或郵箱裡涉及信用卡賬單的郵件，手機桌面APP下載軟​​件等信息，但在實際操作環節，這些P2P平台利用爬蟲技術抓取用戶在這些網站的消費行為，私人郵件內容，還有個人行踪及地址定位等隱私信息。

這也是引發暴力催收事件頻發的主要原因之一。比如P2P平台將用戶地址定位“交給”催收公司，由後者不斷上門輪番對借款人進行暴力催收加快回款速度，而部分借款人發現自己走到哪裡都被暴力催收，最終心態崩潰並走上不歸路。

此外，很多P2P平台還通過用戶“授權”，通過爬蟲技術抓取用戶在銀行的大量個人信息，包括個人以往借貸還款記錄，職業、婚姻狀況等數據，並將這些數據與用戶提交給平台的個人數據進行交叉驗證，以此判斷用戶真實的還款能力與還款意願。但事實上，這種用戶“授權”所抓取的內容，是銀行需保護的用戶隱私信息。

這也引發不少銀行與P2P平台的糾葛。近日市場傳聞一家銀行向51信用卡發函，直指後者通過爬蟲技術對銀行用戶信息進行全方位大量抓取。由於銀行未與51信用卡簽訂相關授權書——允許後者從銀行系統獲取用戶個人信息，因此銀行認為51信用卡此舉構成侵犯公民個人信息罪，要求後者停止這種抓取用戶個人信息行為。

監管加強保護個人隱私

面對爬蟲技術過度收集販賣個人隱私信息所造成的社會問題，歐美國家相關部門一直在加強從嚴監管力度。

去年5月，歐盟出台了《通用數據保護條例》（簡稱GDPR）。這份法案的最大殺傷力，是過去互聯網機構習以為常的、利用爬蟲技術過度抓取用戶行為數據的做法，因涉嫌侵犯隱私變得不再“合法”。

它之所以被稱為史上最嚴的數據保護法案，主要在於兩點，一是任何企業只要在歐盟市場提供商品或服務，或收集歐盟公民的個人數據，都將受到這部法案的管轄。比如中國跨境電商平台提供“面向歐洲的特惠產品”“歐洲區包郵”等採購服務，或在商品價格上標註歐元價格，就可以被視為在歐盟市場提供商品或服務，將受到GDPR的管轄；二是GDPR法案規定跨境電商等網站經營者不得擅自將用戶姓名、銀行賬戶、IP地址等個人信息用於其他業務用途，反之這些網站經營者若要將用戶信息用於其他業務用途，需與用戶重新簽訂一份授權協議並明確標註新的用途。

這導致不少跨境電商等互聯網平台抱怨客戶服務體驗大幅下降。因此它們一直嘗試遊說歐洲相關部門能適度放寬GDPR對個人信息獲取使用的監管要求，但鑑於對用戶隱私信息的從嚴有效保護，歐洲相關部門沒有鬆口。

美國奧斯頓律師事務所（alston&bird llp）合夥人kenneth g.weigel此前接受本報記者採訪時表示，美國法律則主要從“未經授權故意訪問”“超過授權訪問權限””從任何受保護的計算機獲取信息”三大維度判斷爬蟲技術公司是否過度收集使用用戶個人隱私信息。按照《1986年計算機欺詐與濫用法》，只要爬蟲技術公司在抓取用戶個人隱私數據時存在上述三種狀況，基本都被判定敗訴與巨額賠款。

值得注意的是，近年中國在保護個人隱私信息方面的法律日益完善。早在2017年5月8日，最高法院、最高檢察院出台了《關於辦理侵犯公民個人信息刑事案件適用法律若干問題的解釋》，對爬蟲技術過度收取濫用個人隱私數據做出嚴格入罪規定。

正在徵求意見的《個人金融信息（數據）保護試行辦法則規定金融機構不得非法從從事個人徵信業務活動的第三方獲取個人金融信息，以及不得以“概括授權”的方式取得信息主體對收集、處理、使用和對外提供其個人金融信息的同意。

“在2017年《關於辦理侵犯公民個人信息刑事案件適用法律若干問題的解釋》出台後，相關部門曾抓了一些利用爬蟲技術過度收集濫用個人隱私數據的P2P平台技術人員，但由於當時處罰力度不夠重，並未引發很多大數據風控機構與P2P平台高層重視，如今多家爬蟲技術公司被查與相關高層被抓，足以凸顯相關部門正採取雷霆手段整治爬蟲技術過度收集濫用個人隱私數據行為，從而淨化個人隱私信息保護領域。”上述平台技術總監指出，經此一番行業動盪，利用爬蟲技術過度收集個人隱私信息牟利的公司未來生存空間也被大幅壓縮，目前很多銀行與持牌金融機構已經暫停與這類機構的各類大數據風控技術合作。