Google為記者與公眾人物開發了一個開源的騷擾過濾器
Google的Jigsaw部門正在發布一個名為Harassment Manager的開源反騷擾工具的代碼。該工具是為記者和其他公眾人物準備的,它採用了Jigsaw的Perspective API,讓用戶在社交媒體平台上對潛在的惡意評論進行分類,首先針對的就是Twitter。它以源代碼的形式首次亮相,供開發人員使用,然後在6月作為湯森路透基金會記者的功能性應用推出。
騷擾管理器目前可以與Twitter的API合作,將修改選項–如隱藏Twitter回復和靜音或屏蔽賬戶–與批量過濾和報告系統結合起來。Perspective根據威脅、侮辱和褻瀆等元素,檢查信息的語言”毒性”水平。它將信息分為儀表板上的隊列,用戶可以分批處理這些信息,而不是通過Twitter的默認審核工具單獨處理。他們可以選擇在處理時模糊信息的文本,因此他們不需要閱讀每一條信息,而且除了使用自動生成的隊列外,他們還可以搜索關鍵詞。
帖子中描述的騷擾管理器儀表板的圖片
騷擾管理器還允許用戶下載一個包含辱罵信息的獨立報告;這可以為社交媒體賬號的主人創造了基於文件的線索,如果是直接威脅等非法內容,則可以直接為執法部門取證提供幫助。然而,目前還沒有一個獨立的應用程序用戶可以下載。相反,開發者可以自由地基於這個過濾器API建立包含其功能的應用程序,使用它的服務將由湯森路透基金會等合作夥伴推出。
Jigsaw在婦女節正式宣布了Harassment Manager,它把這個工具說成是與面臨性別虐待的女記者特別相關,強調了來自”擁有大量Twitter存在的記者和活動家”以及國際婦女媒體基金會和保護記者委員會等非營利組織的投入。在Medium的一篇文章中,該團隊表示,它希望開發者能夠為其他有風險的社交媒體用戶量身定制。”我們希望這項技術能夠為那些在網上面臨騷擾的人提供資源,特別是女記者、活動家、政治家和其他公眾人物,他們在網上遭遇不少惡意的內容。”帖子寫道。
拼圖的騷擾管理器中的報告選項的屏幕截圖
Google之前已經利用Perspective進行了自動審核。2019年,它發布了一個名為Tune的瀏覽器擴展,讓社交媒體用戶避免看到有害的攻擊性信息,許多評論平台(包括Vox Media的Coral)都使用它來補充人工審核。但是,正如我們在發布Perspective和Tune時注意到的那樣,語言分析模型在歷史上遠非完美。它有時會對諷刺性的內容進行錯誤分類,或者未能檢測出辱罵性的信息,而且拼圖式的人工智能可能會無意中將”盲人”或”聾子”等不一定是負面的詞彙與毒性聯繫起來,這種拼圖法本身也被批評為一種有毒的工作場所文化,儘管Google已經對這種說法提出異議。
然而,與Twitter和Instagram等服務的人工智能控制不同,騷擾管理器並不是一個平台方的控制功能。它顯然是一個分類工具,用於幫助管理有時規模巨大的社交媒體反饋,這可能與遠在新聞領域之外的人有關–即使他們現在還不能使用它。