谷歌有一個雄心勃勃的計劃，那就是使用人工智能來刪除侮辱性評論以及抵御網絡暴民。雖然目前的技術無法應對這樣的挑戰，但是它有助于完善那些已經非常規范的互聯網社區。 人類已經破壞了互聯網。網絡欺凌、騷擾性評論、社會羞辱和令人反感的言論像瘟疫一樣在
谷歌有一個雄心勃勃的計劃，那就是使用人工智能來刪除侮辱性評論以及抵御網絡暴民。雖然目前的技術無法應對這樣的挑戰，但是它有助于完善那些已經非常規范的互聯網社區。
人類已經破壞了互聯網。網絡欺凌、騷擾性評論、社會羞辱和令人反感的言論像瘟疫一樣在諸如Twitter和Reddit等網站蔓延，尤其是當你碰巧引起了錯誤的關注的時候更是如此。
提供在線服務的公司則處在被人們指控漠視騷擾性言論和壓制言論自由中間。但是，現在谷歌認為，可以使用人工智能來減少這種數字化評論帶來的悲劇。該公司的技術孵化器Jigsaw（其前身為谷歌智庫Google Ideas）正打算通過一款自動化程序Conversation AI來識別并刪除數字騷擾信息。
正如Jigsaw負責人Jared Cohen所說，“我想利用我們擁有的**的技術去處理那些引戰帖和非正當戰術（這些非正當手段使得那些敵對聲音占據了不相稱的比例），并且盡我們所能來提供一個公平的環境”。
谷歌此舉彰顯了其果敢的一面，而且這項計劃與Jigsaw之前的工作有所差異。Jigsaw之前的工作包括推出Project Shield（免費的開放式DDoS攔截服務），旨在保護新聞網站和促進言論自由的網站免受拒絕服務的攻擊。Jigsaw的另一項成果Password Alert是一個Chrome插件，旨在確保用戶密碼安全，免受網絡釣魚攻擊。
這些都曾是主要的技術挑戰，但引戰帖和網絡暴民儼然也已成為一個社會學問題。
Conversation AI是谷歌“moonshot”項目中*成功的項目之一，是“Google Brain”的一個分支。一方面，Conversation AI已經通過大規模神經網絡為機器學習領域帶來了革命性的發展，同時也使得谷歌具有更多的優勢，例如在圖像識別領域比人類更加熟練。但對于在線辱罵性言論，Conversation AI卻無能為力。
雖然Jigsaw的目標是“打擊網絡暴民的崛起”，但是該程序本身目前卻太過溫和，因此目前Jigsaw離成為一個合格的項目還有一段距離。
石家莊網絡優化獲悉Conversation AI將會主要用于簡化社區審查過程（這一過程目前主要由人類完成），因此即使無法根除那些糟糕的網絡行為，它也可以為一些網站積累更多更好的言論。
暗示性言論的檢測
數月之后，Jigsaw將會率先將Conversation AI應用在《紐約時報》網站上，以幫助該公司管理其在線評論。目前，《紐約時報》主幾乎要審查每一條發布在其網站上的評論。
而現在，Conversation AI正在閱讀其中的1800萬條評論，并從中學習如何檢測被拒絕的評論，包括沒有實質性內容的評論、偏離主題的評論、垃圾內容、具有煽動性、攻擊性的評論、包含淫穢信息的評論等。
《紐約時報》的目標并非盡量減少其評論中的辱罵性言論，因為這個問題目前已經在掌控之中；相反，《紐約時報》希望借此來減少人工版主的工作量。“我們并未奢望有一個完全自動化的系統。”《紐約時報》社區團隊工程經理Erica Greene說。
《紐約時報》社區編輯Bassey Etim估計，*終大約50%～80%的評論可以實現自動審查，從而使得人工版主能夠將更多的精力用于其他部分。
與實時免費網站Twitter和Reddit不同，《紐約時報》網站面臨另一些問題。考慮到目前機器學習的局限性，Conversation AI還無法有效打擊存在于網絡空間中的辱罵性言論。
盡管機器學習已經取得了耀眼的成就，但是它仍然沒有破解人類語言。人類語言中的那些類似于圍棋或者圖像中的圖案的部分，證明了語言的難以捉摸。
辱罵性言論檢測中的語言難題是語言的語境。Conversation AI的評論分析并不適用于一個完整的討論過程，因為它只可以將單個的評論和學習模式中的評論來進行匹配，從而識別哪些是好評論或者壞評論。
例如，如果評論傾向于包含常用詞匯、短語和其他特征時，這些評論就會被認為是可接受的。但據Greene介紹，谷歌的系統經常會將關于唐納德·特朗普（Donald Trump）的文章中的評論視為辱罵性的言論，因為他們會引用特朗普的一些言論，而這些言論如果出現在讀者的評論中通常都會被屏蔽。對于這些類型的文章，《紐約時報》將會選擇關閉自動審核機制。
因此，期望Conversation AI在開放的網站（例如Twitter）中有良好的表現，幾乎是癡人說夢。
Conversation AI如何檢測那些發送給猶太記者的辱罵性言論中關于大屠殺的暗示？對這些辱罵性言論的檢測是建立在機器學習算法能夠檢測的歷史知識和文化背景基礎之上的，而這些只有在機器學習算法接受過類似的訓練之后才能實現。
即便如此，如果有人發送“如果特朗普贏了，我就會買這個”并附上相同的圖片，Conversation AI又如何能夠將其與辱罵性言論進行區分？
事實上，這個過程所需要的語義和實踐知識，甚至已經超出了目前機器學習所希望達到的目標。
因此，毫無疑問，專門的引戰帖將會找到一種新的方法來發布辱罵性言論，而這種方式可以避開類似于Conversation AI這樣的系統。如果目標是阻止評論者用侮辱性稱呼例如“同志”等稱呼對方的話，那么機器學習通過屏蔽一些評論可以很好地實現這一點。但是機器學習無法識別隱喻，例如說某人是“彎”的來隱喻某人不正常。
換句話說，對于那些已經非常規范的社區來說，Conversation AI將會使得審核任務完成得更有效率。
但如果想要根除那些我們聽到的*糟糕的辱罵性言論 （這些言論通常出現在那些審核標準**的網站上)，Conversation AI則顯得無能為力。
除非改變Twitter和Reddit這些平臺的性質，否則想要管理存在于這些網站的辱罵性言論幾乎不可能。
| 
