繼360公司因為在安全測試中的舞弊行為被AV-C 等機構取消認證之后,昨天,鈦媒體記者發現,百度公司亦因為在ImageNet 中違背規則的作弊行為而遭到ILSVRC 警告。在致社區成員的聲明中,ImageNet 官方稱百度的深度學習研究團隊從2014年11月28日至2015年5月13日的近半年時間內,使用了超過30個帳號向測試服務器提交了至少200次,而 ILSVRC 明確規定了參賽方每周至多只能提交2次測試。
根據介紹,ImageNet是深度學習系統中最常用的數據資源,這套數據集事實上也是研究大規模物體識別及偵測的數據研究專家們最為依賴的資源,在組織數據從而將物體識別推進到深度學習的過程中,ImageNet發揮著關鍵性作用。
由于ImageNet 比賽規則本身存在的漏洞,百度參賽團隊得以通過大量測試提交來獲得測試集,并以此來不斷調整自己的超參數,進而達到提升準確度的目的,在今年1月,百度團隊因其遠低于Google(6.66%)的錯誤率(5.98%)而成為2014年ImageNet 大賽第一,也正是在百度采取舞弊行為的近半年時間里,其錯誤率從7%以上一路降低到不到5%。
基于百度深度學習團隊的舞弊行為,ImageNet官方在通知了吳韌等通過作弊行為完成論文的作者之后,還做出了嚴厲的懲罰措施:1,百度團隊的測試結果完全失效,不能和其他團隊進行對比;2,百度在未來12個月內將不得向ImageNet 提交測試。
2013年加入百度深度學習研究院的“杰出科學家”吳韌,個人在聲明中已經對此行為表示道歉。截至鈦媒體發稿時,百度相關方面依然未對此事件做出回應。
作弊一旦被發現,其代價往往是極其慘重的。此前被眾人寄予厚望并一度聲名顯赫的百度深度學習團隊,在未來一年內將完全失去通過ImageNet 改進自己算法的機會,與此同時,Google團隊在今年3月發表的論文顯示,他們在ImageNet 上的錯誤率已經降低到4.82%。
某論壇上的網友是如此評價此次百度測試作弊事件的:
——你們為什么如此憎恨一個無論搜索什么都能給你呈現小黃圖的搜索引擎!
——村通網么?是個黃圖就看,F在是精確分類的時代,我搜黑絲你不要給出來白絲,我搜屁股你不要給我出來胸!
|