继360公司因为在安全测试中的舞弊行为被AV-C 等机构取消认证之后,昨天,钛媒体记者发现,百度公司亦因为在ImageNet 中违背规则的作弊行为而遭到ILSVRC 警告。在致社区成员的声明中,ImageNet 官方称百度的深度学习研究团队从2014年11月28日至2015年5月13日的近半年时间内,使用了超过30个帐号向测试服务器提交了至少200次,而 ILSVRC 明确规定了参赛方每周至多只能提交2次测试。
根据介绍,ImageNet是深度学习系统中最常用的数据资源,这套数据集事实上也是研究大规模物体识别及侦测的数据研究专家们最为依赖的资源,在组织数据从而将物体识别推进到深度学习的过程中,ImageNet发挥着关键性作用。
由于ImageNet 比赛规则本身存在的漏洞,百度参赛团队得以通过大量测试提交来获得测试集,并以此来不断调整自己的超参数,进而达到提升准确度的目的,在今年1月,百度团队因其远低于Google(6.66%)的错误率(5.98%)而成为2014年ImageNet 大赛第一,也正是在百度采取舞弊行为的近半年时间里,其错误率从7%以上一路降低到不到5%。
基于百度深度学习团队的舞弊行为,ImageNet官方在通知了吴韧等通过作弊行为完成论文的作者之后,还做出了严厉的惩罚措施:1,百度团队的测试结果完全失效,不能和其他团队进行对比;2,百度在未来12个月内将不得向ImageNet 提交测试。
2013年加入百度深度学习研究院的“杰出科学家”吴韧,个人在声明中已经对此行为表示道歉。截至钛媒体发稿时,百度相关方面依然未对此事件做出回应。
作弊一旦被发现,其代价往往是极其惨重的。此前被众人寄予厚望并一度声名显赫的百度深度学习团队,在未来一年内将完全失去通过ImageNet 改进自己算法的机会,与此同时,Google团队在今年3月发表的论文显示,他们在ImageNet 上的错误率已经降低到4.82%。
某论坛上的网友是如此评价此次百度测试作弊事件的:
——你们为什么如此憎恨一个无论搜索什么都能给你呈现小黄图的搜索引擎!
——村通网么?是个黄图就看。现在是精确分类的时代,我搜黑丝你不要给出来白丝,我搜屁股你不要给我出来胸啊!
|