第99章 这是数学!(5k) (第1/2页)
所有的欢呼声、尖叫声以及拥抱都停了下来。
整个XRCE团队的目光缓缓移向了那块屏幕。
「第——第二名?」
佩罗宁难以置信地看着屏幕上刺眼的数字2。
如果他们研究透了经典特徵工程,耗费了一年的心血才把错误率压到26%的费舍尔向量改良版方案,在今天,仅仅只能屈居第二的话,那麽,第一名的错误率会是多少?!
那个踩在他们头J顶,拿下了本届ImageNet?第一名的方案又是什麽?!
「26%竟然只能拿第二?这合理吗?!那第一名的错误率得低到什麽程度?!」
来自洛桑联邦理工学院的副教授坐直了身子,盯着屏幕,摇头说:「施乐居然是第二名,太难以置信了。」
「今年预测所有参赛团队最好的成绩,也就只能把错误率压到24%到25%之间,难道漆昊团队真的做到了这一点?」
「24%?那已经是经典词袋模型的理论红线了!」
一旁的阿姆斯特丹大学领队否认说:「要知道,ImageNet拥有上千个高相似度的分类。」
「比如几十种不同品种的狗、不同鸟、不同蝴蝶、不同车型,人肉眼都容易认错,更别说机器了。」
「想突破25%的关口,除非他们不仅在传统的S1FT算子里加入了色彩直方图和LBP局部二值模式等多重手工特徵进行超大规模的融合,还必须通过多核学习算法去动态调整特徵权重,甚至在多核计算上彻底解决了非线性核函数在海量样本下的存储与优化瓶颈。」
「这需要的资源可不少,他一个搞数学的能做到这些?」
李教授及其团队的人都在他们旁边坐着,没搭话。
即使他们早就知道了答案,但临到现在公布的时候,这一群人的心跳还是莫名其妙加快了。
在全场上千道要把屏幕戳穿的灼热视线中,屏幕上刷新出了代表着本届ImageNet:最高成绩的第一名数据。
【第1名:华国蓉城科大Q1net错误率:15%】
刺眼的15%让所有人都忘记了说话的本能。
在经历了大脑短暂宕机之後,整个会场炸了!
「15%?!上帝啊,这确定不是屏幕的显示像素坏了,导致25%的那个2字上半截没能显示出来吗?!或者是打字员昨晚喝多了红酒,把25%给手抖敲成了15%?!」一位来自慕尼黑工业大学的资深视觉组教授扯开了衬衫领口,整个人因为激动变红了。
「25%我是相信的,15%是什麽情况?」
「11%的绝对差距,这不科学!」
「阿西吧,一定是作弊!他们是不是在黑盒测试集上进行了作弊?对,只有提前拿到斯坦福的测试集去进行有针对性的过拟合,才有可能跑出这种吓人的数据!」刚刚还合十祈祷的首尔国立大学领队,根本不相信屏幕上显示的错误率。
「闭嘴吧,寒国人,ImageNet的评测伺服器是斯坦福独立脱机运行的,测试集在开赛前才由李教授的团队亲自导入,你告诉我他们怎麽作弊?用特异功能吗?」一旁的阿姆斯特丹大学领队惊讶之余,也不忘怼他。
「漆、漆昊——」
陈工咽了口唾沫,他感觉自己心脏几乎要跳出嗓子眼了!
「我没看错吧?我们在学校实验室里跑十折交叉验证时,由於那几块GTX580显卡可怜的显存限制和保守估计的数据集偏差,测出来的成绩不错,但那是验证集,和测试集数据不同,怎麽一到斯坦福的官方测试集上,这错误率直接到了15%?!」
漆昊此时也有些错愕。
深度卷积神经网络在CUDA的并行算力下,对局部图像特徵的捕捉会表现出非同寻常的优越性,但他没想到,实际错误率比他预估中还低。
此时李教授拿着话筒上台了。
东京大学团队的人立刻大声问道:「李教授,请问漆昊团队是否将训练集和测试集搞错了?」
面对东京大学代表队不服气的质疑,原本有些嘈杂的主报告厅再次安静了下去,大家都在期待李教授这位ImageNet:挑战赛发起人会怎麽说。
台上李教授,拿起话筒直接解释了起来:「我非常理解东京大学团队,以及在座诸位此时此刻所感受到的震撼和难以置信,但从I mageNet挑战赛的工程逻辑和规则设计来看,你们所质疑的混淆数据集的情况,在物理层面上是绝对不可能发生的。」
「众所周知,为了确保比赛的绝对公平,ImageNet将整个数据集严格划分为三个完全独立的部分。」
「第一部分是包含120万张图片和完整标注的训练集,用於给各大团队进行模型训练,第二部分是包含5万张图片的验证集,用於大家在本地调参数,而真正决定结果,用於计算最终成绩的,是包含10万张图片的测试集。」
「简单说一下区别,拿训练集和验证集来说,它们就像是学校发给你们用来复习和模拟考的课後习题和参考答案,不管题面如何,大家手里都有一清二楚的正确答案。」
李教授考虑到现场有很多非专业的观众,尽量找了一个简单的例子:「那10万张测试集的图片,就像是期末考试中的期末考卷。」
「所以大家应该知道了,这10万张期末考卷只有题目,根本没有参考答案,标准答案自始至终都被锁在史丹福大学的离岸评测伺服器里,在这个世界上,除了我们核心评估小组的研究员,没有任何一个参赛团队能够接触到其中一个字节。」
「QIet团队和在座的诸位一样,手里只有那10万张没有任何标注的图,他们必须让自己的模型去预测这些图片里装的到底是什麽,然後将生成的纯文本预测报告上传至我们的伺服器,由我们的系统在後台进行全自动的双盲比对。」
「因此,除非漆昊团队黑进了斯坦福的网络,盗取了这10万张测试集的标准答案去教他们的神经网络做题,否则,根本没有可能把训练集和测试集搞混,更不可能在闭环中进行作弊。」
李教授话音一落,主报告厅里那点不服气的嗡嗡声,顿时小了许多。
东京大学领队本想再争辩两句,可如果他再质疑数据集污染,无疑是在暗示李教授团队有问题,李教授作为这个领域的佼佼者,他肯定不想得罪。
「我知道,仅仅是规则的严密,依然无法平息大家对QInet团队成绩的疑惑。」
「ImageNet挑战赛本意是想成为促进学术交流的平台,所以下面我们进入现场答辩环节。」
「下面有请QInet团队负责人漆昊,上台!」
现场观众大多数都是为了漆昊来的,现在漆昊上了台,他们非常给面子的给了他最大的掌声。
随後佩罗宁迫不及待开口了:「李教授,请问我可以提问吗?」
李教授说:「现场答辩期间你们可以问问题。」
佩罗宁接过工作人员递过来的话筒,说:「李教授,我们当然相信测试集的公平性,但成绩归成绩,科学是要讲方法论的。」
「我想请问QInet团队,你们如何将错误率降低到15%的?如果连方法都说不清楚,恕我直言,这个结果很难让人信服。」
漆昊拿起话筒就说了起来:「各位好,我是漆昊。」
「我理解各位目前的质疑,事实上,如果易地而处,看到有人把imageneti测试集的错误率一口气降到15%,与其他团队的结果相差11%以上,我大概也会怀疑是不是斯坦福的评测伺服器被黑客入侵了。」
台下响起了一阵善意的笑声,原本质疑的气氛缓和了一些。
「但很遗憾,我们的黑客技术并不足以攻破斯坦福的防火墙,况且,我们实验室伺服器的电费已经严重超支了,实在没有余力再去发起一次分布式拒绝服务攻击。」
「大家肯定会想,既然不是作弊,那麽QIet究竟是怎麽做到目前的结果。」
「其实答案很简单,我们抛弃了过去十年里,整个
(本章未完,请点击下一页继续阅读)