第99章 这是数学！（5k）(2/5)
来的成绩不错,但那是验证集,和测试集数据不同,怎么一到斯坦福的官方测试集上,这错误率直接到了15%?!”
漆吴此时也有些错愕。
深度卷积神经网络在CUDA的并行算力下,对局部图像特征的捕捉会表现出非同寻常的优越性,但他没想到,实际错误率比他预估中还低。
此时李教授拿着话筒上台了。
东京大学团队的人立刻大声问道:“李教授,请问漆昊团队是否将训练集和测试集搞错了?”
面对东京大学代表队不服气的质疑,原本有些嘈杂的主报告厅再次安静了下去,大家都在期待李教授这位ImageNet挑战赛发起人会怎么说。
台上李教授,拿起话筒直接解释了起来:“我非常理解东京大学团队,以及在座诸位此时此刻所感受到的震撼和难以置信,但从ImageNet挑战赛的工程逻辑和规则设计来看,你们所质疑的混淆数据集的情况,在物理层面上
是绝对不可能发生的。”
“众所周知,为了确保比赛的绝对公平,ImageNet将整个数据集严格划分为三个完全独立的部分。”
“第一部分是包含120万张图片和完整标注的训练集,用于给各大团队进行模型训练,第二部分是包含5万张图片的验证集,用于大家在本地调参数,而真正决定结果,用于计算最终成绩的,是包含10万张图片的测试集。”
“简单说一下区别,拿训练集和验证集来说,它们就像是学校发给你们用来复习和模拟考的课后习题参考答案,不管题面如何,大家手里都有一清二楚的正确答案。”
李教授考虑到现场有很多非专业的观众,尽量找了一个简单的例子:“那10万张测试集的图片,就像是期末考试中的期末考卷。”
“所以大家应该知道了,这10万张期末考卷只有题目,根本没有参考答案,标准答案自始至终都被锁在斯坦福大学的离岸评测服务器里,在这个世界上,除了我们核心评估小组的研究员,没有任何一个参赛团队能够接触到其
中一个字节。”
“Qlnet团队和在座的诸位一样,手里只有那10万张没有任何标注的图,他们必须让自己的模型去预测这些图片里装的到底是什么,然后将生成的纯文本预测报告上传至我们的服务器,由我们的系统在后台进行全自动的双盲
比对。”
“因此,除非漆吴团队黑进了斯坦福的网络,盗取了这10万张测试集的标准答案去教他们的神经网络做题,否则,根本没有可能把训练集和测试集搞混,更不可能在闭环中进行作弊。”
李教授话音一落,主报告厅里那点不服气的嗡嗡声,顿时小了许多。
东京大学领队本想再争辩两句,可如果他再质疑数据集污染,无疑是在暗示李教授团队有问题,李教授作为这个领域的佼佼者,他肯定不想得罪。
“我知道,仅仅是规则的严密,依然无法平息大家对QInet团队成绩的疑惑。”
"ImageNet挑战赛本意是想成为促进学术交流的平台,所以下面我们进入现场答辩环节。”
“下面有请QInet团队负责人漆昊,上台!”
现场观众大多数都是为了漆吴来的,现在漆吴上了台,他们非常给面子的给了他最大的掌声。
随后佩罗宁迫不及待开口了:“李教授,请问我可以提问吗?”
李教授说:“现场答辩期间你们可以问问题。”
佩罗宁接过工作人员递过来的