【AI幽灵】超90%论文算法不可复现,你为何不愿公开代码?
一个幽灵正在AI领域上空徘徊:复现的幽灵。
科研方法认为,科学研究应该可以让其他研究人员在相同的条件下重现其结果。然而,由于大多数人工智能研究人员不公布他们用来创建算法的源代码,其他研究人员很难做到复现和验证。
图:同一个算法训练AI走路,结果可能千奇百态
顶会论文提出的400种算法,只有6%分享代码
去年,加拿大蒙特利尔大学的计算机科学家们希望展示一种新的语音识别算法,他们希望将其与一名著名科学家的算法进行比较。唯一的问题:该benchmark的源代码没有发布。研究人员不得不从已公开发表的描述中重现这一算法。但是他们重现的版本无法与benchmark声称的性能相符。蒙特利尔大学实验室博士生Nan Rosemary Ke说:“我们尝试了2个月,但都无法接近基准的性能。”
人工智能(AI)这个蓬勃发展的领域正面临着实验重现的危机,就像实验重现
