分钟,十分钟......
去除卷积提取层,去除循环神经网络提取层,只保留原始词向量?
不得不说这个结构修改非常大胆,可是......提取层都去除了,用原始信息能有好结果?
然后,他就在下面一段的理论证明找到了答案。
看到理论证明的时候,曼宁教授也是诧异了一会儿,什么时候深度学习的论文还有理论证明这部分了?现在的年轻人都这么严谨的么?
紧接着,他就发现了更不可思议的事情,对方不但证明了,而且证明得非常详细,先是用线代说明卷积提取层在这个结构里只能给参数带去混乱因子,然后又证明了普通的循环神经网络提取层不足以提取到所有信息,结合相关数学理论,改换成了双层结构的长短期记忆神经网络提取层。
这......作者论证思路清晰,逻辑严谨,真的要鸡蛋里挑骨头的话,就是这篇论文的实验只使用了单一的命名体识别,他不明白,是什么样的团队,很可能都请了一个数学专家了,还非舍不得再花点成本多做几个实验。
思及此处,曼宁就直接把论文拉到了作者那一行,让他瞠目结舌的是,这篇论文的作者就一个人,大大的Fei Su填在了第一作者那一栏。
还是个华国人?
虽然他蛮喜欢华国人,他自己组里就有几个华国人,学术造诣很高,但一个人一篇论文这种事他还是有些怀疑。
于是他拿着上传上来的代码试了下,结果还真跑通了,性能提升高达9.73%!
太让人难以置信了。
曼宁现在心里就两个字:厉害!
他现在完全可以确信,这篇论文没有掺半点水分,更没有夸大其词,这篇论文提出了一个全新的模型,性能远高于TagLM。
【由于这个模型是基于其他语言模型改善得到,我将这种新模型命名为 ELMo(Embeddings from Language Models),意为从其他模型得到的词向量,以此纪念TagLM的贡献。】
曼宁在读完论文的最后一段总结后,不禁产生了钦佩,这个作者喝水不忘挖井人啊。
不过让他感到有点奇怪的是,ELMo这个名字不是美国着名儿童电视剧“芝麻街”里的那个红色小可爱艾蒙么,对方是故意凑的这个名字吗?还蛮有童趣的。
曼宁会心一笑,打出了自己的审阅评分,在十分制中他直接打出了九。
这在AAAI里可是一个很高的分数了,许多人投了十数次都没有得到个一个九,何况打出这个九的还是曼宁这种级别的大佬。
曼宁把自己的看法和论文分数回复给了那个发给自己的技术编辑,同时在邮件最后表达了感谢。
......
同时,美国纽约的某个技术编辑此时此刻非常慌,他本想把新的投稿转发给Menning(蒙宁),结果鬼使神差地打错了一个字母,发给了通讯录里的大佬Manning,而且都已经过去了数个小时才发现。
雷蒙德无法想象,如果曼宁大佬向AAAI的负责人抱怨了一下这件事,自己会不会被撕成碎片......
“算了,还是负荆请罪,主动承认罪行,说不定能善终。”
雷蒙德喃喃自语,打开邮箱,正要给主编发请罪书。
结果,曼宁大佬的邮件叮得一声就送达了。
雷蒙德瞬间吓出了冷汗,手指颤颤巍巍地点进了邮件。
“上帝在上。”
他一边默默请求保佑,一边查看邮件。
【雷蒙德,我的老朋友,我很感谢你给我的这个机会,让我欣赏到一篇如此完美的杰作,给了我一个下午的消遣时光,也让我见证了一个新时代的到来,这个时代名为ELMo。您的行为赢得了我的尊重,如若以后还有这种论文,请务必推送给我,我的老朋友,愿我们友谊长存!】
雷蒙德:???
我是谁?
我在哪?
我在干什么?
最新网址:xiashukan.com