罗伯特不再阴沉,他的表情自信的像个阳光开朗大男孩,抬起双指,轻轻扬了扬。
“去办吧。”
“我要让岑言知道,在资本制定的游戏规则里,他连上牌桌的资格都没有。”
而在他嘴里上不了牌桌的岑言正坐在台前看着代码日志。
他正在配合卢卡斯调试机器翻译Demo的各项参数。
“老板,模型的注意力权重矩阵在处理这些长句子的时候显存占用还是偏高......”
卢卡斯皱眉道。
岑言看那一排排不断变化的数据结果,脑海中突然闪过一个念头。
Transformer模型的核心优势在于并行计算,它将句子中的所有词汇同时进行矩阵运算,以此来获取全局的注意力权重。这种并行计算的数学特性,不仅仅适用于处理语言文本。
岑言打开另一台电脑,调用了晨星AI云平台,陷入沉思。
在传统的材料计算中,模拟成千上万个原子在不同温度和压力下的运动轨迹,需要耗费海量算力,因为每一个原子的受力情况,都受到周围所有其他原子的影响。
传统的算法只能通过循环迭代,一步一步地去计算每两个原子之间的相互作用力,这种计算方式,和循环神经网络处理句子的方式如出一辙,低效且耗时严重。
如果把原子看作是句子中的单词呢?
如果用自注意力机制的并行矩阵运算,来同时计算原子间的多体相互作用力呢?
岑言豁然开朗。
虽然他的思路有些跳脱,让一旁的卢卡斯有些没能跟上,不太清楚岑言想做什么。
可岑言的动作很快。
代码就像是刻在他的脑子里一样,套用优化一下,就可以初步使用。
他还调出传统的计算程序作为对照组,同时运行了相同规模的原子模拟任务。
卢卡斯在一旁呆呆地看着。
看着岑言在捣鼓着和项目无关的东西。
一直到基于Transformer架构新机制的模拟程序率先弹出了运算完成的提示。
而那边的原版程序,才仅仅40%。
虽然这样的测试并不客观。
因为测试量也小,甚至框架的调整也不大,新架构是很占优势的。
可最终数据相差无几。
这让岑言的设想有了可行性。
Transformer架构强大的并行计算能力和全局特征捕捉能力,完全可以优先应用到晨星AI云平台上。
方向一下子明朗了起来。
岑言立刻打开自己正在准备的NIPS主题演讲稿文档。
他毫不犹豫地新增了一个板块。
【自注意力机制在凝聚态物理计算中的跨学科应用】
你们不是说我跨界吗?
那我就跨界给你们看。
岑言正在这里玩得起兴。
那边利昂突然推门进来,大喊大叫。
“老板!老板!跑完了!最终的测试结果出来了!”
利昂激动地冲到岑言面前,把一份刚刚生成的测试报告展示在屏幕上。
“我们在WMT 2014英德翻译数据集上完成了首个基于Transformer架构的完整Demo测试,参数规模设定在6500万。”
卢卡斯在一旁挑了挑眉。
这不是我的活吗?怎么我跟老板过来聊一会,你就把我的活干完了?
利昂双手紧握着拳头,语速极快。
“老板,你绝对猜不到我们的BLEU评分是多少!”
“28.4分!我们直接拿到了28.4分!”
岑言听到这个分数,脸上也露出了满意的笑容。
在机器翻译领域,BLEU评分是衡量翻译准确率的绝对标准。
“谷歌最新公布的那个LSTM集成模型,评分是多少来着?”
岑言明知故问。
“24.6分!”
利昂大声回答。
“我们在单模型参数量远小于他们的情况下,翻译准确率直接超越了他们最新架构的30%!而且,得益于并行计算,我们的单句推理速度比他们快了整整32%!”
后面几名实习生听到数据也纷纷围了过来。
超越谷歌。
超越目前世界上最强大的深度学习实验室。
而且是在准确率和速度上的双重碾压。
利昂和卢卡斯对视一眼,笑了。
有这样的基础打底。
还担心没有机会吗?
这可是实打实的落地应用。
是所有巨头们最期望能够看到的实用转化和具备商业化价值的东西。
就在他们还在消化这样的愉悦时。
大洋彼岸。
罗伯特精心策划的舆论攻势也开始了。
北美知名的科技论坛Hacker News上,一篇名为《中国学者的“创新”:是天才突破,还是谷歌技术的拙劣窃取?》的帖子被顶上了首页。
帖子中详细列出了利昂和卢卡斯的谷歌工作背景,用大量似是而非的推测,暗示晨星实验室目前提交申请NIPS的Transformer架构直接抄袭了谷歌内部正在研发的未公开项目。
推特上,也开始出现了一些锐评。
这些评论将Transformer模型贬低得一无是处。
“完全没有考虑长序列显存爆炸的问题。”
“缺乏工程落地价值的小孩理论。”
“哗众取宠的跨界闹剧。”
这些负面言论迅速被国内的科技自媒体搬运回国内,在知乎、微博等平台上引发了热烈讨论。
一时之间,网络上充斥着质疑声。
不过这种质疑声也是老生常谈了。
在国内的反响倒是不大。
大家经过那么多次的反转打脸,现在也学乖了,对于岑言大家还是信任的。
只不过他们倒是开始剖析为什么北美会发生这样的讨论,研究背后到底有什么样的故事。
算力中心。
利昂和卢卡斯脸色跟吞了三斤便便一样。
“这群混蛋!谷歌内部根本就没有类似的项目,他们这是在公然诽谤我们!”
利昂有些抓狂地挠头。
“老板,我们不管他们吗?”
卢卡斯也十分气愤。
“他们用这样下三滥的手段,真的恶心,我个人是觉得可以官方辟谣。”
“不过具体怎么做,还是看老板你。”
面对众人焦急的情绪,岑言则是稳坐泰山,还在那里划平板。。
根本没有半点火烧眉毛的焦急感。
他划动屏幕,左看看,右看看。
“你们先过来看这个。”
岑言把平板放在茶几上。
利昂和卢卡斯凑过去看了一眼,瞬间愣住了。
《Attention Is All You Need》
上热榜了?
就连图片文件也出来了?
看这个浏览量和话题度......
嘶,爆了!
那些原本根本不屑于看这篇论文的学者和工程师,在满天飞的争议和抄袭传闻的刺激下,纷纷点开了论文链接。
争议带来了海量关注度。
岑言笑得很开心。
“我们发什么声明?去跟那些水军讲道理吗?我觉得太蠢了,因为他们是拿着钱来黑我们的,讲道理没用,我说过好多次了,不要陷入自证陷阱。”
岑言看着目瞪口呆的利昂和卢卡斯,语调轻松。
“我们一开始不是还在发愁怎么推广论文吗?现在好了,有人花了大价钱,动用了顶级的公关团队,帮我们把论文推到了全世界AI学者的面前。”
岑言嘴角都快笑裂了。
他是真的开心。
“现在看来,其实罗伯特才是我们的恩人。钱是他花的,人是他请的,这铺天盖地的关注度也是他白送给我们的。”
岑言笑了笑。
“啧,以后有机会,真得请他喝杯老京城豆汁儿了,这种从天上掉下来的流量,真舒爽啊。”
“要不说罗伯特才是恩人呢?”