距离12月的NIPS大会,只剩下最后不到一个月的时间。
算力中心进入了全封闭的冲刺阶段。
无关人员禁止进入,毕竟待在里面的都是牛马。
“boss,滑动窗口注意力机制的优化测试结果出来了,我们用局部注意力替代了全局注意力,只让每个词关注它周围固定大小的窗口内的上下文,不再依赖整个序列。”
利昂汇报道,现在抽点,结果他也没有那么兴奋和激动了。
人忙得有些麻木。
“在同配置下,可以将单句最大处理长度从512一举提升到了2048。”
在自然语言处理领域,模型能够处理的序列长度,直接决定了长篇文档理解能力。
512的长度仅仅够处理几个段落,而2048的长度则意味着逻辑关联的提升。
当然,这还是很少。
“试一试,输出情况吧。”
岑言说道,卢卡斯点头,用新的机器翻译Demo测试了一遍。
他在输入框里随意复制了一长段晦涩难懂的德语学术文献,点击翻译。
几乎没有多少延迟,输出框里流畅地输出语法准确的英文翻译。
“在没有普通笔记本上,本地推理速度并不慢。”
卢卡斯捏着自己下巴思索道。
“看来现在也具备了推向大众消费市场的工程价值。”
“嗯,那就继续推进。”
一边说着,岑言打开自己的工作站。
“用最真实的应用才最有说服力,我们比别人的优势其实就在于泛用性和学习力,用不同的视角来展现优势,更重要。”
白棠推门而入。
今天她不做实验,晨星那边,现在晁远来了能顶上不少,她就接了个小任务过来。
她怀里抱着几个移动硬盘盒,脚步轻快地走到岑言身边。
“岑言,你之前要的数据我全都整理好了。”
白棠把移动硬盘递给岑言。
“这里面是我们过去大半年里,积累的836组实验数据,包括不同扭转角度、不同层间距下的原子坐标和受力情况,全都按照你要求的张量格式清洗过了。”
“辛苦你了,糖糖。”
岑言接过硬盘,载入工作站。
对于语言模型来说,很重要的一点就是在于模型的数据和案例,数据量很重要。
训练的样本会决定最后输出的质量。
“准备开始测试了。”
岑言保持专注。
10分钟后。
第一组魔角石墨烯的晶格弛豫结果和能带结构预测图,在屏幕上渲染成型。
随着时间的推移,第二组、第三组......
岑言核对数据。
“模型预测出来的层间耦合能量,误差不到2%,目前来讲,不足以投入实用,但存在可以推进的应用前景。”
岑言思考着说道。
“如果确实能够继续推进的话,那原本需要耗费很多时间的新材料物理性质预测,那我们现在短时间就能得到大致的结果方向。”
这并非意味着他们就能掀翻传统材料计算科学的桌子。
而更像是给一个指引方向。
如果原本前进的道路方向感是50%。
而最终想要得到正确结果的方向感是100%。
那他们现在做的就是把这个道路方向感缩到95%以上。
“很好,再优化优化,就能当在NIPS专题讨论会上展示的跨学科应用案例。”
有了这个演示案例。
巴塞罗那之行,岑言已立于不败之地。
而在算力中心外。
舆论并没有削减半分。
因为罗伯特那边还在加码,可岑言这边没有任何回应,就连媒体想来找采访,都找不到人在哪。
舆论也就只能持续发酵。
罗伯特原本试图通过知名专家发差评、造谣抄袭谷歌来抹黑《Attention Is All You Need》这篇论文和岑言团队。
其实就是再次用上对待晁远的方式。
他买通的水军确实在初期制造了大量负面舆论,把他们推上了风口浪尖。
然而,罗伯特犯了一个致命的错误。
这依旧是他们作为资本的傲慢。
他低估了大众的判断力,也低估了互联网时代信息传播的自净能力。
当数以万计的计算机学者、算法工程师抱着乐子人的心态,去阅览了这篇论文后,事情的走向脱离了罗伯特的掌控。
一开始,还有人在社媒上跟风嘲讽。
但仅仅过了三天。
那些真正读懂论文核心逻辑的学者们,他们被这篇论文里所展现的东西感染了。
因为但凡是这个专业方向的人。
在真正深入学习和尝试这一方向后,不可能不会有表达欲。
他们甚至更加期待成年他们能掏出什么样实际应用的产品。
网上开始涌现出大量科普媒体自来水。
一位拥有百万粉丝的硅谷知名AI技术博主连夜制作了一期长达四十分钟的视频,发表到了YouTube上。
他在视频里满脸兴奋,语速飞快,用一块白板,一根笔,一边画着漫画,一边讲着故事,竟然真把Transformer架构给讲明白了。
“伙计们,这简直是魔法。”
博主在视频里指着白板上的多头注意力机制模块。
“岑言团队直接干掉了一直困扰我们的序列依赖问题,抛弃了循环和卷积!全靠注意力!这意味着什么?这意味着你可以把所有的数据同时塞进GPU里并行计算!那些说这篇文章没有落地价值的,简直是我见过最蠢的人!”
不得不说,老外的攻击性还是强的。
而这样多形式的技术拆解视频和文章,犹如雨后春笋般冒了出来。
越来越多的人意识到这项技术的潜力。
全球的人工智能实验室,你别管顶尖不顶尖,他们都选择了将这篇论文列为接下来的核心研究课题。
大家都想搞明白,这到底是什么。
而真正在产业上有行动。
是那些科技巨头。
谷歌控股集团Alphabetq旗下的DeepMind伦敦总部。
DeepMind团队的大会议室里,大屏幕上,赫然显示着岑言那篇论文。
他们很少开这种大会。
一旦开,就是有大事。
“各位,我们必须正视现实。”
肖恩·里格表情严肃,他是DeepMind的首席科学家,也是联合创始人,负责统领全体基础科研体系。
“根据我们过去三天的初步复现测试,这篇论文中提到的未来,是真实存在的。”
会议室里可都是各个基础研究组的leader和技术大拿,他们的问题很敏锐。
“他们怎么解决长距离依赖的梯度消失问题的?”
有人提出质疑。
“残差连接和层归一化,非常巧妙的设计。而且他们的位置编码方案,完美地补偿了抛弃循环结构后丢失的序列顺序信息。”
肖恩·里格沉声说道。
“我们手头的RNN优化项目的资源投入需要停一停了,统合Transformer专项组,我们要在最短的时间内吃透它。”
同样的场景,也发生在各个AI企业。
这些嗅觉敏锐的从业者,比任何人都清楚技术代差带来的严重后果。
他们无心理会网络上的流言蜚语,第一时间调整了路线。
而且他们也在等待岑言发布最新的大语言模型。
国内,反应最快的则是那些手握重金的科技资本。
周妍忙得团团转,电话接个不停。
“好的,王总,我明白贵公司的合作诚意,但我们目前还在封闭测试阶段,商业化授权的方案我们还在制定中。对,岑主任下个月要去巴塞罗那参会,会议结束前我们暂时不接受独家买断合作。好的,再联系。”
周妍挂断电话,长出一口气。
这已经是今天上午接到的第五个国内互联网大厂副总裁级别打来的电话了。
他们全都在排着队寻求商业化合作。
收益拉满了。
这些消息不胫而走。
毕竟商业场上,谁会不在意这些呢?
而当这些消息传到罗伯特耳朵里。
他气的三尸神都快蹦出来了。
他原本指望通过负面舆论把岑言的名声搞臭,多方面围剿岑言的声誉。
结果弄巧成拙,反而帮他们做了一次全球宣发。
自己成冤大头了。
罗伯特看着华尔街财经媒体关于各大科技公司紧急研究Transformer架构的报道,就知道舆论战没救了。