卢卡斯喃喃道。
“自回归生成逻辑。”
岑言开始直接阐述这项技术的底层原理。
“我们不再满足于让模型把一种语言翻译成另一种语言,我要让模型去预测下一个Token。我们要用海量的无标注文本数据,去对模型进行无监督预训练,然后再针对特定任务进行微调。”
岑言描绘出那个近在咫尺的未来。
“我们要做的这套基于Transformer的生成式预训练模型,能回答问题和写文章,还能编写代码、进行逻辑推理。”
“我称之为生成式预训练变换器,Generative Pre-trained Transformer。”
“完成GPT的自由文本生成,才是真正意义上完成了通用人工智能的雏形。”
大家有点懂了。
开源,是为了给全世界制定规则,开启Transformer王朝,终结RNN时代。
而当所有人开始着手研究T2T的时候,他们已经站在下一个时代的起点,开始打造GPT自由文本生成模型。
绝对的超前,绝对的时代领先。
一步一步,紧扣时间。
“你真是个怪物。”
利昂看着岑言感慨道,他不焦虑了。
“我喜欢这个计划。”
“我想你们以后都会爱上这个决定。”
岑言笑了笑,手轻轻一摆。
“现在,大家去准备开源事项,还有公告,发布了,自然会有大儒为我们辩经。”
11月29日,早10点。
此时,距离罗伯特的AI前沿联合实验室全球发布会,只剩最后24小时。
同一时间。
学术圈被一则公告引爆。
公告就三行字。
【开源!】
【迭代!】
【面向全世界】
公告下方,附带着一个GitHub代码仓库的链接。
链接里包含了岑言他们论文中提及的所有模型代码、数据预处理脚本、分布式训练配置文件以及BLEU评估工具。
开源协议栏里,标注着不限制任何第三方重写与商用。
这种堪比朝廷发赈灾粮的大事,必然会在第一时间就出现病毒式的传播。
一时间,热议不止。
“我的天!开源了!我还在等着看NIPS呢?我比顶会更早摸到模型?”
“我刚刚拉了!通了!爽爽爽爽!”
“岑言万岁!晨星万岁!群星智能万岁!”
“岑言真的是个天才!他竟然愿意把这种级别的技术直接免费送给全世界!”
全球各大高校的实验室、科技公司的算法团队、甚至无数的个人开发者,全都在第一时间涌入GitHub。
仓库的Star数量在短短几个小时内突破了一万大关,Fork分叉数量呈指数级飙升。
所有人在跑通代码的那一刻,都意识到了一件事。
RNN,寄了。
开源代码直接终结了关于Transformer架构能否落地的所有质疑。
专家分析?
专家他懂个屁啊!他跑过代码吗?我跑过!专家都没我懂Transformer!我是Transformer最忠诚的信徒!
这种心态的个体户可不少。
而当这足以影响全球的技术开源发酵至初期高峰时。
罗伯特精心筹备的AI前沿联合实验室全球发布会也在曼哈顿正式召开。
他可是花了很多钱准备的。
会场内灯光璀璨,两百余家受邀的科技媒体架设好长枪短炮,红杉、先锋领航等顶尖投资机构的代表坐在前排的VIP席位上。
IBM和Facebook高管也在受邀之列,他们坐在罗伯特的身旁,低声交谈着。
发布会倒计时结束。
黑人rapper老哥那很吵闹的死动静结束后,大屏幕上浮现出AI前沿联合实验室宽阔的Logo。
哈里斯拿着麦克风上台。
他的眼神很是疲惫,但还是保持着笑容。
他毕竟是拿了钱的。
他已经想好了,赚完罗伯特这笔钱,他就收手跑路,以后再也不跟资本玩了。
但现在,他必须得站好最后一轮岗。
“女士们,先生们,欢迎来到人工智能的新纪元。”
哈里斯成了假笑男孩。
“今天,我非常荣幸地向大家展示,我们在序列建模领域取得的颠覆性成果。”
哈里斯一指屏幕。
【1.2 Billion Parameters】
ppt做得挺不错的,还有小字提醒,就是有点看不太清。
“基于深度优化的RNN架构,我们构建了拥有12亿参数的超级模型。它在理解上下文逻辑、处理复杂序列方面,达到了全新高度!”
台下一阵轰动。
然而就在哈里斯准备继续展示各项性能指标时,他发现这轰动似乎不是针对自己的介绍的。
因为台下前排几位投资人全部移开视线,纷纷低头看起了手机。
不仅是投资人,就连原本架着摄像机的几名科技媒体记者,也开始对着手机屏幕指指点点,交头接耳,会场里响起了一阵嗡嗡的议论声。
哈里斯有些不解,他提高了音量。
“各位,请看这组推理延迟数据,我们通过截断反向传播......”
“哈里斯先生!”
台下一名记者突然站起打断了哈里斯。
“抱歉打断您的展示,请问,您现在展示的这款基于RNN架构的模型在并行计算效率上和今天岑言团队开源的Transformer模型相比,有多大的差距?”
哈里斯愣在了台上,脸上原本就跟死了一百年一样的假笑更加僵硬。
“什么开源?”
哈里斯脑袋里炸了,头皮发麻。
“中华的岑言团队刚刚开源了基于自注意力机制的全部底层代码和训练脚本,硅谷的专业技术团队已完成初步复测,证实其在没有循环结构的情况下,翻译准确率和推理速度远超现有的所有RNN模型。”
这记者说话很尖锐,火气也很大。
“既然业界已经有了全面优化的并行计算架构,而且是完全免费开源的,那请问,你们这个耗资惊人、依然受限于串行计算瓶颈的12亿参数RNN模型,还有什么商业化投资的价值?”
爆了!
瞬间爆了!
就爱看这种现场撕头皮,就爱看这种塔塔开!战斗!就要战斗爽!杀!杀!杀!
所有的记者都将镜头对准了台上哑口无言的哈里斯。
闪光灯亮如白昼。
坐在第一排的罗伯特,脸上的春风得意瞬间凝固。
他迅速转头,看向身后的莎拉。
“怎么回事!岑言开源了?他疯了?”
罗伯特咬牙切齿地问道。
莎拉看着手机上的新闻推送脸色惨白。
“罗伯特先生......他们公开了研究库。现在全世界开发者都在下载,推特、FB上全是关于Transformer开源的消息,我们的发布会消息找不到了。”
罗伯特感到一阵头晕目眩,双手用力抠住座椅的扶手。
天黑了。
这世界到底怎么了?怎么感觉天都黑了?这就是中华的大手吗?
罗伯特觉得自己的脑袋有些轻飘飘的。
他精心策划的媒体预热、他花重金请来的站台嘉宾、他准备用来圈占百亿资金的大型发布会.......
在岑言的开源面前,彻底成了笑话。
台上的哈里斯还在试图强行挽尊,解释RNN在某些特殊语境下的微弱优势。
但台下的投资人已经不买账了。
红杉资本的代表合上笔记本,站起身,连招呼都没打,直接带着助理走出了会场。
紧接着,其他几家华尔街机构的代表也纷纷离席。
对于资本而言,时间就是金钱。
他们要立刻赶回去组织技术团队,研究那套刚刚开源的Transformer架构,看看能在其中找到什么新的商业风口。
至于那个落后时代的RNN?
已无人在意。
不到十分钟,原本座无虚席的前排VIP区已然空空荡荡。
IBM和Facebook的高管也面露尴尬,向罗伯特微微点头示意后,快步离开会场。
罗伯特独自坐在空旷的第一排,看着台上不知所措的哈里斯,听着周围记者不断抛出的尖锐问题,感觉耳边有一百只战斗机在起飞。
他输了。
输得一败涂地。
原本还好好下棋呢,你怎么突然拎棋盘直接干我脑袋呢?
哥们,你刘启呢?
我是刘贤吗?
你就把我往死里整。
罗伯特已全身乏力,瘫软在座,神游天外。
其实他也没想清楚,原本岑言也想慢慢来,只是罗伯特的招太狠。
逼得岑言也只能直接先把他弄死再说.......