“你有思路?!”
周志云眼前一亮,连忙抬手,用不太雅观的姿势狠狠地从中间拽了拽身下的椅子。
整个人前俯着凑近了岑言。
这个动作如果是周妍来做的话,那岑言或许还是会享受享受。
可如果对象是周志云的话.....
我曹!登!
岑言迅速猛缩。
咱能理解你的热情,但也太……
“哎,你离那么远干嘛?”
周志云不满。
“慢点慢点,就我们两个,都能听得到,实在不行,我们进休息室里聊。”
岑言敬谢不敏。
“你这小子,事真多。”
周志云白了他一眼,起身就往休息室里走。
其实他的心情也能理解,毕竟他们要聊的这个话题估计会很深入。
而且很多时候,一个学科创造性的东西,就是在两个大能的闲聊戏谈之间诞生的。
虽然晨星实验室的学生们并不是这个方向。
可总要防范于未然。
做人需谨慎啊。
不然有时候都不知道自己的毕业成果怎么就莫名其妙的被自己的博士同事给毁了。
两人一前一后进了休息室。
“快点,快点,急,把你的思路大概说一说。”
周志云连忙拽着岑言到沙发上坐下。
登,太暧昧了,别搞。
岑言清了清嗓子,正色道。
“老周,你也清楚现在的技术路线之争和前沿技术的区别,还是很鲜明的吧?”
“对。”
周志云点了点头。
“像AlphaGo出来之后,深度学习已经成了绝对主流。”
“像AlphaGo、决策系统这一类的深度强化学习现在热度很高,不过另外几个方向也非常热门。”
“GAN生成模型,主要做无监督学习、内容创作和数据模拟。NLP与机器翻译,主要是SyntaxNet,注意力机制和对话系统。端到端自动驾驶则是以CNN加激光雷达加路径规划为核心。”
“但这些都有通病,可解释性、泛化性和收敛性都太薄弱了,过度地依赖大数据和大算力,数据样本成为了核心资源,小样本学习几乎是空白的。”
“目前圈内的共识是认为AI在未来1到2年之内,视觉语音翻译将接近人类水平,并且可以全部商用。”
“自动驾驶也能进入路试和试点运营。”
“强化学习也能从游戏走向工业控制和优化,到时候直接代替生产。”
“这对于各行各业都是巨大的冲击。”
“从我个人的角度看来,这可能是人类的第三次工业革命。”
周志云停顿了一下。
“我不相信你没有感觉,AI的冲击会让很多行业都完成重构。”
岑言并没有着急回应周志云的焦虑。
他只是认可的点了点头。
AI的发展确实很快,但也没那么快。
“老周,咱们也算是专业人士,就不讨论那些外面大众喜欢讨论的东西。”
岑言微微笑着说道。
“从我们本身角度来看,你觉得这些需要依赖大量的数据和样本的AI,真的能够达到我们想象中的那种程度吗?”
周志云猛地一拍大腿。
“我就知道你的观点和我一样。”
“来吧,别卖关子了,说说打算怎么做。”
周志云急不可耐。
“打算怎么做,其实没那么重要。”
岑言抬眼看了周志云一眼。
“主要是我们有没有这个资源做成?”
“怎么就没有这个资源?我们学校的资源还不够吗?”
周志云不解地看着岑言。
因为他还不知道岑言想要做什么东西,只是简单的从目前主流的市场研究来看。
他自己实验室的设备就足够完成大部分研究需求了。
“不够,远远不够。”
岑言摇了摇头。
“想要做成功,你首先得想明白我们要做的目标到底是什么。”
“是抛弃循环结构,进行全并行训练,拥有更强长城依赖,效果目标要超越现有SOTA。”
“如果只是单纯的架构和技术点,那提出来很简单,可是后续呢?如何验证?如何说明?如何解读?如何被认可?”
岑言毫不客气地说道。
“我想做的东西,或者说我们想做的东西,其实看起来简单,实则很复杂。”
“想要做成,我们起码要先具备七个方面的条件。”
“哪七个?”
周志云的激动和兴奋微微冷却,理性开始重新占据了他的大脑。
作为备受瞩目的青壮年学者。
当焦虑被完全挤出,理性重新回归的时候,那他的水平就会回升到一个高度。
“我们先说理论前提。”
岑言伸出手指。
“这个路线的最终目标就是要推翻RNN,想要彻底推翻一个东西,那你首先得熟悉它。”
“这两年的主流结构,RNN,LSTM,GRU编码器—解码器机器翻译范式,这些需要完全掌握吧?”
“嗯。”
周志云点了点头。
这个不难,他自己就是这方面的专家。
“首先你和我要达成一个共识,注意力是解决长依赖的核心。”
“注意力,嗯,我能理解,14年的Bahdanau加性注意力和15年的Luong乘性注意力,都是对RNN的补充……”
“不只是补充。”
岑言抬手打断了周志云的话。
抬手不是再见,而是老周你还得练。
“我简单扼要地说清,深度学习基础要完备,对于残差连接层归一化、权重初始化、Dropout、Adam优化器、Bleu评价指标全部都要熟练掌握。对于目前序列建模的路线、痛点要烂熟于心。对,自注意力,数学形式要有充足的推导能力。”
“比如说缩放点积注意力公式,比如说为什么多头能解耦不同语义特征。”
岑言像念经一样。
这要是换成一个别的学科的人,听到岑言这么念叨,可能都已经觉得头痛。
那紧箍咒猛猛收缩。
可这些话在周志云听来,那是一字一句都是信息量,一笔一画都是干货。
他的脑袋里有着疯狂的思考。
高手就是高手。
岑言这么简单地提出理论知识前提,周志云的大脑里就已经开始逐步摩挲起了岑言的基本思路。
“你的意思我大概明白了,那这样的话……”
周志云有些惊讶于岑言的思想。
虽然这样的思想,其实在想通之后,并不算难理解,甚至可以说,很方便。
但科学的进步就在于。
这样的思想,在被发掘出来之前,根本就没有人想通。
在这种时候他又要感慨岑言的天赋了。
岑言这样的天才来搞凝聚态物理学,简直是对计算机学界最大的浪费。
“正常来说,想要做下去,就必须要有先期足够的技术积累。”
“像这样的方向,其实我觉得只有谷歌能先做的成功。”
“因为他们在做GNMT的大规模落地,手上有着成套的翻译训练流水线、预处理脚本和评测流程。他们整个团队几乎亲手调过百万级句子的Seq2Seq+Attention大模型。”
说到这里,岑言表情严肃起来。
因为他既然决定和周志云讲这个路线,那就是有做的决心。
要做,那就是要在谷歌这头科技巨兽的面前虎口夺食。
虽然周志云很强,在国内外机器学习领域也算是颇有名气。
自己的大众声望更是旺。
可这不代表规模实力。
他们两个人就算再强,还能强得过人家一大群顶级专家吗?
更何况人家长期实践,工程落地,知道训练不稳定、收敛慢、长距效果差的真实工程痛点在哪,应该怎么调试?
甚至就现在站在这里。
他们俩也根本没有大规模分布式深度学习训练的经验。
想要快速上手,驾驭超大参数量模型训练,那也是需要一定时间的。
一篇论文的诞生从来都没那么简单。
特别是那种能够成为行业里程碑的论文。
当然了,造假的除外。
学生物医学的那帮人给我坐下,我没有在说你们。
真的没有。
周志云的眉头紧锁。
他已经开始深度考虑岑言所说的情况。
不管岑言提出的方向现不现实。
单单技术积累问题,就横在面前。
别说只是高校里的一个课题组,就算是高校的一整个系,在应用实践和工程落地上的经验,可能都没办法和谷歌一个团队打。