“你能行吗?”
岑言有些狐疑地站在一旁看着白棠在那颠勺,虽然他并不是很能理解为什么煎个鸡蛋也要颠勺。
“我我我......我没问题的!”
白棠穿着一身粉色的小熊围裙,双手握着锅柄,可能锅对于她来说有点重,也可能是因为岑言站在身边,让她有点紧张。
她的手抖得像帕金森一样。
“哎呀,你不要在那边干扰她了。”
梁晓鸥看不下去,她起身过去,把岑言从厨房边上拉走。
“你不是要去挖人吗?怎么正事一点不干,光顾着在那边看热闹?”
梁晓鸥没好气地说道。
岑言挠了挠头。
“我已经撒了鱼饵打窝了,不着急,钓鱼的精髓在于溜鱼。”
“那可是两个高级工程师,你把它们当鱼养?”
梁晓鸥一脸狐疑地看着岑言,问道。
岑言笑了笑。
“高级工程师怎么了?高级工程师也是人啊,只要是人,就有自己想要的东西,有自己感兴趣的方向,反正现在他们已经把饵吞下去了,让他们自己消化消化。”
“那他们要是消化了不回馈怎么办?”
梁晓鸥撇了撇嘴。
“不回馈,说明他们不是聪明人。那就算招进来了,也没有什么用。”
“如果他们是聪明人就一定有回馈。”
岑言满不在乎地说道,他一边打开本地的代码编辑器,新建了一个工程文件夹。
挖人是一方面,自己这边的基本盘也得搭建起来。
周志云那边已经在跑资金和设备的手续,他必须在设备到位前,把Transformer的初期研发框架整理出来。
写代码是一项需要高度专注的工作。尤其是像Transformer这种颠覆传统认知的新架构,很多底层的张量操作和维度变换都非常容易出错。
岑言新建了一个名为Attention的Python模块,开始编写多头注意力机制的具体实现类。
正常的实现路径,是输入的序列数据,需要先通过三个不同的线性变换矩阵,分别映射成查询矩阵Q、键矩阵K和值矩阵V,这在代码里是简单的矩阵乘法,但为了实现多头并行,必须在维度操作上做文章。
好在这些东西,早有预案。
岑言看似在写代码,实则在copy。
只不过ctrl+c和+v的操作并不在电脑,而是在于他的大脑和双手。
梁晓鸥在一旁犹豫了一会,悄悄凑过来看,她也学了一点,看得不是很懂。
只见岑言熟练地敲着键盘,写下改变张量形状的函数,把原本特征维度上的数据,拆分成多个独立的头,让不同的头关注到句子中不同位置、不同维度的语义信息。
岑言一边写,一边在脑海中模拟数据流在多维张量中的流转过程。
梁晓鸥在一旁看着,颇为震惊。
她最近也不是没有去了解计算机相关的工作现状,甚至自己也有上手尝试敲代码。
可谁家敲代码是这样的?
要知道岑言现在在做的,可是一种创造性的新项目。
他就像是根本不需要测试,也不需要尝试报错,就好像他的脑海里有着完整的程序代码和研发思路。
他在做的只不过是具现出来而已。
这种感觉就像是之前他做化学实验一样。
这家伙的脑袋到底是怎么长的?
难道他天生就是干科研的料吗?不管是什么学科都可以?
梁晓鸥拿起手机,打开前置摄像头照了照自己,又看了看岑言。
大家明明就是一个年纪,这一路过来,自己好像也一直都在岑言旁边,也没看到他提前准备过这方面的东西。
虽然岑言确实拿过信奥金牌,可问题是.......
这玩意能是一个级别的吗?
就算是国际信奥的金牌,那也只代表着一个学生拥有现阶段的计算机学习能力。
可他现在具现出来的是创造力。
梁晓鸥真的有些怀疑人生了。
不过岑言可不知道自己在这库库干活,结果把旁边的梁晓鸥给震晕了。
他现在全神贯注地投入到工作中。
其实他的copy也不是简单的copy。
脑海中的记忆图书馆和数据中心也只不过是死物和记录。
他能把这些东西灵活运用出来。
但要怎么把这些东西融会贯通,在面对别人的提问时能够形成并贯彻有效的逻辑链条,也不是一件简单的事。
但好在他觉得自己现在头脑灵光很多。
或许是涉及到记忆图书馆的调度功能,他能够很快地在所有的环节找到属于自己的观点论据支撑点。
手里还在噼里啪啦地敲。
弄完多头注意力机制,紧接着就是计算注意力分数。
Q和K的转置相乘。
这步会产生庞大的注意力权重矩阵。
为了防止维度过大导致内积结果过大,使Softmax梯度进入饱和区,岑言需要老老实实地加上除以根号维度的缩放操作。
敲到这里,岑言停顿了一下。
他想起了昨晚给利昂提到的那个动态遮罩机制。
在实际训练中,为了防止模型在预测当前词的时候看到未来的词,必须在解码器环节加入掩码操作,用掩码函数来生成上三角矩阵,把未来位置的注意力分数全部替换成负无穷大,这样经过Softmax之后,这些位置的权重就会变成零。
最后把算好的权重矩阵和V相乘,再把多头结果拼接,经过线性层输出。
整个多头注意力机制的核心代码,其实还不到一百行。
但就是这不到一百行的代码,将在未来统治整个自然语言处理领域。
简单,over。
岑言看着屏幕上的代码,心满意足地揉了揉自己的手指关节。
还是太久没有敲代码,就这么小敲一小会,手指就有点不舒服。
“可以吃早饭了!”
厨房里传来了白棠的声音,还有关掉油烟机的动静。
岑言转过头去。
屋内岛台上,白棠正在精心地摆弄着桌上的餐盘和餐具。
今天的早饭,她做得很用心。
似乎是想证明自己不只是一个吃货,而且吃货都是能做好饭的。
只不过,这桌上的荷包蛋吧......
岑言坐在了高脚凳上,举起了刀叉,看着眼前放在白瓷盘里的荷包蛋,欲言又止。
眼前这个被酱汁浸染的黑乎乎的东西,真的是荷包蛋吗?
岑言默然。
他不太会做饭就算了,怎么白棠也不会?
那以后大家岂不是都只能点外卖了?
或者吃火锅?
不得不说,他还是太爱吃火锅了。
实际上,喜欢吃火锅的人,大概率是不太会做饭的,因为这种类似于乱炖的风格,本质上其实尝不太出来食材的本味或者精味,更多的是火锅底料的味道。
“算了,还是我来吧。”
梁晓鸥也坐在岛台前看了一会,无奈地叹了口气,从手腕上解下了橡皮筋,把自己的长发扎起。
走到厨房边,拿起自己的天蓝色小章鱼围裙。
比起白棠和岑言,梁晓鸥的动作就要干净利落很多。
虽然只是站在厨房里。
可硬是给她炒出了一种在CBD写字楼里叱咤风云的范。
没有多久,三份精致的早餐端上桌。
“早上就吃面吗?你怎么把面做出了白人餐的模样?”
梁晓鸥做的是番茄鸡蛋细面,浓汤酸甜,面软蛋嫩,色彩明亮。
就连点缀在上面的葱花都显得精致。
“冰箱里就这些材料,就只能随便做做了,赶紧吃吧,吃完得去实验室了。”
梁晓鸥解下围裙,和有强迫症一样,认认真真地挂好,调整好角度,才坐到岛台那边去吃面。
三人这么忙碌了一小阵,岑言最后还是在白棠的注视下,把其中一个荷包蛋吃下。
还真别说。
虽然看起来黑乎乎的,但吃起来味道还行。
起码比岑言做的好多了。
估计是生抽酱油放多了,蛋全着了色。
岑言赶到实验室之后,就又牢牢地钉死在自己的工位上。