继续做早上还没做完的工作。
作为让深层网络更容易训练、收敛更快的标准操作,岑言需要将前馈神经网络层、残差连接和层归一化结合起来。
他花了一整个上午的时间,把Transformer的编码器和解码器基本模块全部搭了出来。
虽然现在这些代码还不能跑,因为缺少实际的数据管道和训练循环逻辑,但这已经是一个不错的骨架了。
中午随便对付一口周妍安排的营养餐,岑言正准备继续完善位置编码模块时,接到了周志云的电话。
电话那头,周志云的声音听起来有些亢奋,但也透着几分疲惫。
老周开口就报喜。
“岑言,显卡的渠道我摸到了。”
岑言精神一振。
“一百张P100?你速度这么快的吗?这样的数量,能按时交货吗?”
周志云在电话里叹了口气。
“那倒不是,一百张全拿新的卡不太现实,现在他们的产能也有限,毕竟卡也刚刚对外公售,英伟达那边的产能都给几个大厂包圆了。我找了几个国内做云服务的朋友,他们手里有一批刚上线的服务器,我硬是抠出来三十张。剩下的七十张,我会通过国外的经销商渠道,加价调现货,大概下个月中旬能全部到位。”
看样子要花的钱可不止原本的预计。
要知道高端计算卡可不是买的越多就价格越低的。
反而因为需求越大的话,就需要用更多的钱去弥补经销商的损失。
但岑言对这个进度表示满意。
“卡怎么来的不重要,有就行,不过这样的话,钱估计要花得更多,那钱的问题要怎么解决?”
周志云笑了一声。
“这你就别管了,我拿你那个材料计算平台的公测成果数据,去找了几家做垂直领域投资的机构,好好地讲了讲你那个新架构的故事,他们很感兴趣。”
周志云的声音里充满了疲惫。
看样子,他这两天是真没少跑。
“目前来看的话,初期的意向资金已经基本谈妥,这笔钱先拿来采购显卡,做gpu集群,其他的,我再去找。”
岑言暗自感叹,老周确实是个搞资源的高手。有他在前面冲锋陷阵,自己这边的后勤保障完全不用操心。
“场地呢?电改能做吗?”
岑言继续问道。
“一百张卡全负荷跑起来,那耗电量可不是闹着玩的,普通机房的电容根本扛不住,还有电费的消耗也不便宜。我们毕竟在京海,电价可不比那些......”
周志云似乎早就做好了准备。
老登虽然是老登,但干起活来一点都不含糊。
“场地我打算和学校再商量一下,看看能不能安排在周边,比较便宜空旷的区域,至于电改那些,我已经让人去找走线设计,工业用电的审批也会马上托关系加急申报,保证不会让你训练到一半断电。”
两人核对完细节,才又各自忙碌。
完全能看得出来,老周这次在这件事上下了多大的决心。
要么就不做,要么就猛猛做。
硬件的问题基本有了落实的方向,现在就差人了。
大洋彼岸。
美国加州,山景城。
夜幕已经降临,但谷歌大楼里依然灯火通明。
卢卡斯坐在自己的工位上,看着电脑屏幕上的私信,久久没有动作。
100张P100显卡集群。
不设发文限制,完全学术自由。
推翻RNN序列,创造全新架构。
这对于卢卡斯来说,不能说是毫无吸引力的条件。
他现在带的项目,为了申请十张卡的计算资源,都要写报告,经过层层审批。
谷歌虽然资源多,但团队也多,内部的资源争夺非常激烈。
特别是目前的AI狂潮,什么项目都想来用一下计算资源。
但最让他心动的是那个所谓的新架构。
今天白天,他推掉了一切会议,把自己钉在工位上,反复推演那个公式。
越推演,他越觉得可怕。
那个公式不仅在数学上完美无瑕,而且直指分布式计算的核心优势。如果这架构真能跑通,循环神经网络将真的被扫进历史的垃圾堆里。
这完全是一个能在学术界引发地震的成果。
而现在,这个成果的提出者,邀请他加入初创团队。
卢卡斯是个波兰裔,骨子里有一种对冒险和纯粹学术的向往,他并不在乎去哪里工作,他在乎的是能不能做出最顶尖的研究。
中华?
卢卡斯脑海中浮现出最近在科学界名声大噪的几个中华科学家的名字。
近些年中国在科研领域的投入确实越来越大,这样的硬件设施确实不是不可能。
他拿起手机,想给认识的中华学者发个消息打听下情况,但手指却停在屏幕上。
对方既然匿名,肯定有保密需求。
如果自己贸然打听,会不会错失这个机会?
但他也发现了,这个用户好像并没有找到其他山景城的同事。
他在自我审视。
看起来像是闲庭信步的一手闲子,但却又有一种命运注定的召唤。
怎么办?
他太懂我了!
卢卡斯深吸一口气,双手放在键盘上,最终下定决心,在GitHub里回复道。
“sir,你的条件非常有诚意,我对你提出的架构非常感兴趣。但我需要看到更多的技术细节,至少是一个初步的架构图。如果你的构想真的具备可行性,我可以考虑你的邀请。”
发出这封邮件,卢卡斯感觉自己好像已经用尽了自己所有的力气。
他觉得自己的脸有点发热,耳根子都有些红了。
似乎自己在向命运挥剑,正准备踏上人生的山巅。
同一时刻。
远在东京的利昂也做出了决定。
利昂是个实战派工程师,他不像卢卡斯那样考虑那么多学术声誉和长远发展,他只关心能不能写出跑得最快、最优雅的代码。
白天的时候,他按照岑言给的思路,把那个序列处理模块重写了一遍。
当他把重构后的代码放进测试环境,训练速度提升了15%,显存占用下降了21%。
这还只是初步的优化。
那个黑猫哥对底层逻辑的理解,让利昂有一种难以望其项背的感觉。
但更多的,是找到同路人的感觉。
他仔细看了那条私信,还有附在私信后的邮件。
利昂在youtube干了三年后端,又在谷歌干了几年。
他做了很多实事。
可总觉得自己好像没有突破现状,一直在原地踏步,比起工程师,更像工具人。
他有点讨厌这种感觉了。
他也想要改变这个世界。
所以.....
利昂咬了咬牙,回复道。
“我们能不能见一面?如果你的设想是真实的,我愿意加入。”
京海。
岑言正在办公室里,和周妍讨论最近实验室的人员结构调整。
两人正聊着,岑言的手机震动了一下。
他设置过了邮件提醒。
拿起手机扫了一眼,屏幕上显示收到两封新邮件。
点开一看,果然是来自大洋彼岸的回复。
利昂和卢卡斯都没能拒绝岑言的邀请。
搞代码的、搞工程的,就是这么纯粹。
起码在极具吸引力的未来面前,所有的利益,所有的生活都不值一提。
岑言放下手机,笑意根本藏不住。
“怎么了?看到什么好笑的事了?”
周妍抬眼看了眼岑言,随口问道。
岑言摆了摆手,语气轻松。
“没什么,我们这边做的方案估计又要稍微调整一下了。”
“哈?你在逗我呢?”
周妍撇撇嘴,瞪了岑言一眼。
岑言依旧笑嘻嘻。
“因为有两个谷歌来的顶尖工程师,马上就要来给我们打工了。”