现在唯一的办法,就是在学术层面上将这项技术全面否决。
该开始第二回合了。
他把希望寄托在了哈里斯身上。
这位前谷歌大脑的高级研究员联合了三位IEEE会士,以及四个顶尖算法团队,正式成立了一个的证伪小组。
他们的目标很简单,找到岑言的漏洞。
把Transform架构证伪。
“各位,我们的目标很简单。”
哈里斯笑得老神在在,胸有成竹。
“找出这个所谓的自注意力机制在工程实现上的漏洞,我个人坚信抛弃循环结构绝对无法完美处理序列的绝对位置信息。”
一名头发花白的IEEE会士推了推眼镜。
“哈里斯先生,我先安排我的团队去测试它的位置编码逻辑。我不太相信那种简单的正弦和余弦函数交替,就能让模型在不依赖历史隐藏状态的情况下,准确分辨出单词的先后顺序。”
“没问题。”
另一名专家也加入进来。
“那我去拆解他们的多头注意力模块,并行计算确实快,但将特征空间强行切分成多个头,必定会导致信息表达能力的下降,我要看看他们的特征丢失率。”
证伪小组分工明确,带着要在鸡蛋里面挑骨头的心态,一头扎进了工作中。
他们原以为,岑言他们这么着急做出来的东西,一定会存在或多或少的漏洞。
哪怕是效果的回测失效,也值得攻击。
然而。
随着证伪过程的深入,实验室里的气氛开始发生微妙的变化。
第一天,负责测试位置编码的团队提交了报告。
那名头发花白的会士看着手里的测试结果,表情变得有些古怪。
“哈里斯,情况有点不对劲。我们尝试输入了极度混乱的语序测试集,试图让模型产生位置混淆。”
老专家翻开报告的一页。
“但他们的正弦和余弦函数位置编码,能通过线性变换完美地表达相对位置关系,模型对位置的感知比传统的RNN更加稳定,完全没有出现位置信息丢失的状况。”
哈里斯皱起眉头。
“这不合理,再试一试,那多头注意力模块呢?特征丢失率跑出来了吗?”
另一位专家把电脑屏幕转向哈里斯。
“哈里斯,你最好自己看看这个。我们试图证明多头切分会导致信息降维损失。但事实上......”
他愁眉苦脸地指着屏幕。
“他们用了一个十分巧妙的拼接与线性映射操作,能让多头机制成功保留了信息,让模型学会在不同的子空间里同时关注句子的语法、语义和情感色彩。”
哈里斯神色一紧。
“不可能,绝对不可能!”
他一把挪过电脑,把手里的材料倒扣在桌上,他要亲自上手测试模型的梯度反向传播过程。
他断定,这样一个缺乏门控机制的庞大网络,在进行深度堆叠时,必然会遭遇灾难性的梯度消失或梯度爆炸问题。
哈里斯调用了一套针对性的极限测试脚本,试图用超深层的网络结构去强行压垮Transformer。
测试脚本开始运行,哈里斯紧紧盯着屏幕上的损失函数曲线。
时间一分一秒地过去。
曲线平滑下降,没有崩溃迹象。
细微的波动并不能影响整体的运行。
哈里斯有些汗流浃背。
“哈里斯,你发现什么漏洞了吗?”
老专家凑过来问道。
哈里斯盯着屏幕愣神。
他想要解释一下原理问题,可这个时候,他发现自己已经没有办法解释了。
他张了张嘴,说不出话来。
这帮拿着罗伯特高额咨询费、信誓旦旦要挑刺的专家们此时面面相觑。
他们原本是带着显微镜来找BUG的。
可是在一边讨论、一边实践的过程中,他们骇然地发现,这架构竟然规避了他们所能考虑到的所有工程缺陷。
就像是创造者已经提前预判了他们的预判。
“这对吗?”
一名专家盯着电脑喃喃自语。
“怎么越证伪,越觉得这东西好呢?”
越研究,越心惊肉跳。
这帮在人工智能领域深耕了半辈子的权威专家,在这一刻,甚至有些忘记了自己受雇于罗伯特的立场。
强烈刺激占据了他们的大脑。
“这个叫岑言的年轻人……”
那名头发花白的会士由衷地感叹道。
“他的思路到底是怎么跨越这么多技术障碍的?”
哈里斯颓然地靠在椅子上。
他知道,罗伯特的任务是完不成的。
面对这样的架构,任何强行贬低都只会显得他们愚蠢和无知。
毕竟他们现在看着这个架构。
还需要抱着学生学习的心态。
哈里斯想了想,正准备拿出手机,却接到了罗伯特的电话。
“哈里斯,你们的证伪报告什么时候能出来?NIPS大会还有不到一个月的时间,我需要那份报告来摧毁岑言的信誉!”
罗伯特在电话里大声催促。
电话那头沉默了许久。
“罗伯特先生。抱歉,我们出不了那份证伪报告,Transformer架构并没有什么,我们现在能找到的漏洞。”
哈里斯语气疲惫。
“如果强行出具伪造的评估报告,我们几个人的学术生涯就全毁了。”
听见哈里斯的话。
罗伯特愣住了。
“你说什么?没漏洞?你们这群拿着我钱的废物!连个挑刺的报告都写不出来?”
罗伯特气急败坏地大骂。
“这个世界上怎么可能会有没漏洞的东西?如果是因为钱的话,我可以加钱!”
“这不是钱的问题。”
哈里斯苦笑着想要解释。
“罗伯特先生,您不明白这意味着什么,我现在建议您尽早调整投资方向......”
哈里斯的话还没说完,罗伯特直接切断了通话。
他气闷了,胸膛起伏不定。
这也不行,那也不行。
那怎么样才行嘛!
罗伯特想看眼手机,但社媒网络上,关于岑言和Transformer的讨论热度早爆了。
他打开就看到了推送。
越看越生气。
他绝不允许自己在这领域失去话语权,他投入了那么多资本的AI前沿联合实验室,不能就这样变成业界笑柄。
这里面可是连他的老婆本都投了。
他叫来了公关总监莎拉。
“去通知媒体和投资人,我们要提前举办AI前沿联合实验室的全球发布会!”
罗伯特翻看着日历。
“把发布会的时间定在十一月,在NIPS大会前一周。我们必须抢在岑言之前发布基于RNN架构优化的新一代通用大模型。”
罗伯特尽可能地深呼吸,平缓自己的情绪。
“动用我们所有的资源,去邀请IBM和Facebook的高管来给我们站台。”
罗伯特的眼中闪烁着独属于资本家的嗜血和赌性。
“只要我们在NIPS之前拿出看起来足够震撼的产品吸引走所有的媒体和资本关注,那就不会有人去关注他们。”
“热度是有限的,视线也是。”
到了这一步,其实罗伯特对于岑言的封锁已经微乎可微。
他也在酝酿自己的逃跑计划。
至于逃跑计划会不会变成进攻计划,那还得看看到时候的反响。
他现在觉得有点头疼。
为什么美国这么多顶尖的专家凑在一块还不如一个年轻人。
那个年轻人才他妈的快17岁!
真的是越想让人越烦躁。
不是说好了,我们美国才是这个地球上最强大的科技强国吗?不是说他们中华的科技环境不好吗?
他到底是怎么能在这种最前沿、最尖端的领域,一次又一次地打我的脸?
日你老母的哈里斯!
都怪你这个逼骗我!
罗伯特人有点麻麻的,他抬了抬手,示意莎拉出去。
他觉得他可能需要静一静了。