249 弱小(4k)(3 / 21)
易科与谷歌的两大领导者都批评了自注意力Self-at
tention,但乌思克尔特并不服气,他直接登台阐述自己更多的想法。
而且,针对吴恩达与席尔瓦抨击的缺点也给出一些解决思路,比如,引入位置编码,比如,进行多头注意力的研究。
有人觉得眼前一亮,有人觉得异想天开,还有人现场进行快速的分析和演算。
第一排的方卓极其茫然,他扭头询问旁边沉思的英伟达掌门人黄仁勋:「他们在讨论什么?」
「乌思克尔特说,GPU是最适合深度学习技术的硬件。」黄仁勋给出一句总结。
方卓:「???」
他纳闷道:「我怎么完全没听到类似的表述?」
「因为自注意力Self-Attention更加强调并行处理,这是GPU更擅长的。」黄仁勋笑道,「至于其他的,不重要,我们只要提取对我们有利的就好。」
方卓观察着现场的气氛,这已经不是知识的交流,更像是知识的火拼了。
他默默的收起自己在这种场合本就不多的存在感。
只是,等到晚上,方卓还是当面询问了这次参与辩论的吴恩达,想知道这场面红耳赤的讨论都有些什么东西。
吴恩达真的很难和方总解释发生了什么。
「方总,等我们想一想再写一份报告吧。」他思考许久之后由衷的说道,「这样的交流或许应该多来几次,他那个自注意力,我现在想想,缺点也不是不能解决。」
方卓耐心的询问:「那我们应该做些什么?」
吴恩达回味今天的整场辩论,思考着不同人提出的不同想法,喃喃道:「或许,我们需要先试试一种新型软件,让它可以和计算机对话。」
方卓「嗯」了一声,表达一贯的支持:「行,开始吧。」
吴恩达哭笑不得,真心的说道:「方总,你给我们的支持真的太优渥了。」
「我也就只能给我所能给的东西。」方卓笑道,「试试呗,如果人手不够,那就国内再招招人,我是朴素的认知哈,既然能引起争论,新的东西就有可取之处。」
吴恩达竖起拇指,喜欢老板的这种支持。
只是,易科的现状并不是那么美妙。