神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点先容国外的新技能、新不雅观点、新风向。

编者按：古人种树，后人摘果。
在科技圈，科技巨子做出创新技能但成果却被初创企业盗取的情形习认为常。
最近的例子之一便是谷歌与OpenAI。
最近对科技圈产生最深远影响的论文《Attention Is All You Need》便是谷歌的人揭橥的，但终极引爆市场的却是OpenAI。
那篇论文的所有8位作者后来均离开了谷歌，本文先容了这篇论文的出身故事，并先容了他们的最新动向。
大概里面最值得寻思的，是如何打造创新的土壤。
我们如何才能打造出那样的土壤呢？文章来自编译。

已成传奇

2017 年春揭橥的科学论文《你所须要的只是把稳力》（Attention Is All You Need）共有八位作者，他们都来自谷歌，不过当时个中一人已经离开了公司。
当个中最资深的作者诺阿·萨泽尔（NOAM SHAZEER）看到初稿时，他意外地创造自己的名字位列所有作者之首，这彷佛表明他所做的贡献最为显著。
他说：“我可不是这么想的”。

作者名单如何排序从来都是件须要精心权衡的事情：谁该当独享第一作者的美誉？谁又该不幸的被排在倒数第一？当每位参与者在真正意义上的团队互助都做出了显著贡献时就更难权衡了。
研究者们在完成论文的紧张过程中，末了采纳了一种“颠覆性”的做法来冲破常规的作者排名。
他们给每个名字后面都标注了一个星号，并在脚注明确指出：“年夜家的贡献均等”，“作者排序按随机排列”。
此举无疑给学界老例带来寻衅。
在截止日期前夕，他们将论文提交给一个荣誉卓著的人工智能会议——并进而在该领域掀起了一场革命。

在论文揭橥附近七周年之际，《把稳力便是你的全部所需》已成为传奇。
作者们的出发点是一项日趋成熟且不断进步的技能——一种被称为神经网络的人工智能。
他们把它发展成了一种全新的系统：这个别系是如此的强大，以至于它的输出仿佛来源自非人类的智能。
这种被称为 Transformer 的体系构造正是 ChatGPT、Dall-E 以及 Midjourney 等引人瞩目的 AI 产品背后的核心技能。
Shazeer 如今调侃道，如果他当初知道这篇论文会那么出名的话，他 “可能会对作者排序更加介意”。
但现在，所有的八名签署作者都已经小有名气。
利昂·琼斯（Llion Jones）的名字（当然是随机的）恰好排在第五位，他说：“就由于我的名字涌如今了一篇论文上，有人就找我合影了！
”。

杰弗里·辛顿 (Geoffrey Hinton)虽不是论文的作者之一，但大概确实环球最卓越的人工智能科学家。
他说：“要不是由于有了transformers，我以为我们走不到本日这一步。
”他指的是随着OpenAI等公司开拓出能与人类产出相媲美，乃至在某些情形下超越人类产出的系统，我们已经进入到一个地动山移的时期。

现如今，所有这八位作者都已离开谷歌。
跟成千上万人一样，他们目前正以各种办法参与到由他们在 2017 年所创造的系统推动的事情当中。
我采访了这八位 Transformer 的发明者，希望能揭示一项颠覆性成果——一次凝聚人类聪慧的努力，创造出一台有可能终极主导话语权的前辈机器——的内在构造。

Transformers的故事要从这八个名字的第四个开始：雅各布·乌斯克尔特（Jakob Uszkoreit）。

雅各布·乌斯克尔特是著名的打算措辞学家汉斯·乌斯克尔特（Hans Uszkoreit）的儿子。
20 世纪 60 年代末，还是高中生的汉斯因抗议苏联入侵捷克斯洛伐克而在自己的祖国东德被监禁了 15 个月。
获释后，他逃往西德，并开始在柏林学习打算机和措辞学。
雅各布出生那年，他去了美国，到加州门洛帕克的一家研究机构 SRI 的人工智能实验室事情。
后来他们家又重新回到德国，雅各布也在那里上了大学。
他起初并没操持要专研措辞学，但当他开始研究生学业时，他拿到了到谷歌山景城总部的演习机会，并加入了公司的翻译小组，看来他终极还是投入到家族奇迹之中了。
他后来放弃了读博的操持，2012年，他决定加入谷歌的一支团队。
当时该团队正在打造一个不须要将用户重定向到其他网站，可以直接在搜索界面回答用户问题的系统。
那时候苹果刚刚推出了 Siri，一个在日常交谈当中供应即时答案的虚拟助手，这让谷歌的管理层感想熏染到巨大的竞争压力：由于Siri 有可能会冲击到他们的搜索流量。
因此，他们开始更加关注雅各布·乌斯克尔特领头的这个新团队。

乌斯克尔特表示：“那实在是场不必要的惶恐，”事实上 Siri 从未对谷歌构成过本色性的威胁。
但他对此还是很高兴，由于这是可以深入研讨人机对话系统的机会。
在当时，在学术上曾被认为一潭去世水的循环神经网络（recurrent neural networks），其表现溘然超越了其他的人工智能工程方法，这种神经网络由多层组成，信息可以在在这些层之间通报和反复通报，从而能识别出最佳的回应。
神经网络在图像识别等多个领域取得了巨大进展，人工智能因此迎来了全面复兴。
谷歌开始猖獗发动自己的员工军队，哀求他们采取这些新技能。
他们希望能开拓出能天生类似人类相应的系统，比如可在邮件自动补全句子或做出相对大略的客服谈天机器人。

但这一领域后来碰着了难题。
循环神经网络在处理长文本时表现不佳。
比方说，要想理解 “Joe 是一名棒球运动员，在享用了一顿丰硕的早餐之后，他在棒球场上打出两记安打。
”这句话里面的“两记安打”，措辞模型就必须记住前面提到的棒球。
换言之，模型必须坚持把稳力。
对此业界公认的办理方案叫做“是非时影象”（LSTM），这种改造技能让措辞模型能够处理更长、更繁芜的文本序列。
但打算机还是严格按顺序来处理这些序列——一个一个单词地去处理，乏味至极——这种做法会错过后续可能涌现的高下文线索。
乌斯克尔特表示：“我们采纳的做法基本上只是临时应急方法，并没有找到可以真正规模化的处理手段。
”

大概在 2014 年旁边，他开始酝酿一种新的做法，他称之为自把稳力机制（self-attention）。
这种网络可以引用段落笔墨的任何其他部分，借此来翻译一个词。
这其他部分的内容可以明确某个词想要表达的意思，从而帮助系统天生准确的翻译。
他说：“实在这种机制已经考虑到所怀孕分，供应了一种能同时高效地核阅浩瀚输入信息，并以相称有选择性的办法提取信息的方法”。
虽然人工智能科学家们都很小心，避免将神经网络的隐喻与生物大脑的实际事情办法混为一谈，但乌斯克尔特依旧认为自把稳力机制在一定程度上与人类处理措辞的办法有相似之处。

乌斯克尔特相信，自把稳力模型有望比循环神经网络快得多、也更有效。
其处理信息的办法与强大的并行处理芯片完备匹配，后者已经被大规模生产出来，用来支撑机器学习热潮。
与线性处理方法（按顺序查看每个词）不同，它采取了一种并行的处理方法（同时查看一批词）。
乌斯克尔特在想，如果处理得当的话，或许只用自把稳力模型就能收成更出色的结果。

并不是所有人都认同这个想法能震荡天下，个中也包括乌斯克尔特的父亲在内。
雅各布在谷歌供职期间，汉斯·乌斯克尔特得到了两项谷歌学术研究奖。
雅各布·乌斯克尔特表示：“大家都对此感到吃惊，由于它抛弃了所有现有的神经网络架构。
”跟循环神经网络说再见？切实其实是异端！
“从我跟父亲用饭时的对话情形来看，我们的不雅观点并不完备同等。
”

乌斯克尔特说服了几位同事对自把稳力模型进行实验。
他们的事情成果展现了希望，2016 年还揭橥了一篇论文。
乌斯克尔特想推动他们进一步研究——由于该团队只用了非常少量的文本段落进行试验——但没有一位互助者对此感兴趣。
他们就像是只想小赌一把就的赌客，拿得到一点奖金就离场了。
乌斯克尔特说“这东西确实管用。
那篇文章的互助者对付将自己的研究成果利用到谷歌的不同地方，包括搜索引擎，终极还有广告系统等感到十分愉快。
从很多方面来看这都是一个了不起的造诣，但我并不想就此打住。
”

乌斯克尔特相信自把稳力能胜任更大的任务。
在谷歌园区北边查尔斯顿路 1945 号楼（用地址命名）里，他会向任何乐意（以及不愿意）谛听的人讲解他的设想，并在白板上勾勒出他的愿景。

2016年的某一天，在谷歌的一个咖啡店里，乌斯克尔特正在与一名来自乌克兰的科学家共进午餐，此人名叫伊利亚·波洛苏欣（Illia Polosukhin），已经在谷歌事情了近三年。
波洛苏欣被分配到的团队卖力解答在搜索框里直接提出来的问题。
但他们的成果并不如预期。
波洛苏欣说：“要想在 Google.com 上供应答案，你得有一个本钱低效果好的方案。
由于必须在几毫秒内做出相应。
”当波洛苏欣对此表达不满时，乌斯克尔特绝不犹豫地给出了自己的办理方案。
波洛苏欣回顾道：“他发起说，为什么不试试自把稳力机制呢？”

波洛苏欣有时候会跟另一位同事互助。
阿什什·瓦斯瓦尼（Ashish Vaswani）在印度出生，在中东终年夜，曾就读南加州大学（USC），并在该校顶级的机器翻译小组得到了博士学位。
然后，他来到山景城，加入了谷歌——详细来说是去到谷歌新成立的Google Brain部门。
在他眼里，Google Brain是一个十分激进的组织，坚信“神经网络将推动人类认知的加深”。
但他一贯想找个值得投入进去的大项目。
他的团队在 1965 号楼事情，这栋建筑恰好位于波洛苏欣的措辞团队所在的1945号楼阁下，然后他听说了自把稳力机制的构想。
这会是他想要的那种项目吗？他赞许参与进来。

三位研究职员共同起草了一份设计文档，名字叫做“Transformers：迭代自我把稳力机制记各种任务的处理”。
乌斯克尔特说，他们从“零日”（day zero）中选中了“transformers”这个名字。
其想法是，这种机制可以变换所吸收的信息，让系统能够析取出尽可能多的理解，或者至少给人以那种错觉。
再加上乌斯克尔特对小时候玩孩之宝动作人偶的美好光阴仍历历在目： “我很小的时候曾经有过两个变形金刚小玩具”。
这份文档文件乃至还用六个变形金刚在群山之间互射激光的卡通图片作为结束。

论文开头的那句话也有点招摇：“我们太棒了。
”

2017年初，波洛苏欣离开谷歌自主创业。
此时，新的互助者也开始陆续加入该项目。
印度工程师尼基·帕尔玛（Niki Parmar）曾在印度为一家美国软件公司事情，之后又移居到美国。
2015年她在南加州大学（USC）得到硕士学位后，各大科技巨子均向她伸出了橄榄枝。
她末了选择了谷歌。
开始事情后，她开始与乌斯克尔特互助，通过研发模型变体来增强谷歌搜索功能。

另一位新成员是 利昂·琼斯（Llion Jones）。
他在威尔士出生终年夜，热爱打算机，“由于这东西不一般。
”在伯明翰大学，他修了一门人工智能课程，对用历史趣事呈现的神经网络产生了兴趣。
2009年7月，他拿到了硕士学位，但由于经济不景气难以找到事情，曾靠失落业救援坚持了几个月。
之后他到一家本地公司找到了一份事情，然后用“决一死战”的心态去投了谷歌。
他终极得到了这份事情，进入到Google Research，而他的经理正是波洛苏欣。
某一天，琼斯从同事Mat Kelcey那里听说了自把稳力的观点，之后决定加入transformer团队。
（后来，琼斯碰到Kelcey时提到了transformer项目，但 Kelcey 对此并不看好。
现如今的Kelcey是这么说的：“我跟他说，‘我不愿定这能不能行得通’，这基本上算是我这辈子错得最离谱的预测了”。
）

Transformer项目吸引了同样致力于改进大措辞模型的其它Google Brain团队研究职员。
这第三波人包括波兰出生的理论打算机科学家乌卡什·凯撒（Łukasz Kaiser） 以及他的演习生 艾丹·戈麦斯（Aidan Gomez）。
戈麦斯在加拿大安大略的一个小农庄终年夜，每年春天，他家都会采集枫木汁制作成糖浆。
在多伦多大学上大三的时候，他就“深陷”在人工智能的魅力而无法自拔，并且加入了到一个机器学习小组——杰弗里·辛顿（Geoffrey Hinton）的实验室。
他开始联系谷歌那些写过有趣论文的人，提出对他们的研究进行扩展的想法。
凯撒中计了，并向他发出来演习的邀约。
直到数月之后，戈麦斯才创造这些演习机会本是给博士生准备的，而不是像他这样的本科生。

凯撒和戈麦斯很快就意识到，对付他们正在处理的问题来说，自把稳力机制彷佛是一个有出息且更为彻底的办理方案。
戈麦斯说：“我们进行了负责商榷，确定要要不要合并这两个项目”。
答案是肯定的。

Transformer团队开始动手构建一个自把稳力模型，用于将文本从一种措辞翻译成另一种。
他们利用了BLEU 基准测试来衡量该模型的表现。
BLEU会通过比拟机器输出与人类翻译者的事情来测试模型。
他们的新模型从一开始就表现良好。
乌斯克尔特表示：“我们从没有观点证明走到至少有一个能与当时最好的 LSTM 方案匹敌的东西”。
不过，跟是非期影象（LSTM）比较，“它并没有更好表现。
”

直至 2017 年的某一天，诺姆·萨泽尔（Noam Shazeer）有时听说了他们的研究项目之后，他们的瓶颈才被冲破。
萨泽尔是一名履历丰富的工程师，早在 2000 年就加入了谷歌，同时也是谷歌的一位传奇人物，从前因在广告系统的事情而得到了广泛认同。
萨泽尔研究深度学习已有五年韶光，最近对大措辞模型产生了浓厚兴趣。
但现有的模型离流畅对话还差得很远，他认为那种对话是可以实现的。

根据萨泽尔的回顾，当时他正在 1965 号楼的走廊行走，经由凯撒的事情区时，他听到里面正谈论得热火朝天。
他记得阿什谈到了用自把稳力机制的想法，而妮基则对此非常愉快。
“我在想，哇，这彷佛是个很棒的想法。
看起来彷佛是一群有趣的聪明人在做一件很有出息的事。
”萨泽尔认为现有的循环神经网络“让人很不爽”，于是他想：“为何不换掉它们呢！
”

萨泽尔的加盟至关主要。
乌斯克尔特表示：“这些理论性或直不雅观性的机制，比如自把稳力机制，一贯都要靠非常细致的实现，乃至有时候只有少数履历丰富的‘邪术师’才能让它呈现出一丝活气”。
萨泽尔立时开始施展他的邪术。
Transformer团队的代码他决定自己写一版。
他说：“我接管了他们的基本想法，然后自己实现了”。
偶尔他会找凯撒寻求解答，但大部分时候他 “都是自己折腾一番之后就‘搞定了。
’”通过其他团队成员口中的 “邪术”、“炼金术”和“花里胡哨”的操作之后，他将这套系统提升到了一个新的水平。

戈麦斯说：“这拉开冲刺的序幕”。
大家都斗志昂扬，希望在即将到来的截止日期之前搞定——5月19日是论文提交的末了期限，如获通过，这些论文将在人工智能界一年一度的最大盛会（也便是12月举办的神经信息处理系统大会，Neural Information Processing Systems）上揭橥。
硅谷所谓的人工智能寒冬已逐渐逝去，川春天正逐步走来，实验的步伐也随之加快。
他们测试了两种transformers模型：一个是经由12小时演习得来的，另一个更加强大的版本被命名为 Big，经由了三天半的演习，并被开始用来实行英语译德语的任务。

这个根本模型超越了所有对手——而 Big 拿到的BLEU评测分数碾压了过去的记录，同时打算效率也更高。
帕马说：“我们的用时比别人短。
而这还仅仅是开始，由于数据还在不断提高。
”当乌斯克尔特听到这个好时，他从自己山地探险车里拿出了一瓶陈年喷鼻香槟来庆祝。

截止日期前的末了两周，大家都忙到发疯。
只管有些团队成员的官方工位仍摆放在 1945 号楼，但实际上他们大都在 1965 号楼办公，由于那里的意式咖啡机更好。
戈麦斯说：“大家险些都没怎么睡觉”。
作为演习生，他险些一贯在紧张地进行着调试，同时还要为论文制作可视化内容和图表。
在这样的项目里，做剔除实验是司空见惯的事情——也便是拿走一部分，看看剩下的是不是足以完成任务。

戈麦斯说：“技巧或模块的各种可能组合我们都会考试测验，去找出哪些有用，哪些没用。
撤掉这个，然后用那个来更换。
为什么模型的机制是如此的有违直觉？原来是由于我们遮盖（masking）得不对。
现在能用了吗？好的，那就连续下一个。
现在我们所谓的‘Transformer’的所有要素，都是这种高速迭代、不断试错的结果。
在萨泽尔所实现版本的支持下，这些剔除授予了Transformer‘极简主义’的特色，就像琼斯所说那样，‘诺姆就像一位邪术师’。
”

瓦斯瓦尼回顾道，他在团队写论文的那个晚上，躺在办公室的沙发上，瞩目着隔开沙发与房间其他部分的窗帘，溘然被窗帘布料上的图案所吸引，那些图案在他看来像极了突触和神经元。
戈麦斯也在场, 瓦斯瓦尼见告他，他们正在做的事情远不止机器翻译。
他说："终极，我们须要像人脑一样，将语音、音频、视觉等各种模式统一在一个架构之下。
我有一种十分强烈的觉得，那便是我们正在打仗到某种更为普遍的东西。
"

不过，在谷歌的高层看来，他们的事情只不过是又一个有趣的人工智能项目罢了。
我曾问过几位参与Transformer项目的人，他们的上司是不是常常让他们报告项目进展。
实际上这种情形并不多。
但是乌斯克尔特说：“我们都知道，这东西有可能会变成一件大事。
这也匆匆使我们非常关注论文末端对未来事情的一段评论。
”

那句话预示了接下来可能会发生的事情——transformer模型在基本上统统形式的人类表达上面的运用。
他们写道： “我们对以把稳力为根本的模型之未来感到愉快。
我们操持将transformer扩展到输入与输出模态不是文本的问题”，还要研究“图像、音频和视频”。

还有几天就到截止日期的一个晚上， 乌斯克尔特意识到自己的论文得取个标题。
琼斯指出，该团队已经彻底摒弃公认的最佳实践，个中最突出的是 LSTM，而转向这一项技能：把稳力机制。
琼斯回顾道，披头士乐队有首歌叫做“你所须要的只是爱”（ All You Need Is Love）。
为什么不把这篇论文叫做“你所须要的只是把稳力”（ Attention Is All You Need）呢？

披头士？

琼斯说：“我是英国人。
实在我想到这个只用了五秒钟。
我没想到他们会采纳。
”

在截止日期到达之前他们都在不断网络实验结果。
帕尔玛说： “我们大概是在提交论文的五分钟前才弄到，英法互译数据的。
那时候我正坐在1965号楼的一个迷你厨房里，把末了一批数字弄进去。
”不到两分钟之后，他们就把论文发出去了。

跟险些所有的科技公司一样，谷歌很快就为这项事情申请了临时专利。
缘故原由不是为了阻挡其他人借鉴这些想法，而是出于防御目的建立其专利组合。
（该公司的理念是“如果科技有所进步，谷歌就会从中受益。
”）

Transformer团队收到的同行评审反响不一。
帕尔玛说：“有一个评价是积极的，有一个非常积极，还有一个评价是，‘还行吧’”。
该论文被采取了，但只是被放在了晚间海报展示环节。

到 12 月开会时，这篇论文引起了轰动。
12 月 6 日，他们四小时的海报展示现场已经挤满了想要理解更多信息的科学家。
作者们聊到声音都沙哑了。
到了晚上10点30分会议结束时，现场仍旧人头攒动。
乌斯克尔特说：“末了保安只能让我们离开”。
不过对他来说大概最满意的时候是打算机科学家塞普·霍赫赖特 (Sepp Hochreiter) 的现身，后者还赞赏了这项事情——鉴于霍赫赖特是是非时影象（LSTM）的共同发明者，而transformer刚刚取代了LSTM在人工智能工具包的主流地位，这算是相称高的赞誉了。

Transformer 刚开始并没有立时征服天下，乃至连谷歌都没有征服掉。
凯撒回顾道，在论文揭橥的时候，萨泽尔曾建议公司高层彻底抛弃搜索索引，而是用 Transformer 演习一个弘大网络——也便是基本上彻底改变谷歌组织信息的办法。
那时候，即便是凯撒也以为这个想法很荒谬。
而现在的共识是，这只是韶光问题。

但有家初创公司的反应就要迅速许多。
论文发布后不久，OpenAI 的首席研究员伊尔亚·苏茨克维（Ilya Sutskever，此前在谷歌任职时他就知道 Transformer 团队了）建议由自己的科学家亚历克·雷福德（Alec Radford） 研究这个想法。
其结果便是最早期的 GPT 产品。
就像 OpenAI 的 CEO 山姆·阿尔特曼（Sam Altman）去年所说那样：“Transformer 的论文揭橥时，我以为谷歌没人意识到它会产生什么样的深远影响。
”

但从内部看情形更为繁芜。
乌斯克尔特说：“我们很清楚 Transformer 能做出很神奇的事情。
放在本日你可能会问，为什么谷歌 2018年不能退出像 ChatGPT 这样的产品？说实话， 2019 ，或许 2020 年我们就能有 GPT-3 或乃至 GPT-3.5这样的产品。
问题不在于他们有没故意识到，而在于为什么我们看到之后没有采纳行动。
这个答案很繁芜。
”

许多技能评论人士指出，谷歌已经从原来的创新中央逐步变成更看重利润和效率的官僚机构。
戈麦斯在接管《金融时报》采访时指出，“他们没有跟上当代化的脚步，没有采纳这项新技能。
”不过，对一个领导行业并攫取巨额利润数十年的企业巨子来说，冒险采取全新技能确实是一大寻衅。
谷歌的确在2018年开始往产品整合了 Transformer，首当其冲的是翻译工具。
同样在那一年，它还推出了一个基于 Transformer 的新型措辞模型BERT，并在第二年开始将其运用于搜索做事。

但是，跟 OpenAI 的巨大飞跃与微软将基于 Transformer 的系统大胆集成到其产品线比较，谷歌这些内部技能调度就显得比较守旧了。
去年当我讯问首席实行官桑达尔·皮查伊（Sundar Pichai）为什么率先推出像 ChatGPT 这样的大措辞模型的不是谷歌时，他认为在这种情形下，让别人先走一步对谷歌是有好处的。
他回答说：“对付这样做会不会一样成功还不是完备明朗。
事实上，在人们看到它的事情事理之后，我们有能力做得更多。
”

一个不可否认的事实是，这篇论文八位作者全都已离开谷歌。
波洛苏欣的公司 Near打造出一种市值约达 40 亿美元的区块链代币。
帕尔马与瓦斯瓦尼在 2021 年开始差错创业，成立了 Adept （估值约 10 亿美元），现在两人又合资创办了第二家公司 Essential AI（已得到 800 万美元融资）。
利昂·琼斯在东京设立的 Sakana AI 的目前估值约为 2 亿美元。
萨泽尔 于 2021 年 10 月离职，与人联合创办了 Character AI （估值为 50 亿美元）。
艾丹·戈麦斯 是团队里面的演习生，2019 年，他回到多伦多与人共同创立了 Cohere（估值约 22 亿美元）。
雅各布·乌斯克尔特的生物科技公司 Inceptive估值为 3 亿美元。
除了 Near 以外，这些公司的安身立命之基都是 Transformer 技能。

凯撒是唯一没有出来创业的人。
他加入了 OpenAI，是一个叫做 Q 的新技能的发明者之一，阿尔特曼去年曾表示，这项技能将“揭开无知的面纱，推动创造的前沿”。
（当我在采访中试图就此问题讯问凯撒时，OpenAI 的公关险些是蹦起来让他立时闭嘴。
）

谷歌会惦记这些亡命者吗？当然会，也包括其他从谷歌出走创办人工智能初创公司的那些人。
（当我问皮查伊有关 Transformer 技能职员离职的问题时，他提醒我，被业界人士热捧的 OpenAI也不是铁板一块，也有人出走。
他表示：“人工智能这个领域变化多端”。
）但谷歌可以很自满地发布，他们已经打造出一个支持非常规思想探索的环境。
帕尔马表示：“从很多方面来看，谷歌一贯都走在前列——他们投资到得当的脑袋，并创造出让我们可以为所欲为地探索和寻衅极限的环境。
他们须要韶光去收受接管新事物并不奇怪，毕竟谷歌所承担的风险要大得多。
”。

如果没有那种环境的话，Transformer就不会涌现。
这些论文作者不仅都是谷歌的员工，而且还在同一间办公室事情。
走廊的偶遇与午餐时的闲聊有时候也会擦出思想的火花。
这个团队在文化上十分的多元化。
个中有六位作者出生在美国以外的地方，而其余两位，一个是两个得到绿卡，曾在加州短暂勾留的德国人的孩子，还有一个是为了躲避伤害才来到美国的第一代美国人的后代。

乌斯克尔特在柏林的办公室里说道，创新便是打造得当的土壤。
他说：“有对某件事情充满激情，恰好又处在人生得当时候的人。
有了这些之后，如果在做的过程中能感想熏染到乐趣，同时研究的又是得当的问题的话——再加上一点运气——那么奇迹就会涌现。
”

在乌斯克尔特跟他那位出名的老爸之间，也发生了一件不可思议的事。
在无数次的餐桌辩论之后，儿子报告说，汉斯·乌斯克尔特现在也开始跟人共同创立了一家致力于开拓大措辞模型的公司了。
当然了，用的也是 Transformer 技能。