663 都怪百度（4K） (第2/2页)

他思忖一会，摇了摇头，模板库，检索式————
　　
　　俞兴再次发问：「吴总，如果就是像咱们这样自由的闲聊呢？漫无目的，没什麽特别中心的讨论，就好像————就好像它是一个真实的陪在旁边的人。」
　　
　　吴恩达听着俞总这样的描述，用了一个词总结：「开放式的对话？」
　　
　　俞兴眼睛一亮，点头道：「是的，TD模型在开放式对话上面的潜力怎麽样？」
　　
　　「我明白你的意思，就好像做到科幻电影里有个能够与人自由对话的机器人，它所搭载的那种善解人意的核心程序。」吴恩达仔细思考着老板提出的要求，斟酌道，「从目前的研发情况来看，嗯，传统的自然语言处理模型是可以按照目录查字典，可以匹配关键词。」
　　
　　「我们的TD—1是能看懂问题的意思再找字典里的答案。」
　　
　　「但是，你的要求就好像是在字典之外再写出上面没有的东西。」
　　
　　「如果这麽来推进开放式的对话，可能很快就会碰到天花板吧，因为，我们是用Transformer编码器+双向预训练进行的自然语言理解。」
　　
　　「如果百度或者谷歌，包括碳矽数据可以用我们TD模型的思路把它集成到搜索业务里，我相信一定能更好的提升搜索结果的相关性。」
　　
　　能够更好的理解用户搜索的问题，自然也就能更好的提供答案。
　　
　　俞兴沉默了好一会，说道：「吴总，那还是拜托你把关於TD模型的原理再详细的给我一份论述，要是能参照业内的相关研究，那就更好了。」
　　
　　他隐约发觉到问题了，TD模型似乎是检索式、搜索式应用方面更广，而不是後来主流的可以自由对话的生成式。
　　
　　这里面或许是TD模型现在路线的研究还没推进到位，或许就是还存在基於Transformer机制上另外的路线。
　　
　　如果想要验证这一点，只要对比OPENAI的研究就能知道了。
　　
　　吴恩达察觉到老板的迷惑，但不知道到底是关乎什麽，也就答应了这个要求。
　　
　　俞兴不确定自己的想法是否幼稚，不过，对於这件事的可能性也不是特别着急，连可以随时询问吴恩达等人的自己都难以摸清，那投资人们就难搞清楚了。
　　
　　而且，美国之行就可以直接登门拜访请教。
　　
　　DLF都愿意开源自己研究的东西，不要求其他家把他们研究的东西全部亮出来，对比找找参照总是可以的吧。
　　
　　就在次日，吴恩达把TD—1模型更详细的材料发了过来。
　　
　　俞兴推开半天时间，专门窝在办公室里啃这篇邮件。
　　
　　按照吴恩达的表述，TD—1模型的本质是使用了12层Transformer编码器，再通过双向掩码预训练的自然语言处理模型，总参数量在1.1亿。
　　
　　俞兴仔细看文件里的描述，怀疑是参数量还不够高的问题，但是，等到反覆浏览之後，另外一处对Transformer论文的描述又引起注意。
　　
　　由谷歌发布的Transformer论文，它提出的是一套完整的编码器+解码器的架构，编码器用来理解输入的意思，解码器用来生成输出的文本。
　　
　　俞兴静静的思考，编码器，理解，解码器，生成。
　　
　　TD—1模型主要使用的是编码器的架构。
　　
　　他乾脆把相关内容都写在了面前，然後把电话再次打给吴恩达：「吴总，为什麽我们
　　
　　的TD—1主要是使用编码器，我看Transformer论文不是包含编码器和解码器吗？」
　　
　　「刚开始我们用Transformer的时候确实是这样，但後来发现两个模块是可以拆开独立使用的。」吴恩达解释道，「我们认为首先得让模型能够读懂意思，最开始我们尝试了两个模块的对比，相同的参数下，编码器模型在语言理解上可以比解码器模型高出至少10%的效果。」
　　
　　「而且，参数越大，两种模型的效果差距越明显。」
　　
　　吴恩达没有深入的讲解技术问题，没听到俞总的回应，思考着又说道：「另外，TD模型这种编码器，它的结构更简单，推理更快，可以用更少的参数做出更好的效果，我们其实也参照了过去在百度的经验，TD—1更适合百度那种高并发和低延迟的海量业务场景，部署成本肯定会远低於同样效果的解码器方案。」
　　
　　俞兴心中的倾向变得更加清晰了。
　　
　　他轻轻叹了口气：「吴总，我明白了。」
　　
　　吴恩达不解：「明白什麽了？」
　　
　　俞兴肯定的说道：「都怪百度。」
　　
　　都怪百度带来的坏习惯，让吴恩达等人潜意识考虑更适用於它的方案，当然，这仍然只是一种猜想，但验证起来就更简单了。
　　
　　俞兴基本能够理解这里面可能存在的不同技术路线到底是什麽样，也就能够更加精准
　　
　　的寻找佐证。
　　
　　吴恩达听着电话里的声音，从头到尾都不明白俞总到底在疑惑什麽，这会也只能说道：「俞总，TD模型的挖掘潜力还很大，我们是有信心把它做到更好的。」
　　
　　「没事，吴总，慢慢来，不要考虑机构投资的压力，连我都不懂，他们更不懂了。」俞兴看着面前被自己写出来的东西，随手又在上面画了圈，说道，「吴总，我有问题再给你打电话。」
　　
　　吴恩达答应了，听着挂断的声音，不知道俞总在忙活什麽。
　　
　　俞兴放下手机，再度拜读吴恩达发来的材料内容，确定自己基本理解可能存在的方向差异，随即把电话打给了刚被OPENAI赶走的马斯克。
　　
　　「埃隆，OPENAI是不是在使用Transformer解码器进行主要的研究？」
　　
　　马斯克接到大空头的电话，完全没想到对方会问这个东西。
　　
　　他答道：「这是什麽东西，我不清楚。」
　　
　　「帮我问问呗。」俞兴说道，「我验证验证想法，过一阵到美国请你喝酒。」
　　
　　「你要来美国？」马斯克诧异，又说道，「那我要一瓶最好的红酒。」
　　
　　俞兴毫不犹豫的答应了。
　　
　　电话结束，等待答案。
　　
　　大约十分钟，马斯克的回覆来了，OPENAI确实在使用纯Transformer解码器的技术路线，也就是奔着生成的方向。
　　
　　俞兴看着简讯，感觉这瓶红酒太值了。
　　
　　>