百度王海峰Quora集锦:未来NLP领域将会有何进展?洞见
近日吴恩达发文将在4月底离职百度。几乎在同一时间,百度也宣布进一步 整合,将包括NLP、KG、IDL、Speech、Big Data等在内的百度核心技术,组成百度AI技术平台体系(AIG),并任命百度副总裁王海峰为AI技术平台体系(AIG)总负责人,同时晋升为Estaff成员,转向百度集团总裁和首席运营官陆奇汇报。
王海峰是自然语言处理领域的权威科学家,是该领域最具影响力的国际学术组织ACL 50多年历史上唯一出任主席(President)的华人,同时也是截至目前最年轻的ACL Fellow,也是唯一来自中国大陆的ACL Fellow。此外,王海峰博士还是中文信息学会理事、中文信息学报编委、中国计算机学会(CCF)高级会员、国家自然科学基金委员项目评审会评审专家组成员。此前,雷锋网也整理过王海峰博士在AAAI2017上的演讲《 | 百度副总裁王海峰:百度在NLP领域都做了什么?》。
王海峰博士出席的媒体活动不多,但在Quora上比较活跃。根据王海峰博士在Quora上的五个精华问答整理成本文。
1、从一名科学家转变为一个IT公司的总裁,你如何看待这种职业变化?
我对技术感到着迷,并乐于沉浸在研究工作里。我始终相信,科技能够改变世界。百度为我提供了一个理想的平台,在这里我从事的技术工作可以快速直接地让用户受益。这就是我一开始加入百度的原因。在百度最初的几年时间里,我领导了NLP、语音、图像、数据挖掘、知识图谱、机器学习、 学习等多个团队。后来,我意识到伟大的产品将会连接技术与广大用户,反过来也会更加促进技术进步。伟大的产品,不仅需要先进的技术,还需要杰出的设计、优秀的营销和高效管理。因此我渐渐改变了自身的角色,从一个单纯的研发团队负责人,转变为管理层的一员。我如今领导的团队有3000多人,包括技术、产品和营销成员,他们都很年轻、精力充沛、富有激情。我们拥有着一个共同目标:用技术和产品改变大众日常生活。
当掌管一个大型商业团队的时候,我需要首先制定策略和目标,然后建立一个合适的执行团队。对于一个大型团队来说,良好的规则和文化,开始成为支撑和保证业务运行的重要因素。与此同时,对于科技领域的重大突破、用户需求的演变,以及整个社会的发展趋势,我都保持极大的关注。
2、未来5-10年,NLP领域将会有什么进展?
机器翻译、语义理解、问答和对话技术将会有重大突破。这些技术将会被广泛应用,并最终改变人与计算机、人与各种硬件设备、以及人与人之间的沟通方式。
这些技术的发展将得益于以下四个领域的发展:大数据、学习机制、知识图谱、推理和规划。
大数据。随着互联网的繁荣,数据量和种类都在高速增长。即便是非常传统的商业领域,都在开始把数据放到网上。一切都在网上进行,一切都在互联。大数据的价值将继续在物联网领域增长。
学习机制。学习机制的发展将会持续进行,这使得我们能从大数据中学习更多的东西。
知识图谱。通过大数据和更多强大的学习机制,我们可以打造更大的知识图谱,来对整个世界进行建模。
推理和规划。通过大型知识图谱,我们可以在推理和规划领域取得突破。推理和规划的能力将会把更多智能注入NLP系统中。
3、在NLP领域,中文和英文的主要区别是什么?
从语言学上来说, 中文与英文有很大不同。中文书面文本单词之间是没有空间的,中文的语法关系是通过单词的顺序来表达的。这些因素增加了中文在词汇、语法和语义层次上的模糊性,因为现代语言概念和原则更适用于英文,而非中文。
目前,主流NLP方法都是语言无关性(language-independent)的。这些统计学或神经网络算法,根据不同的应用,都更进一步优化了特定语言 。
比如,在2015年5月,百度发布了第一个大型在线神经机器翻译系统。基础的NMT模型就是语言无关的,并输出了非常好的翻译结果。为了进一步改善翻译性能,我们使用特定语言特征优化了翻译系统。
4、NLP技术如何应用于百度产品里?
在百度,我们开发出很多NLP技术,包括知识图谱、语义理解、内容标注、情感分析、生成、摘要、问答、机器翻译和对话系统等等。这些技术已经应用于许多百度的产品里,比如搜索、新闻流(news feed)和智能助理,每天为数亿用户服务。我们将以上这些技术通通整合进一个名为NLP Cloud的平台中。
NLP Cloud提供20多种NLP模块和方案,服务于百度产品。我们的NLP Cloud服务每天被调用1千多亿次。
以搜索为例,典型的NLP模块,比如切词、命名实体识别、语法分析、释义都是基本特征。这些模块一直在持续优化并取得突破。另一个典型的NLP技术应用案例就是问答系统。一个高性能的问答系统需要对查询语句进行精准的语义分析,构建覆盖面广的知识图谱,同时对网页搜索结果进行全面分析。当用户在搜索框输入查询语句时,搜索引擎能够立马提供答案。很多用户也使用搜索引擎来查询相关性高的信息,帮助做决策。这种情况下,情感分析(也称观点挖掘)技术可以帮助提取多种备选观点,并将聚合的信息提供给用户。
另一个案例就是新闻流,这个领域文章质量是极其重要的。NLP技术可以帮助检测各种垃圾文章,比如谣言、抄袭等等;而文本分析技术可以帮助识别高质量文章,并生成最能够描述该文章的标签。此外,从不同维度描述用户偏好的“用户模型”也十分依赖于NLP技术。
总而言之,在所有跟自然语言相关的产品里,NLP技术都是不可或缺的。
5、在未来10年,搜索引擎将会如何演变?
今天当我们谈及搜索引擎的时候,首先想到的就是搜索框和搜索结果。而未来的搜索引擎将会是什么样子呢?我们并没有确切答案。但是我们乐于拥有更强大的搜索引擎,让我们在不同的场景、不同的产品或不同的交互界面里,能够看见、听见和感受到。搜索,将会无处不在。
第一点,更深入理解用户的意图、更深入理解内容,并将两者更精准地进行匹配,这将会使搜索引擎更为强大。用户的意图理解并不是依赖于单一查询语句,也还依赖于更广泛的搜索语境,包括查询session、时间、地点、设备以及用户性格特征。另一方面,内容理解涉及的范围也非常广,需要更好地理解每一部分内容的语义、语境、观点,以及从内容中提取的知识。意图与内容的匹配,将会涉及到以上提到的所有因素,使得在任何一个特定语境下,为每一个查询提供最好的结果。此外,搜索引擎将会变得更像一个“回答引擎”和“执行引擎”。大部分用户的查询,将会得到直接的回答或执行。
第二点,搜索交互界面将会发生很多新变化。除了键盘以外,其它输入方式,比如声音和图像,将会越来越广泛地使用。伴随更实际的语音和图像等技术,用户会十分青睐高效和便利的多模式搜索。特别地,自然语言交互将会成为搜索引擎的主流交互方式。用户可以跟搜索引擎“对话”,告诉它自己想要什么,这绝对比现有的键盘输入文字查询要方便和自然的多。用户也可以跟搜索引擎进行多轮对话交互。百度搜索已经率先应用了这类新型交互方式,提升用户体验。
第三点,搜索将会超越现有的搜索引擎的范围。搜索会嵌入各种产品当中。比如,搜索会是AI硬件产品的基本特征之一。未来,搜索将会包围在我们身边,无处无在。相应地, 我们也将重新定义什么是可以被搜索的。除了现有的被索引的内容,在未来,服务、物品、设备和数据都可以被索引,变得可搜索。
很长时间以来,搜索引擎在人们日常生活中扮演至关重要的角色。人们的需求决定了搜索引擎演变的方向,而技术进步则决定了这种演变将走向多远。
来源:雷锋网
1. 遵循行业规范,任何转载的稿件都会明确标注作者和来源;2. 的原创文章,请转载时务必注明文章作者和"来源: ",不尊重原创的行为 或将追究责任;3.作者投稿可能会经 编辑修改或补充。