演讲实录:百度大规模深度学习应用实践和开源AI框架PaddlePaddle

作者: 少校seo 分类: 黑帽seo资讯 发布时间: 2019-10-13 07:01

简介:本文基于PaddlePaddle技术负责人、百度NLP技术委员会主席俞殿海在今年英特尔人工智能大会上的演讲——“百度大规模深度学习应用实践与开源人工智能框架桨”。

桨技术负责人、百度自然语言处理技术委员会主席俞殿海

文本:

我很高兴有机会介绍百度人工智能相关工作。我们知道这股人工智能浪潮主要是由深入学习驱动的。深入学习的兴起也可以看作是神经网络技术的重新兴起。这次不同的是,工业在其中发挥了非常重要的作用。此外,深度学习的成功与大数据和计算能力密切相关。对于工业来说,它在数据资源和硬件资源方面都有优势。

今天,我将首先介绍百度在大规模深度学习应用中的实践,然后我将介绍我们用于深度学习的开源框架PaddlePaddle。

今天,深入学习不是一个新话题。然而,我们可以看到,深入研究仍处于热点状态。对于旧机器学习神经网络的NIPS会议来说,过去两年的门票销售相当火爆,今年的销售将在12分钟内完成。深入研究也催生了一些新的会议,如ICLR,其提交的数量也呈指数级增长,达到了今年的最新水平。当然,对于行业来说,应用也很受欢迎,我们也可以看到,国内也在制定相关的技术标准、人才认证等。

百度的人工智能之路

就百度而言,它一直处于深入研究和应用的前沿。百度拥抱机器学习还不算太晚,但从全球范围的比较来看,这还不算太早。对于深入学习,我们可以说百度从一开始就抓住了机会,坚定地走在了最前沿。早在2012年,百度就成功地将深度学习DNN模型应用于语音识别和光学字符识别任务。2013年,我们在百度核心业务风潮和搜索排名中推出了深度学习模式,这在业界尚属首次。此后,百度基本进入了深度学习阶段。在框架开发、平台建设和应用创新的深入学习方面,处于行业前列。它在企业中的应用具有实用性强、规模大的特点。下面我将介绍百度深度学习应用的几个典型场景,解释其规模特征,并提及我们的最新工作。

首先,让我们来谈谈人工智能的基本领域,深入学习最相关的语音、视觉和自然语言处理。

声音

在语音方面,百度是最早在深度学习领域取得突破的公司之一。自2012年以来,我们继续在语音学的基础上进行深入研究和突破。2016年,百度在深度学习方面的工作被麻省理工学院科技评论评为年度十大技术突破之一。今年年初,我们还发布了最新的语音识别系统Deep Peark2,在技术和效果上实现了新的飞跃。我们可以使用百度手机输入法来体验我们的语音输入效果。值得一提的是,语音识别深度学习训练的规模已经非常大,我们的一般训练将使用超过10万小时的数据。我们在合成领域也做了大量的工作。去年我们听说了百度语音合成的深度之声。今年,我们发布了单簧管。

视力

就视觉而言,人们可能对百度以前参与超脑人脸识别有所印象。在当时的系统中,我们使用了200万张人脸数据进行预训练。近年来,我们也对三维人脸活体识别技术的发展方向进行了更多的研究。事实上,百度一直在构建一个超大规模的图像分类系统。到目前为止,我们已经实现了一个拥有10万个标签和近1亿张图片的大规模识别系统,以支持百度的广泛应用。除了刚才提到的规模特征之外,我们还在各个领域的技术创新方面做了大量的工作。直到2018年,我们才在参加的三次国际评估比赛中赢得冠军。我们可以看到这些任务的难度和规模都非常大。

自然语言处理

最典型的自然语言处理任务可能是机器翻译。许多人不知道百度在2015年首次发布了世界上第一个深度学习神经网络机器翻译系统的在线系统。在过去的几年里,百度一直深入从事翻译领域。我们当前培训系统所基于的语料库也相当大。我们还定制和优化了不同的产品场景,以创造最佳的翻译效果。最近,我们有一个工作要介绍给你,这类似于同声翻译。这意味着当原始语言的输入没有完成时,目标语言的翻译同时进行。还有技术上的困难,因为不同语言的词序不同。

《推荐系统(推荐系统必读经典,百度技术委员会主席廖若雪、新浪微博数据挖掘技术专家张俊林、人民搜索商务部总监常兴龙...》

11.3车身过滤

11.3.1改进分类过滤

11.3.2改进属性过滤

11.4从网络中提取语义

11.5总结

第十二章普适环境中的建议

12.1导言

12.2了解背景的建议

12.3应用领域

12.4总结

第十三章总结与展望

13.1总结

13.2展望

参考

指数

通过对这本书的研究,读者不仅可以全面系统地了解这一领域的基本原理,还可以测试如何建立一个真正的推荐系统。

——百度总设计师,百度技术委员会主席廖汝雪

这本书全面介绍了推荐系统中涉及的相关知识点。它非常适合对推荐系统感兴趣的相关人员作为入门课程。目前,能够系统、全面引进相关技术的中文图书仍然短缺。我相信这种翻译对缓解这种情况大有帮助。

——新浪微博数据挖掘技术专家张林俊

本书不仅介绍了成熟的经典算法,还介绍了近年来的一些新进展,并辅以实际应用案例。我希望看到越来越多的朋友加入到推荐引擎的研究和应用中来!

——百思信息技术有限公司首席运营官兼技术副总裁张韶峰

由范姜撰写和翻译的《推荐系统》是一本从基本角度介绍推荐引擎的难得好书,给了人们很多启示。我希望越来越多的互联网爱好者认真阅读这本书,走在互联网发展趋势的最前沿,成为下一代互联网产品真正需要的人才。

——人民搜索业务搜索部主任常兴龙

这是迄今为止市场上所有推荐系统书籍中最全面、最实用的介绍指南。如果你是教授这门课程的大学教师,你一定不能错过这本“推荐的系统百科全书”。尤其值得称赞的是,这本书涵盖了各种不同类型的推荐系统,并对它们逐一进行了透彻和详细的分析。虽然这本书是针对初中读者的,但我认为即使是有经验的专业人士也会从中找到新鲜有趣的内容。

芝加哥德保罗大学教授罗宾·伯克

这本书涵盖了推荐系统领域的所有知识,并提供了应对未来新挑战的前瞻性建议。这本书充分解释了一系列产生推荐的经典算法和方法,并概述了从社交计算和语义网中衍生出的新方法在推荐系统中的作用。我希望这本书能点燃你的激情,释放你的创造力和进取精神,把推荐系统的研究和应用推向一个新的水平。

——约瑟夫·康斯坦,美国明尼苏达大学教授

当你在Dangdang.com或*网上浏览某个产品时,总会有这样的推荐信息:“购买该产品的客户已经购买了……”或“看过该产品的客户已经看过了……”。在这个物质供应极其丰富的时代,对于顾客来说,面对许多眼花缭乱的商品,他们应该选择哪一种?因此,推荐商品起着至关重要的作用,在这些商品的背后是推荐系统。

[序言]

“我应该买哪台数码相机?我们家将在哪里度过完美的假期?对儿童教育的最佳投资是什么?我应该租哪部电影?我会对哪些网站感兴趣?我下次度假应该买哪本书?哪个学位或大学最适合我的未来?”

人们在决定如何花钱时,或者更广泛地说,在决定未来时,会问这样的问题。有许多类似的例子。

传统上,人们使用各种方法来解决这些决策问题:与朋友交谈,从可信任的第三方获取信息,雇佣专家团队,在互联网上进行咨询,使用各种决策理论方法(如果他想变得更理性),跟随直觉或简单地跟随人群。

然而,几乎每个人都有过这样的经历,销售人员勇敢的建议没有那么有用。带着跟着有钱邻居投资的感觉,但并没有真正给我们带来好处;在互联网上无休止的花费时间将会导致混乱和无法做出快速正确的决定。简而言之,好建议很少。在大多数情况下,这需要很多时间或金钱。即便如此,这始终令人怀疑。

有一个负担得起的私人顾问来帮助我们高效地做出正确的决定,那该多好啊!

建立一个支持用户在线决策的系统是推荐系统领域的主要目标。这一目标强调为方便访问的大规模用户提供高质量的建议。

对数据大小和易访问性的强调使这项技术非常强大。虽然推荐系统的目标是用户的个人决策,但大量的应用使得该系统在更广的意义上有着重要的影响,比如亚马逊的推荐引擎。由于互联网市场的深入渗透,这个问题尤其不可忽视,因为掌握推荐系统可以在更广的意义上控制市场。想想吧。例如,百货公司的所有销售人员只能根据订单销售某些产品。

#p#分页标题#e#

有些人会说,推荐系统服务于那些负担不起或不愿意为专家的高质量建议付费的人。在某种程度上,这在某些领域是正确的,例如金融服务或医疗。然而,做出明智决策的目标也包括超越该领域的专家。这显然是不可能的,也不是所有领域都必须的,但是从许多例子中仍然可以发现,群体智能可以用来改进决策。因此,考虑到互联网上有大量信息,我们能否开发一个系统来提供比人类建议更好的建议?

努力推荐价格合理、个性化和高度匹配的产品是推荐领域的核心问题,这也给技术和心理学带来许多挑战。虽然在技术层面上,我们关心的是找到尽可能有效地利用现有信息和知识的方法,但在设计最终用户交互过程时必须考虑心理因素。这些沟通过程的设计将极大地影响随后推荐的信任度,并最终影响决策本身。用户不能表现得像理性的经济人,因为后者确切知道他们想要什么。甚至在推荐过程中询问用户偏好的方式,或者提供哪些决策选项,都会影响用户的选择。因此,推荐系统不能简化为简单的决策理论概念。

现在被称为“推荐系统”的软件最早出现在15年前。此后,研究人员不断开发新的方法来实现推荐系统。今天黑帽seo,我们大多数人已经习惯了推荐系统的服务,比如Amazon.com使用的推荐引擎。过去,由于人工智能和方法在信息过滤领域的应用,推荐系统受到了广泛关注,可以用来推荐网站或对新闻进行分类和过滤。事实上,基于实例或规则技术的推荐方法起源于20世纪80年代的专家系统。然而,推荐系统的应用范围远远超出了单纯的信息过滤方法百度技术委员会主席。目前的推荐技术正在不同领域提供解决方案,如金融产品、房地产、电子消费品、电影、书籍、音乐、新闻和网站等。

这本书介绍了许多推荐的系统技术和最新发展。目标读者包括该领域的研究生或刚刚进入该领域的博士生、已经开始设计和实施实用推荐系统的专业人员和信息技术专家。更高级的信息可以在推荐系统手册(Ricci等人,2010)中找到,该手册全面包含了该领域先驱的研究成果。

这本书由两部分组成。第一部分总结了实施推荐系统的基本方法,并讨论了各自的优缺点。除了描述如何构建这样一个系统,我们还关注通过在线用户行为评估推荐准确性和测试推荐有效性的方法。第二部分重点介绍了最新的发展,包括推荐系统信任、网络2.0和语义网络技术等新兴应用。与本书主题相匹配的教材可从以下网站获得。

我们感谢所有为这本书做出贡献的人,尤其是剑桥大学出版社的希瑟·褒曼和劳伦·考尔斯,他们在整个编辑过程中支持了我们。还要特别感谢帮助校对手稿的亚瑟·皮特曼、科斯特扬滕·什切克提金、卡拉·德尔加多·巴顿菲尔和法蒂赫·盖迪基里。我还要感谢几位学术同事在审计中的帮助,并给了我们很多有用的反馈。

Dietmar Jannach

马库斯·赞克

Alexander Felfernig

格哈德·弗里德里希

2010年分别在多特蒙德、克拉根福和格拉茨

……

750){this.height=this.height*(750.0/this.width); this.width = 750;}" src2='http://image.suning.cn/uimg/sop/commodity/607001668228586175451800_x.jpg' alt='当当网官方旗舰店'/>750){ this . height = this . height *(750.0/this . width);this.width = 750} " src 2 = ' x.jpg ' alt = '当当网官方旗舰店'/>;