您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识
关于自然语言处理的新书有哪些推荐?
深度,自然语言,领域关于自然语言处理的新书有哪些推荐?
发布时间:2020-12-06加入收藏来源:互联网点击:
关于自然语言处理的新书有哪些推荐?
回答于 2019-09-11 08:43:50
回答于 2019-09-11 08:43:50
2017 年,机器之心就获知邓力、刘洋教授等人在编写一本 NLP 领域的书籍《Deep Learning in Natural Language Processing》,一直以来都对此书有所期待。此书介绍了深度学习在 NLP 常见问题中的应用,还对 NLP 未来发展的研究方向进行了探讨,包括神经符号整合框架、基于记忆的模型、先验知识融合以及深度学习范式(如无监督学习、生成式学习、多模学习、多任务学习和元学习等)。
官方书籍地址:https://www.springer.com/gp/book/9789811052088
自然语言处理(NLP)旨在使计算机可以智能地处理人类语言,是跨越人工智能、计算科学、认知科学、信息处理和语言学的重要跨学科领域。由于计算机和人类语言之间的交互技术的进步,语音识别、对话系统、信息检索、问答和机器翻译等 NLP 应用已经开始重塑人们识别、获取和利用信息的方式。
NLP 的发展经历了三次浪潮:理性主义、经验主义和深度学习。在第一次浪潮中,理性主义方法主张设计手工制作的规则,将知识融入 NLP 系统,这种主张假设人类思维中的语言知识是通过通用继承预先固定下来的。在第二次浪潮中,经验方法假设丰富的感官输入和表面形式的可观察语言数据是必需的,并且足以使大脑学习自然语言的详细结构。因此,人们开发了概率模型来发现大型语料库中语言的规律性。在第三次浪潮中,受生物神经系统的启发,深度学习利用非线性处理的层次模型,从语言数据中学习内在表征,旨在模拟人类的认知能力。
深度学习和自然语言处理的交叉在实际任务中取得了惊人的成功。语音识别是深度学习深刻影响的第一个工业 NLP 应用。随着大规模训练数据变得可用,深度神经网络实现了比传统经验方法低得多的识别误差。深度学习在 NLP 领域的另一个成功应用是机器翻译。使用神经网络对人类语言之间的映射进行建模的端到端神经机器翻译已经证明可以大大提高翻译质量。因此,神经机器翻译已迅速成为大型科技公司(谷歌、微软、Facebook、百度等)提供的主要商业在线翻译服务的新技术。NLP 的许多其他领域,包括语言理解和对话、词法分析和解析、知识图谱、信息检索、文本问答、社交计算、语言生成和文本情感分析,也通过深度学习取得了很大的进步,掀起了 NLP 发展的第三次浪潮。如今,深度学习是应用于几乎所有 NLP 任务的主导方法。
作者对三大浪潮分析得出的结论是:当前的深度学习技术是从前两大浪潮发展的 NLP 技术在概念和范式上的革命。这场革命的关键支柱包括语言实体(子词、单词、短语、句子、段落、文档等)的分布式表示,通过嵌入、嵌入的语义泛化、语言的长跨深度序列建模、有效地表示从低到高的语言水平的分层网络以及端到端的深度学习方法,来共同完成许多 NLP 任务。在深度学习浪潮之前,这些都不可能,不仅是因为在之前的浪潮中缺乏大数据和强大的计算,而且同样重要的是,近年来我们错过了正确的框架,直到深度学习范式出现。
这本书的主要目的是综述深度学习在 NLP 领域的近期前沿应用。本书会展示当前最佳的 NLP 为中心的深度学习研究,并聚焦于探讨深度学习在主要的 NLP 应用中发挥的作用,包括口语理解、对话系统、词法分析、语法分析、知识图谱、机器翻译、问答、情感分析、社交计算和从图像生成自然语言。本书适用于有计算机技术背景的读者,包括硕士生、博士生、博士后研究员、教学者和产业界研究者,以及任何想快速了解 NLP 深度学习最新进展的读者。
本书由全球知名的 Deep Learning 和 NLP 专家邓力博士领导国内外一批活跃的 NLP 研究人员撰写,全面介绍了深度学习如何解决 NLP 中的基本问题,并汇总了大多数深度学习方法应用于 NLP 领域的最新进展(包括 2017 下半年的最新研究进展)。
本书第一章首先回顾了 NLP 的基础知识以及本书后续章节所涵盖的 NLP 的主要范围,然后深入探讨了 NLP 的历史发展,总结为三大浪潮和未来方向。第 2-10 章对应用于 NLP 的深度学习最新进展进行了深入研究,分为九个单独的章节,每个章节涵盖 NLP 的一个(很大程度上是独立的)应用领域。每章的主体由在各自领域积极工作的主要研究人员和专家撰写。
目录如下:
Chapter 1: 深度学习与自然语言简介(邓力,刘洋)
Chapter 2: 对话理解系统中的深度学习(Gokhan Tur, Asli Celikyilmaz,何晓冬,Dilek Hakkani-TÜr, 邓力)
Chapter 3: 语音与文本对话系统中的深度学习(Asli Celikyilmaz, 邓力, and Dilek Hakkani-TÜr)
Chapter 4: 语法与词法分析中的深度学习(车万翔 张岳)
Chapter 5: 知识图谱中的深度学习(刘知远,韩先培)
Chapter 6: 机器学习中的深度学习(刘洋,张家俊)
Chapter 7: 问答系统中的深度学习(刘康,冯岩松)
Chapter 8: 情感分析中的深度学习(唐都钰,张梅山)
Chapter 9: 社交计算中的深度学习(赵鑫,李晨亮)
Chapter 10: 看图说话中的深度学习(何晓冬,邓力)
Chapter 11: 后记(邓力,刘洋)
在调查了应用深度学习的 NLP 领域的突出成功之后,作者指出并分析了当前深度学习技术的几个主要局限性,涉及一般以及更具体的 NLP 领域。这项调查为 NLP 指出了五个未来的前沿发展方向:神经 - 符号整合框架、探索更好的记忆模型、更好地利用知识,以及更好的深度学习范式(包括无监督和生成学习、多模态和多任务学习和元学习)。
整本书共有 11 章,包含了深度学习在 NLP 中各个领域的研究与应用,并且在全书的最后一部分,作者们讨论了基于 DL 的 NLP 如何扩展到更为通用领域。泛化的本质是将深度神经网络(如:参数化功能块的计算图表)从静态转为动态。这意味着泛化可以使由许多可微分模型组成的网络架构以数据相关的方式进行实时创建。正如本书很多章节中使用逻辑表达式、条件、赋值和循环等进行程序化编程,在可微分编程模型中,涉及到存储、注意、堆栈、队列和指针模块的深度神经网络架构亦如此实现。
实际上,当前的深度学习框架(如: PyTorch, TensorFlow, Chainer, MXNet, CNTK 等)更要追求模型的灵活性,因为一旦高效的编译器被开发出来,我们将需采用一个全新的软件实现方式。以循环和条件判断为主的传统编程逻辑将被淘汰,取而代之的是由神经网络实现的参数化功能模块的组装图表。其中的关键技术在于,基于模型的可微分性,使用高效的梯度优化方法,通过端到端的反向传播学习从数据中自动训练出组装图表中的所有参数,比如神经网络的权重以及定义网络非线性和存储模块的参数。
总之,相信在不久的将来,以广义深度学习或可微分编程框架所创建的更加强大、更加灵活、更加先进的学习架构可以解决本书中所列举的 NLP 前沿研究领域的遗留问题。不止于本书中所提及的研究成果,新的成就将会像雨后春笋般涌现,这一切都将会使我们越来越接近通用人工智能实现的日子。那时,NLP 将会成为通用人工智能的一个重要组成部分呈现在大家面前。
上一篇:哪个牌子的核桃好一点呢?
下一篇:返回列表
相关链接 |
||
网友回复(共有 0 条回复) |