五种网络结构,网络结构介绍是什么,网络的五种结构
导读:
深度学习可以应用在各个领域。根据应用的不同,深度神经网络的形态也不同。常见的深度学习模型有
全连接
(FC)网络结构
,卷积神经网络
(CNN)和循环神经网络
(RNN)。它们都有各自的特点,在不同的场景中扮演着重要的角色。本文将向读者介绍三种模型的基本概念及其各自的适用场景。
作者:一个拥有高贵酒窝和美丽咖啡个性的毛衣在点海传统深度学习技术与应用的火,国家工程实验室百度技术研究院
来源:大数据DT (ID: hzdashuju)
01 全连接网络结构
全连通(
FC
)网络结构是最基本的神经网络/深度神经网络层,全连通层的每个节点都与上层的所有节点相连。前期主要用全连接层对提取的特征进行分类。但是由于全连接层的所有输出和输入都是连接的,所以全连接层的参数最多,需要相当大的存储和计算空间。
由于参数的冗余性,由纯FC构成的常规神经网络很少用于复杂场景。传统的神经网络通常用于依赖于所有特征的简单场景。比如房价预测模型,网络广告推荐模型,都是使用相对标准的全连接神经网络。由FC组成的常规神经网络的具体形式如图2-7所示。
图2-7 FC组成的常规神经网络
02 卷积神经网络
卷积神经网络(
CNN
)是一种专门用于处理具有相似网格结构的数据的神经网络,如图像数据(可视为二维像素网格)。与FC不同的是,CNN的上下神经元并不都是直接相连的,而是通过“卷积核”来介导,通过共享“核”大大降低了隐含层的参数。一个简单的CNN就是一系列的层,每一层通过一个可微的函数把一个量转换成另一个量。这些层主要包括卷积层、池层和全连接层。
卷积网络在很多应用领域都有很好的应用效果,尤其是在大规模图像处理的场景中。图2-8显示了CNN的结构形式。一个神经元三维排列形成一个卷积神经网络(宽、高、深)。如其中一层所示,CNN的每一层都将3D输入转换为3D输出。
图2-8 CNN的结构
03 循环神经网络
递归神经网络(
RNN
)也是常用的深度学习模型之一(如图2-9所示),就像CNN是专门用来处理网格化数据(比如一幅图像)的神经网络,RNN是用来处理序列数据的神经网络。比如音频包含时间成分,所以音频可以表示为一维时间序列;语言中的单词都是一个一个出现的,所以语言的表达也是串行数据。RN在机器翻译、语音识别等领域都有非常好的表现。
图2-9简单RNN结构
关于作者:
高贵的酒窝
,副教授,博士生导师,现就职于北京航空航天大学软件开发环境国家重点实验室,主要研究大数据检索、大规模可视化分析、可信深度学习等。
秀丽的咖啡
,博士,中科院高级工程师,北航软件学院人工智能讲师,南康涅狄格州立大学图书情报学访问学者,耶鲁大学技术创新实验室数据分析专家。
个性的毛衣
,百度优秀R&D架构师,拥有10年以上自然语言处理R&D经验。他的机器翻译项目获得了国家科技进步二等奖。现在负责飞桨核心训练框架和模型算法的研发,致力于打造最好的深度学习平台。
于佃海
,百度深度学习平台PaddlePaddle首席架构师。2008年毕业于北京大学,加入百度。长期从事机器学习和自然语言处理相关的技术研发和平台建设。
传统的火
,北航、大连理工大学特聘讲师,百度认证深度学习tmdsy,美国佛罗里达国际大学高性能数据实验室访问学者,致力于移动对象数据库、数据可视化、机器学习、深度学习研究。本文摘自《飞桨PaddlePaddle深度学习实战》,经出版社授权。
延伸阅读《飞桨PaddlePaddle深度学习实战》
点击上图了解购买。
请联系微信:DoctorData。
推荐语:
本书由百度官方出品。它们内容全面,易于理解,注重实践。他们基于PaddlePaddle深度学习平台,全面覆盖学习深度学习技术所必需的基础知识和深度学习的主要核心技术,包括相关的数学基础、Python编程基础、机器学习基础、前向/后向传播算法、卷积神经网络和循环神经网络等。尽量看书做到“零”