阅读数:71 评论数:0

一、概述

神经网络（Nerual Networks, NNs）是受人脑结构以及工作启发产生的非线性计算系统。

二、深度神经网络

深度神经网络（Deep Neural Network, DNN），DNN模型通常由多个神经网络层组成，其中每个神经网络层都存在大量的训练参数。在训练DNN模型时，开发人员需要将数据集迭代多次，帮助模型达到收敛的状态。

三、卷积神经网络（多用在计算机视觉，如图像）

卷积神经网络（Convolutional Neural Network,CNN）是一种深度学习架构，在提取底层抽象特征方面具有良好的性能。

CNN通过卷积层、激活层和池化导来完成特征提取和学习。卷积层对输入图像卷积提取特征得到线性特征，然后加入激活函数对线性特征进行非线性映射，最后通过池化层对提取结果进行下采样操作，从而完成特征提取。

目前已经出现了多种经典卷积网格模型结构：LeNet5、AlexNet、GoogleNet、ReNet。

四、循环神经网络（多用在时间序列数据，如音频、视频）

循环神经网络（Recurrent Neural Network, RNN），虽然CNN在计算机视觉领域发挥着巨大的作用，但是它很难学习具有时间序列数据的特征，RNN会记录先前计算的信息结果，并且先前记录的信息会影响当前输入数据的计算结果。

RNN及它的衍生物长短期记忆网络（Long Short-Term Memory,LSTM）、门控循环单元（Gate Recurrent Unit, GRU）已经在机器翻译、语音识别、文本生成、交通流量预测上得到应用。

1、LSTM

LSTM网络是一种改进的循环神经网络，LSTM循环单元内部拥有输入门、输出门以及遗忘门。

在每一个序列时长t输入信息都会经过输入门，输入门内部的开关决定输入信息能否进入当前循环单元；输出门会决定当前信息是否可以从LSTM单元输出；遗忘门会决定当前时刻LSTM内部的信息是否被遗忘。

2、GRU

GRU将LSTM内部的输入门与遗忘门合并成更新门，降低了循环单元内部的参数数量，因此GRU相较于LSTM具有学习速度更快、结构更简单的优势。