[学习心得]-神经网络与深度学习–吴岸城

一、神经网络

模拟生物神经网络的数学模型统称为人工神经网络模型，简称为人工神经网络或者神经网络。

感知机是最简单的神经网络，模型为：s=f(s)，例如：s=p1In1+p2In2+p3In3+bx1。p1,p2,p3是权值，In1,In2,In3是输入，b是偏置。

感知机的学习规则就是修改神经网络的权值和偏置。

二、深度学习

机器学习中大部分的学习算法都是基于统计学原理的,所以机器学习也被称为统计学习方法。

深度神经网络是一种具备至少一个隐层的神经网络，与浅层神经网络类似，深度神经网络也能为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。深度神经网络是前馈神经网络，但也有语言建模等方面的研究将其拓展到了循环（递归）神经网络。卷积神经网络（CNN）在计算机视觉领域取得了成功的应用。（注意：深度神经网络是一种结构而不是一种算法！）

机器学习的两种解释：一：机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。二：机器学习就是通过算法使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测。

机器学习按照学习方式可以分为：监督学习，非监督学习，强化学习。

人工神经网络和深度学习都属于机器学习的一种，深度学习是神经网络的一个大分支，深度学习的基本结构是深度神经网络。

深度学习包含监督学习和非监督学习等, 机器学习的学习方式有监督式和非监督式， 但监督和非监督广泛存在于机器学习中，而不是只有深度学习才有这两个概念。深度学习的地位如下图所示。

图1 深度学习所处位置图

三、深度学习的常用方法

自编码器： 自编码器是一种可以进行无监督学习的神经网络模型。

快速感知：稀疏编码

📕所谓稀疏性，就是对一对输入图像，隐藏节点中被激活的节点数（输出接近于1）远远小于被抑制的节点数目（输出接近于0）。那么使神经元大部分的时间都是被抑制的限制被称作稀疏性限制。

栈式自编码器：是一个由多层稀疏自编码器组成的神经网络。

解决概率分布问题：限制波尔兹曼机

📕 监督学习方法有分生成方法和判别方法，所学到的模型分别称为生成模型和判别模型。

📕假设一个二部图，每一层的节点之间没有链接，一层是可视层，即输入层（v)，一层是隐藏层（h），如果假设所有的节点都是随机二进制变量节点（只能取值0或1），同时假设概率分布p(v,h)满足Boltzmann分布，我们称这个模型为RBN。RBN的主要有四种用途：一种是对数据进行编码，然后交给监督学习方法进行分类或者回归；二是得到了权重矩阵和偏移量，供BP神经网络初始化训练；三是RBN可以估计联合概率p(v,h)，即RBN可以作为一个生成模型使用；四是RBN可以直接计算条件概率p(h,v)，即RBN可以 可以作为一个判别模型使用。

DBN：将RBN像砖块一样叠加起来构建一个网络，就叫做DBN。DBN由多个RBN层组成。

CNN（卷积神经网络）：是人工神经网络的一种，它是一种特殊的对图像识别的方式，属于非常有效的带有前向反馈的网络。

RNN（循环神经网络）：是指一个随着时间推移，重复发生的结构。递归神经网络是广义化的循环神经网络。

LSTN网络：LSTN网络是一种特殊的循环神经网络，具有能够学习的长期依赖的能力。

四、其他

１.迁移学习

２.概率图模型

３.大规模学习

４.并行计算

以上全部内容,源自于<<神经网络与深度学习–吴岸城>>