神经网络的反向传播过程详解

版权声明:本文为博主原创文章,转载请注明出处。

神经网络中的数学知识其实并不多,个人认为相比于SVM,随机森林等模型,神经网络中的数学真是太简单了。唯一需要深入理解的一点就是反向传播。这一部分是神经网络工作的核心。要理解反向传播,首先要知道求导的链式规则。或者先看看CS231n课程笔记翻译:反向传播笔记,将有助于理解。本篇博文将根据我认为更容易理解的方式推导反向传播,阐述反向传播的一般性公式。可能某些表述上与教材上不同,但殊途同归。

首先,设第\(l\)层的神经元的输出为\(h_{l,i}\),共有m个神经元。第\(l+1\)层的输出为\(h_{l+1,j}\),共有n个。连接\ [Read More…]

CNN中的batch-normalization及其tensorflow用法

版权声明:本文为博主原创文章,转载请注明出处。

Batch Normalization(以下简称BN)自从2015年被提出后,得到了广泛的应用。相关介绍看这里。

深度学习(二十九)Batch Normalization 学习笔记

Batch Normalization详解

Batch Normalization 批标准化

BN主要有两个好处。第一,将数据归一化到均值为0,方差为1,使数据在一个合理的范围,有效避免了最开始几次迭代的loss震荡。 第二,有效避免了梯度消失和梯度爆炸,使网络迅速收敛。

BN层原理

BN层的思想很简单,就是对每个输入batch做一个归一化 [Read More…]

CNN中1×1卷积核的作用

版权声明:本文为博主原创文章,转载请注明出处。

近年来的一些知名CNN模型中常常可以见到1×1的卷积核。相关介绍可以看这里。

1*1的卷积核与Inception

卷积神经网络中用1*1 卷积有什么作用或者好处呢?

 

以下是我的理解。

其实CNN中1×1卷积层就相当于将输入的特征图(feature maps)按照不同的加权进行线性组合,并输出对应维数的特征图。这里,我们可以规定1×1的卷积层的输出是多少。因此,1×1卷积层可以用来特征升维或者降维。当然我们见的更多的是用其进行降维。

例如,若上一层的feature maps有1000个,尺寸为32×32,经 [Read More…]