tensorflow的Graph和Session

关于tensorflow的Graph和Session,官网介绍在这里,https://www.tensorflow.org/programmers_guide/graphs

Graph和Session是tensorflow中的最基本的概念,但由于最初没有把他们俩的特征搞得特别清楚,因此踩了很多坑。这两个概念必须搞得特别清楚,尤其是在多线程编程的时候。

graph即是利用tensorflow构建的网络图。在没有指定graph时,当前线程的所有网络结构都会存在一个默认graph当中。

当然如果不想采用这个默认gra [Read More…]

"Deformable Patterned Fabric Defect Detection With Fisher Criterion-Based Deep Learning" 学习笔记

这篇文章提出了一种比较新颖的利用自编码网络进行缺陷检测的方案。作者改进了SDA,提出了Fisher Criterion-Based SDA(FCSDA)。SDA是Stacked Denoising Autoencoders的缩写。其创新点有两个。第一,采用Fisher Criterion-Based SDA即(文中所说的FCSDA)进行自编码学习,检测缺陷;第二,训练另一个FCSDA来尽可能消除缺陷,得到没有缺陷的背景,与缺陷样本进行比较,分割出缺陷。该方法实现了在缺陷样本较为匮乏的情况下进行缺陷检测和缺陷分割。

预备知识——Stacked Denoising Autoencoders(S [Read More…]

“Deep Multi-task Learning for Railway Track Inspection” 论文笔记

“Deep Multi-task Learning for Railway Track Inspection” 论文笔记

这篇博客将分享一篇论文《Deep Multi-task Learning for Railway Track Inspection》。论文提出了一种将浅层学习与深度学习相结合的方法,超过了单纯采用深度学习的效果。浅层学习与深度学习结合也是一个很多人都在谈论的事情。我曾一直觉得这种想法完全是一种想当然的没有任何依据的想法。因为深度学习追求的是一种端到端的训练方式,而不会想着将训练隔离成两个部分。在一些级别不高的期刊里面经常能看到这样一些文章,首先用深度神经网络做一些训练,再简单地利用SVM或其它模型将后面的全连接层换掉。我认为这种做法意义不大。之所以详读这篇文章,是因为它将浅层学习模型“嵌入”神 [Read More…]

神经网络的反向传播过程详解

版权声明:本文为博主原创文章,转载请注明出处。

神经网络中的数学知识其实并不多,个人认为相比于SVM,随机森林等模型,神经网络中的数学真是太简单了。唯一需要深入理解的一点就是反向传播。这一部分是神经网络工作的核心。要理解反向传播,首先要知道求导的链式规则。或者先看看CS231n课程笔记翻译:反向传播笔记,将有助于理解。本篇博文将根据我认为更容易理解的方式推导反向传播,阐述反向传播的一般性公式。可能某些表述上与教材上不同,但殊途同归。

首先,设第\(l\)层的神经元的输出为\(h_{l,i}\),共有m个神经元。第\(l+1\)层的输出为\(h_{l+1,j}\),共有n个。连接\ [Read More…]

CNN中的batch-normalization及其tensorflow用法

版权声明:本文为博主原创文章,转载请注明出处。

Batch Normalization(以下简称BN)自从2015年被提出后,得到了广泛的应用。相关介绍看这里。

深度学习(二十九)Batch Normalization 学习笔记

Batch Normalization详解

Batch Normalization 批标准化

BN主要有两个好处。第一,将数据归一化到均值为0,方差为1,使数据在一个合理的范围,有效避免了最开始几次迭代的loss震荡。 第二,有效避免了梯度消失和梯度爆炸,使网络迅速收敛。

BN层原理

BN层的思想很简单,就是对每个输入batch做一个归一化 [Read More…]

CNN中1×1卷积核的作用

版权声明:本文为博主原创文章,转载请注明出处。

近年来的一些知名CNN模型中常常可以见到1×1的卷积核。相关介绍可以看这里。

1*1的卷积核与Inception

卷积神经网络中用1*1 卷积有什么作用或者好处呢?

 

以下是我的理解。

其实CNN中1×1卷积层就相当于将输入的特征图(feature maps)按照不同的加权进行线性组合,并输出对应维数的特征图。这里,我们可以规定1×1的卷积层的输出是多少。因此,1×1卷积层可以用来特征升维或者降维。当然我们见的更多的是用其进行降维。

例如,若上一层的feature maps有1000个,尺寸为32×32,经 [Read More…]