"Deformable Patterned Fabric Defect Detection With Fisher Criterion-Based Deep Learning" 学习笔记

这篇文章提出了一种比较新颖的利用自编码网络进行缺陷检测的方案。作者改进了SDA,提出了Fisher Criterion-Based SDA(FCSDA)。SDA是Stacked Denoising Autoencoders的缩写。其创新点有两个。第一,采用Fisher Criterion-Based SDA即(文中所说的FCSDA)进行自编码学习,检测缺陷;第二,训练另一个FCSDA来尽可能消除缺陷,得到没有缺陷的背景,与缺陷样本进行比较,分割出缺陷。该方法实现了在缺陷样本较为匮乏的情况下进行缺陷检测和缺陷分割。

预备知识——Stacked Denoising Autoencoders(S [Read More…]

“Deep Multi-task Learning for Railway Track Inspection” 论文笔记

“Deep Multi-task Learning for Railway Track Inspection” 论文笔记

这篇博客将分享一篇论文《Deep Multi-task Learning for Railway Track Inspection》。论文提出了一种将浅层学习与深度学习相结合的方法,超过了单纯采用深度学习的效果。浅层学习与深度学习结合也是一个很多人都在谈论的事情。我曾一直觉得这种想法完全是一种想当然的没有任何依据的想法。因为深度学习追求的是一种端到端的训练方式,而不会想着将训练隔离成两个部分。在一些级别不高的期刊里面经常能看到这样一些文章,首先用深度神经网络做一些训练,再简单地利用SVM或其它模型将后面的全连接层换掉。我认为这种做法意义不大。之所以详读这篇文章,是因为它将浅层学习模型“嵌入”神 [Read More…]

利用深度学习进行语义分割学习笔记

利用深度学习进行语义分割学习笔记

语义分割的目标是自动从一张图像中分割出前景,并识别前景的类别,如下图所示。利用深度学习进行语义分割的开山之作Fully Convolutional Networks for Semantic Segmentation提出用1×1的卷积层代替全连接层,使图像的几何信息得以保留,这样一来,就可以逐个像素地构建loss。这一方法简称FCN。后来,Deeplab系列方法(DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs)又再FCN [Read More…]

决策树(Decision Tree)学习笔记(二)

决策树(Decision Tree)学习笔记(二)

上一篇博文介绍了决策树的基本概念,对决策树相关的五个问题进行了解答。这篇博文将介绍常见的ID3、C4.5和CART算法,并介绍sklearn中的决策树算法。

ID3算法

ID3算法可以处理基本的情况——离散的属性,没有遗漏的信息等。将信息增益作为质量测量的指标。

1)决定分类属性

2)对目前的数据表,建立一个节点N。

3)如果数据表中的数据都属于同一类,N就是树叶,在树叶上标上所属的那一类。

4)如果数据表中没有其他属性可以考虑,N也是树叶,按照少数服从多数的原则在树叶上标上所属类别。

5)否则,根据平均信息期望值E或Gain值选出一个最佳属性作为节点N的测试属性。 [Read More…]

决策树(Decision Tree)学习笔记(一)

决策树(Decision Tree)学习笔记(一)

版权声明:本文为博主原创文章,转载请注明出处。

博客最近才开始用,过去两年学习的算法很多都缺乏总结。最近在复习总结一些经典的机器学习方法和图像处理算法,包括这篇博文要总结的决策树。决策树是一种经典的统计学习方法,在上世纪八九十年代提出和完善,直到今日都还有许多基于决策树的改进方法产生。另外其它一些机器学习模型,如adaboost等也经常会用到决策树。

决策树基础

决策树是一种典型的分类方法,首先对数据进行处理,利用归纳算法生成可读的规则和决策树,然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。

决策树相关的重要算法包括

1、CLS学习系统( [Read More…]

机器学习算法资料收集(持续更新)

摘要

本文将持续收集讲得比较好的机器学习算法博客、资料、源码等。

 

K-Means聚类算法

聚类分析试图将相似对象归入同一簇。K-均值是发现给定数据集的k个簇的算法。

用scikit-learn学习K-Means聚类

scikit-learn学习之K-means聚类算法与 Mini Batch K-Means算法

 

MeanShift聚类算法

Meanshift,聚类算法

基于MeanShift的目标跟踪算法及实现

 

  [Read More…]

高斯过程单分类(GPOCC)方法

高斯过程单分类(GPOCC)方法

版权声明:本文为博主原创文章,转载请注明出处。

摘要

单分类(One Class Classification)问题是指只利用一类样本进行训练的分类问题。高斯过程回归(GPR)和高斯过程分类(GPC)理论完备,应用也较为广泛。利用高斯过程进行单分类的应用目前还不太常见。本文的内容取自论文One-class classification with Gaussian processes,总结了文中利用高斯过程进行单分类的方法,并利用sklearn库进行了单分类的实现。

GP单分类模型原理

之前有讲到利用高斯过程进行回归。预测值的后验分布为

$${f_*}|X,y,{x_*}\t [Read More…]

高斯过程分类(GPC)

高斯过程分类(GPC)

摘要

高斯过程不仅可以用于回归,还可以用于分类。如果把高斯过程的输出结果归一化到\(\left[0,1\right]\)区间内,则其结果可以代表一个数据属于某一类数据的概率。我们可以据此进行分类。这就是高斯过程分类的原理。本文将详述高斯过程二分类的原理,并将其扩展到多分类问题,并利用sklearn机器学习库给出其基本实现。

概述

高斯过程分类(以下简称GPC)与高斯过程回归(以下简称GPR)最大的不同在于,GPR中先验数据的回归值\(y\)往往是在连续函数上的取值,而GPC中的\(y\)是离散的数据标签。比如我们可以设定正样本的标签\(y=1\),负样本的标签\(y=-1\)。至此 [Read More…]

高斯过程回归(GPR)

高斯过程回归(GPR)

版权声明:本文为博主原创文章,转载请注明出处。

摘要

在概率论和统计学中,高斯过程(Gaussian process)是观测值出现在一个连续域(例如时间或空间)的统计模型。在高斯过程中,连续输入空间中每个点都是与一个正态分布的随机变量相关联。此外,这些随机变量的每个有限集合都有一个多元正态分布。高斯过程的分布是所有那些(无限多个)随机变量的联合分布,正因如此,它是连续域(例如时间或空间)的分布。高斯过程(Gaussian Processes)是一种通用的监督学习方法,多用于进行回归,也可以扩展用于解决分类问题。本文主要讲述高斯过程回归(GPR)的原理及应用。

高斯过程回归原理 [Read More…]