机器学习降维之线性判别模型(LDA)

1.LDA简介线性判别分析(Linear Discriminant Analysis, LDA)是一种监督学习的降维方法,也就是说数据集的每个样本是有类别输出。和之前介绍的机器学习降维之主成分分析(PCA)方法不同,PCA是不考虑样本类别输出的无监督学习方法。LDA的原理简单来说就是将带上标签的数据(点),通过投影的方法,投影到维度更低的空间中,使得投影后的点会形成按类别区分。而我们的目标就是使得

- 阅读全文 -

机器学习降维之奇异值分解(SVD)

奇异值分解(Singular Value Decompostion, SVD)是在机器学习领域广泛应用的算法,不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域,是很多机器学习算法的基石。本篇文章对SVD原理做主要讲解,在学习之前,确保你已经熟悉线性代数中的基本知识,包括特征值、特征向量、相似矩阵相关知识点。如果不太熟悉的话,推荐阅读如下两篇文章,如何理解矩阵特征值?知乎

- 阅读全文 -

机器学习降维之主成分分析(PCA)

主成分分析(Principal components analysis, PCA)是最重要的降维方法之一,在数据压缩、消除冗余和数据噪音消除等方面有广泛的应用。通常我们提到降维算法,最先想到的就是PCA,下面我们对PCA原理进行介绍。1. PCA思想PCA就是找出数据中最主要的方面,用数据中最重要的方面来代替原始数据。假如我们的数据集是n维的,共有m个数据(x1,x2,...,xm),我们将这m个

- 阅读全文 -

Gibbs采样

在MCMC采样和M-H采样中,我们讲到M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集问题。但是M-H采样有两个缺点:一是需要计算接受率,在高维情况下计算量非常大,同时由于接受率的原因导致算法收敛时间变长。二是有些高维数据,特征的条件概率分布方便求解,但特征的联合分布很难求解。因此需要改进M-H算法,来解决上面提到的两个问题,下面我们详细介绍Gibbs采样方法。1.细致平衡条件M

- 阅读全文 -

MCMC采样和M-H采样

在MCMC之马尔可夫链之中我们介绍到,给定一个概率分布π,很难直接找到对应的马尔可夫链状态转移矩阵P。只要解决这个问题,我们便可以找到一种通用的概率分布采样方法,进而用于蒙特卡罗模拟。下面我们来介绍如何找到马尔可夫链所对应的状态转移矩阵P。1.马尔可夫链细致平稳条件解决平稳分布π所对应的马尔可夫链状态转移矩阵P之前,我们先看一下马尔可夫链的细致平稳条件。其定义为:如果非周期马尔可夫链的状态转移矩阵

- 阅读全文 -

MCMC之马尔可夫链

在MCMC之蒙特卡罗方法之中,讲到如何利用蒙特卡罗方法来随机模拟求解一些复杂的连续积分或者离散求和方法。但蒙特卡罗方法需要得到对应的概率分布的样本集,而对于某些概率分布,得到这样的样本集很困难,因此本篇我们将介绍马尔可夫链来解决这种问题。1.马尔可夫链简介马尔可夫链定义比较简单,它假设某一时刻状态转移的概率只依赖于它的前一个状态,这样可以很大程度上简化模型的复杂度。假设我们的序列状态为$...,X

- 阅读全文 -

MCMC之蒙特卡罗方法

1.MCMC简介马尔可夫链蒙克卡罗(Markov Chain Monte Carlo,MCMC)是一种随机采样方法,在机器学习、深度学习及自然语言处理等领域都有广泛的应用,是很多复杂算法求解的基础,例如受限玻尔兹曼机(RBM)便是用MCMC来做一些复杂算法的近似求解。在具体讲解什么是MCMC之前,我们先看看MCMC可以解决什么样的问题,为什么需要MCMC方法。2. 为什么需要MCMC?假如我们需要

- 阅读全文 -

LSTM神经网络之前向反向传播算法

上篇文章我们已经学习了循环神经网络的原理,并指出RNN存在严重的梯度爆炸和梯度消失问题,因此很难处理长序列的数据。本篇文章,我们将学习长短期记忆网络(LSTM,Long Short Term Memory),看LSTM解决RNN所带来的梯度消失和梯度爆炸问题。1.从RNN到LSTMRNN模型具有如下所示的结构,其中每个索引位置t都有一个隐藏状态$h^{(t)}$。如果省略每层的$o^{(t)},L

- 阅读全文 -

循环神经网络之前向反向传播算法

前面我们已经介绍了深度神经网络和卷积神经网络,这些算法都是前向反馈,模型的输出和模型本身没有关联关系。今天我们学习输出和模型间有反馈的神经网络,循环神经网络(Recurrent Neual Networks),其广泛应用于自然语言处理中的语音识别,书写识别和机器翻译等领域。1.RNN简介前面介绍的DNN和CNN之中,训练样本的输入和输出都是确定的。但对于训练样本输入是连续的序列,训练样本长度不同的

- 阅读全文 -

卷积神经网络之反向传播算法

前面已经推导学习了卷积神经网络之前向传播算法,本篇文章将推导卷积神经网络之反向传播算法。在学习卷积神经网络算法之前,希望你对深度神经网络有一定程度的了解,我在之前也有写过相关的文章,包括深度神经网络之前向传播算法、深度神经网络之反向传播算法、深度神经网络之损失函数和激活函数、深度神经网络之正则化,可以先看一下再学习卷积神经网络。1.DNN反向传播算法学习CNN(卷积神经网络)反向传播算法之前,我们

- 阅读全文 -

最新文章

最近回复

  • 谓之小一: 需要安装neo4j的。
  • kunji: 云服务器上只要安装Anaconda3吗?我用的是neo4j存储知...
  • 小林: 你的问题应该在于xxx.owl文件没有进行对应的修改
  • fushengwuyu: 博主你好,看了你的教程,收益良多,十分感谢。有个小问题,我启动f...
  • 谓之小一: 你好,我以前在ubuntu上也遇见过这个问题. 解决办法貌似是为...
  • walle: 您好,使用D2RQ(win10)时: 错误: 找不到或无法加载...
  • manyangyang: json2mysql部分有一些数据导入不到sql中,数据库中有些...
  • manyangyang: json2mysql部分有一些数据导入不到sql中,数据库中有些...
  • manyangyang: json2mysql部分有一些数据导入不到sql中,数据库中有些...
  • 谓之小一: 你好,所有代码都放在https://github.com/wei...

分类

标签

归档

其它