机器学习降维之主成分分析(PCA)

主成分分析(Principal components analysis, PCA)是最重要的降维方法之一,在数据压缩、消除冗余和数据噪音消除等方面有广泛的应用。通常我们提到降维算法,最先想到的就是PCA,下面我们对PCA原理进行介绍。1. PCA思想PCA就是找出数据中最主要的方面,用数据中最重要的方面来代替原始数据。假如我们的数据集是n维的,共有m个数据(x1,x2,...,xm),我们将这m个

- 阅读全文 -

Gibbs采样

在MCMC采样和M-H采样中,我们讲到M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集问题。但是M-H采样有两个缺点:一是需要计算接受率,在高维情况下计算量非常大,同时由于接受率的原因导致算法收敛时间变长。二是有些高维数据,特征的条件概率分布方便求解,但特征的联合分布很难求解。因此需要改进M-H算法,来解决上面提到的两个问题,下面我们详细介绍Gibbs采样方法。1.细致平衡条件M

- 阅读全文 -

MCMC采样和M-H采样

在MCMC之马尔可夫链之中我们介绍到,给定一个概率分布π,很难直接找到对应的马尔可夫链状态转移矩阵P。只要解决这个问题,我们便可以找到一种通用的概率分布采样方法,进而用于蒙特卡罗模拟。下面我们来介绍如何找到马尔可夫链所对应的状态转移矩阵P。1.马尔可夫链细致平稳条件解决平稳分布π所对应的马尔可夫链状态转移矩阵P之前,我们先看一下马尔可夫链的细致平稳条件。其定义为:如果非周期马尔可夫链的状态转移矩阵

- 阅读全文 -

MCMC之马尔可夫链

在MCMC之蒙特卡罗方法之中,讲到如何利用蒙特卡罗方法来随机模拟求解一些复杂的连续积分或者离散求和方法。但蒙特卡罗方法需要得到对应的概率分布的样本集,而对于某些概率分布,得到这样的样本集很困难,因此本篇我们将介绍马尔可夫链来解决这种问题。1.马尔可夫链简介马尔可夫链定义比较简单,它假设某一时刻状态转移的概率只依赖于它的前一个状态,这样可以很大程度上简化模型的复杂度。假设我们的序列状态为$...,X

- 阅读全文 -

MCMC之蒙特卡罗方法

1.MCMC简介马尔可夫链蒙克卡罗(Markov Chain Monte Carlo,MCMC)是一种随机采样方法,在机器学习、深度学习及自然语言处理等领域都有广泛的应用,是很多复杂算法求解的基础,例如受限玻尔兹曼机(RBM)便是用MCMC来做一些复杂算法的近似求解。在具体讲解什么是MCMC之前,我们先看看MCMC可以解决什么样的问题,为什么需要MCMC方法。2. 为什么需要MCMC?假如我们需要

- 阅读全文 -

LSTM神经网络之前向反向传播算法

上篇文章我们已经学习了循环神经网络的原理,并指出RNN存在严重的梯度爆炸和梯度消失问题,因此很难处理长序列的数据。本篇文章,我们将学习长短期记忆网络(LSTM,Long Short Term Memory),看LSTM解决RNN所带来的梯度消失和梯度爆炸问题。1.从RNN到LSTMRNN模型具有如下所示的结构,其中每个索引位置t都有一个隐藏状态$h^{(t)}$。如果省略每层的$o^{(t)},L

- 阅读全文 -

循环神经网络之前向反向传播算法

前面我们已经介绍了深度神经网络和卷积神经网络,这些算法都是前向反馈,模型的输出和模型本身没有关联关系。今天我们学习输出和模型间有反馈的神经网络,循环神经网络(Recurrent Neual Networks),其广泛应用于自然语言处理中的语音识别,书写识别和机器翻译等领域。1.RNN简介前面介绍的DNN和CNN之中,训练样本的输入和输出都是确定的。但对于训练样本输入是连续的序列,训练样本长度不同的

- 阅读全文 -

卷积神经网络之反向传播算法

前面已经推导学习了卷积神经网络之前向传播算法,本篇文章将推导卷积神经网络之反向传播算法。在学习卷积神经网络算法之前,希望你对深度神经网络有一定程度的了解,我在之前也有写过相关的文章,包括深度神经网络之前向传播算法、深度神经网络之反向传播算法、深度神经网络之损失函数和激活函数、深度神经网络之正则化,可以先看一下再学习卷积神经网络。1.DNN反向传播算法学习CNN(卷积神经网络)反向传播算法之前,我们

- 阅读全文 -

卷积神经网络之前向传播算法

title: 卷积神经网络之前向传播算法date: 2018-10-14 16:35:28tags: [机器学习,深度学习,算法]categories: 深度学习mathjax: true0.杂谈本来个人是准备毕业直接工作的,但前段时间学校保研大名单出来之后,发现本人有保研机会,于是就和主管请了几天假,回学校准备保研的事情。经过两天的准备,也是非常幸运,成功拿到本院的保研名额。明确得到保研名额的时

- 阅读全文 -

进程、线程、锁的概念

大雾!可以说很大意啦!上周五终于改好bug,想着把代码同步到个人GitHub上面,就随手git push同步到远程。然而万万没想到,之前touch过一个information.txt文件,里面记录着一些服务器信息,然后也跟着同步到远程仓库去啦。等到周一,敏感信息被公司检测出来,通知删除。可以说,真的是很大意了。在通知我之前,我还不记得有提交过什么敏感信息。直到看见具体文件信息,才知道自己犯了错误啊

- 阅读全文 -

最新文章

最近回复

  • fushengwuyu: 博主你好,看了你的教程,收益良多,十分感谢。有个小问题,我启动f...
  • 谓之小一: 你好,我以前在ubuntu上也遇见过这个问题. 解决办法貌似是为...
  • walle: 您好,使用D2RQ(win10)时: 错误: 找不到或无法加载...
  • manyangyang: json2mysql部分有一些数据导入不到sql中,数据库中有些...
  • manyangyang: json2mysql部分有一些数据导入不到sql中,数据库中有些...
  • manyangyang: json2mysql部分有一些数据导入不到sql中,数据库中有些...
  • 谓之小一: 你好,所有代码都放在https://github.com/wei...
  • momo: 可以分享一下mysql数据吗
  • momo: 可以分享一下利用pymysql将Json类型数据导入到MySQL...
  • 在 2018年12月 发布的文章 - 大专栏: [...]后端前端人工智能DevOps移动端测试程序人生 ...

分类

标签

归档

其它