LSTM如何解决RNN带来的梯度消失问题

本篇文章参考于 RNN梯度消失和爆炸的原因、Towser关于LSTM如何来避免梯度弥散和梯度爆炸?的问题解答、Why LSTMs Stop Your Gradients From Vanishing: A View from the Backwards Pass。看本篇文章之前,建议自行学习RNN和LSTM的前向和反向传播过程,学习教程可参考刘建平老师博客循环神经网络(RNN)模型与前向反向传播算

- 阅读全文 -

Gibbs采样

在MCMC采样和M-H采样中,我们讲到M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集问题。但是M-H采样有两个缺点:一是需要计算接受率,在高维情况下计算量非常大,同时由于接受率的原因导致算法收敛时间变长。二是有些高维数据,特征的条件概率分布方便求解,但特征的联合分布很难求解。因此需要改进M-H算法,来解决上面提到的两个问题,下面我们详细介绍Gibbs采样方法。1.细致平衡条件M

- 阅读全文 -

MCMC采样和M-H采样

在MCMC之马尔可夫链之中我们介绍到,给定一个概率分布π,很难直接找到对应的马尔可夫链状态转移矩阵P。只要解决这个问题,我们便可以找到一种通用的概率分布采样方法,进而用于蒙特卡罗模拟。下面我们来介绍如何找到马尔可夫链所对应的状态转移矩阵P。1.马尔可夫链细致平稳条件解决平稳分布π所对应的马尔可夫链状态转移矩阵P之前,我们先看一下马尔可夫链的细致平稳条件。其定义为:如果非周期马尔可夫链的状态转移矩阵

- 阅读全文 -

MCMC之马尔可夫链

在MCMC之蒙特卡罗方法之中,讲到如何利用蒙特卡罗方法来随机模拟求解一些复杂的连续积分或者离散求和方法。但蒙特卡罗方法需要得到对应的概率分布的样本集,而对于某些概率分布,得到这样的样本集很困难,因此本篇我们将介绍马尔可夫链来解决这种问题。1.马尔可夫链简介马尔可夫链定义比较简单,它假设某一时刻状态转移的概率只依赖于它的前一个状态,这样可以很大程度上简化模型的复杂度。假设我们的序列状态为$...,X

- 阅读全文 -

MCMC之蒙特卡罗方法

1.MCMC简介马尔可夫链蒙克卡罗(Markov Chain Monte Carlo,MCMC)是一种随机采样方法,在机器学习、深度学习及自然语言处理等领域都有广泛的应用,是很多复杂算法求解的基础,例如受限玻尔兹曼机(RBM)便是用MCMC来做一些复杂算法的近似求解。在具体讲解什么是MCMC之前,我们先看看MCMC可以解决什么样的问题,为什么需要MCMC方法。2. 为什么需要MCMC?假如我们需要

- 阅读全文 -

LSTM神经网络之前向反向传播算法

上篇文章我们已经学习了循环神经网络的原理,并指出RNN存在严重的梯度爆炸和梯度消失问题,因此很难处理长序列的数据。本篇文章,我们将学习长短期记忆网络(LSTM,Long Short Term Memory),看LSTM解决RNN所带来的梯度消失和梯度爆炸问题。1.从RNN到LSTMRNN模型具有如下所示的结构,其中每个索引位置t都有一个隐藏状态$h^{(t)}$。如果省略每层的$o^{(t)},L

- 阅读全文 -

循环神经网络之前向反向传播算法

前面我们已经介绍了深度神经网络和卷积神经网络,这些算法都是前向反馈,模型的输出和模型本身没有关联关系。今天我们学习输出和模型间有反馈的神经网络,循环神经网络(Recurrent Neual Networks),其广泛应用于自然语言处理中的语音识别,书写识别和机器翻译等领域。1.RNN简介前面介绍的DNN和CNN之中,训练样本的输入和输出都是确定的。但对于训练样本输入是连续的序列,训练样本长度不同的

- 阅读全文 -

卷积神经网络之反向传播算法

前面已经推导学习了卷积神经网络之前向传播算法,本篇文章将推导卷积神经网络之反向传播算法。在学习卷积神经网络算法之前,希望你对深度神经网络有一定程度的了解,我在之前也有写过相关的文章,包括深度神经网络之前向传播算法、深度神经网络之反向传播算法、深度神经网络之损失函数和激活函数、深度神经网络之正则化,可以先看一下再学习卷积神经网络。1.DNN反向传播算法学习CNN(卷积神经网络)反向传播算法之前,我们

- 阅读全文 -

卷积神经网络之前向传播算法

title: 卷积神经网络之前向传播算法date: 2018-10-14 16:35:28tags: [机器学习,深度学习,算法]categories: 深度学习mathjax: true0.杂谈本来个人是准备毕业直接工作的,但前段时间学校保研大名单出来之后,发现本人有保研机会,于是就和主管请了几天假,回学校准备保研的事情。经过两天的准备,也是非常幸运,成功拿到本院的保研名额。明确得到保研名额的时

- 阅读全文 -

深度神经网络之正则化

1.正则化之前介绍的文章之中,我们已多次接触到正则化方法,但没有详细的解释为什么要正则化,什么是正则化,以及L1正则化和L2正则化的区别。本次文章之中,我们将详解机器学习中正则化的概念和深度神经网络中的正则化方法。1.1 为什么要正则化?讲到为什么需要正则化,就需要了解什么是过拟合问题。以下面图片为例,我们能够看到有两个类别,其中以X代表男生,O代表女生。我们想要通过学习来得到分类曲线,其中分类曲

- 阅读全文 -

最新文章

最近回复

  • 谓之小一: 需要安装neo4j的。
  • kunji: 云服务器上只要安装Anaconda3吗?我用的是neo4j存储知...
  • 小林: 你的问题应该在于xxx.owl文件没有进行对应的修改
  • fushengwuyu: 博主你好,看了你的教程,收益良多,十分感谢。有个小问题,我启动f...
  • 谓之小一: 你好,我以前在ubuntu上也遇见过这个问题. 解决办法貌似是为...
  • walle: 您好,使用D2RQ(win10)时: 错误: 找不到或无法加载...
  • manyangyang: json2mysql部分有一些数据导入不到sql中,数据库中有些...
  • manyangyang: json2mysql部分有一些数据导入不到sql中,数据库中有些...
  • manyangyang: json2mysql部分有一些数据导入不到sql中,数据库中有些...
  • 谓之小一: 你好,所有代码都放在https://github.com/wei...

分类

标签

归档

其它