长短期记忆
![本页使用了标题或全文手工转换](http://images.weserv.nl/?url=//upload.wikimedia.org/wikipedia/commons/thumb/c/cd/Zh_conversion_icon_m.svg/35px-Zh_conversion_icon_m.svg.png)
机器学习与数据挖掘 |
---|
![]() |
![]() | 此条目可参照外语维基百科相应条目来扩充。 |
长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN)[1],论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。
LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上[2]。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲资料库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。
通常情况,一个LSTM单元由细胞单元(cell)、输入门(input gate)、输出门(output gate)[3]、遗忘门(forget gate)[4]组成。
历史
1997年,Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。
2014年,Kyunghyun Cho et al.发明了门控循环单元(GRU)。[5]
2016年,谷歌用LSTM进行谷歌翻译。[6] 苹果公司、微软和亚马逊公司也用LSTM生产产品,例如:iPhone[7]、Amazon Alexa[8]等。中国公司也正在用LSTM。
结构
![](http://images.weserv.nl/?url=//upload.wikimedia.org/wikipedia/commons/thumb/d/d5/Long_Short_Term_Memory.png/220px-Long_Short_Term_Memory.png)
LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网路,文献或其他资料中LSTM区块可能被描述成智慧型网路单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。
右图底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。
LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit)[10],根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate[11]。
方程
变量
- : LSTM的input(输入)
- : forget gate(遗忘阀)
- : input gate(输入阀)
- : output gate(输出阀)
- : hidden state(隐藏状态)
- : cell state(单元状态)
- 、、: 训练中的矩阵,网络学习计算元值
训练方法
为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递演算法,可用来依据错误修改每次的权重。梯度下降法在循环神经网路(RNN)中主要的问题初次在1991年发现,就是误差梯度随著事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随著倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。
Backpropagation through time、BPTT [12][13]
![](http://images.weserv.nl/?url=//upload.wikimedia.org/wikipedia/commons/thumb/8/8d/Lstm_block.svg/250px-Lstm_block.svg.png)
应用
参见
参考
- ^ S. Hochreiter and J. Schmidhuber. Long short-term memory. Neural Computation, 9(8):1735–1780, 1997.
- ^ A. Graves, M. Liwicki, S. Fernandez, R. Bertolami, H. Bunke, J. Schmidhuber. A Novel Connectionist System for Improved Unconstrained Handwriting Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, no. 5, 2009.
- ^ Hochreiter, Sepp; Schmidhuber, Juergen. LSTM can solve hard long time lag problems. Advances in Neural Information Processing Systems. 1996 [2023-07-29]. (原始内容存档于2023-03-15).
- ^ Felix A. Gers; Jürgen Schmidhuber; Fred Cummins. Learning to Forget: Continual Prediction with LSTM. Neural Computation. 2000, 12 (10): 2451–2471. CiteSeerX 10.1.1.55.5709
. PMID 11032042. S2CID 11598600. doi:10.1162/089976600300015015.
- ^ Cho, Kyunghyun; van Merrienboer, Bart; Gulcehre, Caglar; Bahdanau, Dzmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. arXiv:1406.1078 [cs, stat]. 2014-09-02 [2020-02-11]. (原始内容存档于2022-02-08).
- ^ Wu, Yonghui; Schuster, Mike; Chen, Zhifeng; Le, Quoc V.; Norouzi, Mohammad; Macherey, Wolfgang; Krikun, Maxim; Cao, Yuan; Gao, Qin. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. arXiv:1609.08144 [cs]. 2016-10-08 [2020-02-11]. (原始内容存档于2021-01-14).
- ^ [email protected]. Apple’s Machines Can Learn Too. The Information. [2020-02-11]. (原始内容存档于2021-01-15).
- ^ Bringing the Magic of Amazon AI and Alexa to Apps on AWS. - All Things Distributed. www.allthingsdistributed.com. [2020-02-11]. (原始内容存档于2019-04-01).
- ^ Klaus Greff; Rupesh Kumar Srivastava; Jan Koutník; Bas R. Steunebrink; Jürgen Schmidhuber. LSTM: A Search Space Odyssey. IEEE Transactions on Neural Networks and Learning Systems. 2015, 28 (10): 2222–2232. PMID 27411231. arXiv:1503.04069
. doi:10.1109/TNNLS.2016.2582924.
- ^ Neural Machine Translation by Jointly Learning to Align and Translate (页面存档备份,存于互联网档案馆),Cho et al. 2014年。
- ^ 递归神经网络结构经验之谈 (页面存档备份,存于互联网档案馆),2015年。
- ^ Problem Set 8. COS 485 Neural Networks: Theory and Applications. 2019-04-24 [2020-02-11] (英语).
- ^ Danqi Chen. Recurrent Neural Networks (PDF). (原始内容存档 (PDF)于2020-09-02).
- ^ Institute of Electrical and Electronics Engineers. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems : Beijing, China, 9-13 October 2006.. Piscataway, NJ: IEEE https://www.worldcat.org/oclc/812612388. 2006. ISBN 1-4244-0258-1. OCLC 812612388. 缺少或
|title=
为空 (帮助)
外部链接
- 理解LSTM网络 (页面存档备份,存于互联网档案馆),作者Christopher Olah,更新于2015年八月。
- http://people.idsia.ch/~juergen/rnn.html (页面存档备份,存于互联网档案馆)
- https://www.youtube.com/watch?v=cTqVhcrilrE&list=WL&index=51
|