序列推理的深度学习
Deep learning for inferences in sequences
我想使用深度学习技术来执行比隐马尔可夫模型（一种浅层模型）更好的推理任务？我想知道什么是最先进的深度学习模型来取代隐马尔可夫模型 (HMM)？该设置是半监督的。训练数据 X(t),Y(t) 是一个时间序列，具有显着的时间相关性。此外，还有大量未标记的数据，即只有 X(t) 而没有 Y(t)。在阅读了许多论文之后，我缩小了以下模型 -> Conditionally Restricted Boltzmann Machines（Ilya Sustkever MS 论文）并使用 Deep Belief Networks 进行无监督预训练（或使用变分自编码器进行预训练）。我是这个领域的新手，想知道这些技术是否过时了。
"I was wondering what is the state-of-the art deep learning model to replace Hidden Markov Models (HMM)"
目前，基于 RNN（递归神经网络）和 LSTM（长短期记忆）的 DNN 是最先进的。它们是从命名实体识别 (https://www.quora.com/What-is-the-current-state-of-the-art-in-Named-Entity-Recognition-NER/answer/Rahul-Vadaga), Parsing (https://arxiv.org/pdf/1701.00874.pdf) to Machine Translation (https://arxiv.org/pdf/1609.08144.pdf) 开始的许多排序问题的最佳选择。
这些 DNN 也称为序列模型（例如 seq2seq，其中输入和输出都是类似机器翻译的序列）
"unsupervised pretraining"
预训练不再那么流行（对于受监督的 ML 问题），因为你可以使用并行化的随机重启来获得相同的结果，因为你现在有更多（更便宜）的 CPU。
[后面添加了以下内容]
最近的一篇论文（Optimal Hyperparameters for Deep LSTM-Networks for Sequence Labeling Tasks
Nils Reimers 和 Iryna Gurevych）对常见 NLP 任务的各种 seq2seq 进行了很好的比较：https://arxiv.org/pdf/1707.06799.pdf
绝对值得一读。
我想使用深度学习技术来执行比隐马尔可夫模型（一种浅层模型）更好的推理任务？我想知道什么是最先进的深度学习模型来取代隐马尔可夫模型 (HMM)？该设置是半监督的。训练数据 X(t),Y(t) 是一个时间序列，具有显着的时间相关性。此外，还有大量未标记的数据，即只有 X(t) 而没有 Y(t)。在阅读了许多论文之后，我缩小了以下模型 -> Conditionally Restricted Boltzmann Machines（Ilya Sustkever MS 论文）并使用 Deep Belief Networks 进行无监督预训练（或使用变分自编码器进行预训练）。我是这个领域的新手，想知道这些技术是否过时了。
"I was wondering what is the state-of-the art deep learning model to replace Hidden Markov Models (HMM)"
目前，基于 RNN（递归神经网络）和 LSTM（长短期记忆）的 DNN 是最先进的。它们是从命名实体识别 (https://www.quora.com/What-is-the-current-state-of-the-art-in-Named-Entity-Recognition-NER/answer/Rahul-Vadaga), Parsing (https://arxiv.org/pdf/1701.00874.pdf) to Machine Translation (https://arxiv.org/pdf/1609.08144.pdf) 开始的许多排序问题的最佳选择。 这些 DNN 也称为序列模型（例如 seq2seq，其中输入和输出都是类似机器翻译的序列）
"unsupervised pretraining"
预训练不再那么流行（对于受监督的 ML 问题），因为你可以使用并行化的随机重启来获得相同的结果，因为你现在有更多（更便宜）的 CPU。
[后面添加了以下内容]
最近的一篇论文（Optimal Hyperparameters for Deep LSTM-Networks for Sequence Labeling Tasks Nils Reimers 和 Iryna Gurevych）对常见 NLP 任务的各种 seq2seq 进行了很好的比较：https://arxiv.org/pdf/1707.06799.pdf
绝对值得一读。