hmmlearn中的HMM模型是如何识别隐藏状态的

How does the HMM model in hmmlearn identifies the hidden states

我是隐马尔可夫模型的新手,为了试验它,我正在研究 sunny/rainy/foggy 天气情况,基于对携带或未携带雨伞的人的观察,借助 [= "test 1" 的 13=] 个文件)。

我创建了下面显示的简单代码以从测试数据中拟合无监督 HMM,然后将预测与预期输出进行比较。结果 看起来 相当不错(10 个正确预测中有 7 个)。

我的问题是:我怎么知道模型处理的隐藏状态到问题域中真实状态的映射? (换句话说,我如何将响应与我的问题域的所需状态联系起来?)

这可能是一个非常幼稚的问题,但如果模型受到监督,我会理解映射是我在为拟合方法提供 Y 值时给出的...但我就是无法弄清楚如何它在这种情况下有效。

代码:

import numpy as np
from hmmlearn import hmm

# Load the data from a CSV file
data = np.genfromtxt('training-data.csv', skip_header=1, delimiter=',',
                         dtype=str)

# Hot encode the 'yes' and 'no' categories of the observation
# (i.e. seeing or not an umbrella)
x = np.array([[1, 0] if i == 'yes' else [0, 1] for i in data[:, 1]])

# Fit the HMM from the data expecting 3 hidden states (the weather on the day:
# sunny, rainy or foggy)
model = hmm.GaussianHMM(n_components=3, n_iter=100, verbose=True)
model.fit(x, [len(x)])

# Test the model
test = ['no', 'no', 'no', 'yes', 'no', 'no', 'yes', 'yes', 'no', 'yes']
x_test = np.array([[1, 0] if i == 'yes' else [0, 1] for i in test])
y_test = ['foggy', 'foggy', 'foggy', 'rainy', 'sunny', 'foggy', 'rainy', 'rainy', 'foggy', 'rainy']

y_pred = model.predict(x_test)

mp = {0: 'sunny', 1: 'rainy', 2: 'foggy'} # THIS IS MY ASSUMPTION

print('\n\n\n')

print('Expected:')
print(y_test)
print('Predicted:')
print([mp[i] for i in y_pred])

结果:

Expected:
['foggy', 'foggy', 'foggy', 'rainy', 'sunny', 'foggy', 'rainy', 'rainy', 'foggy', 'rainy']
Predicted:
['foggy', 'foggy', 'sunny', 'rainy', 'foggy', 'sunny', 'rainy', 'rainy', 'foggy', 'rainy']

My question is: how am I supposed to know the mapping of the hidden states handled by the model to the real states in the problem domain? (in other words, how do I relate the responses to the desired states of my problem domain?)

基本上你不能。事实上,您能够手工制作此映射(或者甚至它一开始就存在)只是 巧合 来自问题的极端简单性。

HMM(在这种学习场景中)试图找到最可能的(预定义数量的)隐藏状态序列,但与任何其他 无法保证 匹配的无监督学习一样无论手头的任务是什么。在给定约束条件(马尔可夫假设、隐藏状态的数量、提供的观察结果)的情况下,它只是尽可能地模拟现实——它不会神奇地检测出人们问的实际问题是什么(比如这里——天气序列),而只是简单地尝试解决它自己的内部优化问题——这是最可能的 任意定义 隐藏状态序列,这样在马尔可夫假设下(独立于旧历史),所提供的观察结果很可能出现。

一般来说,您将无法如此轻松地解释这些状态,这里的问题非常简单,只需使用上面列出的假设 - 这种(天气状态)几乎是最有可能被建模的事物.在其他问题中——它可以捕获任何有意义的东西。

如前所述 - 这不是 HMM 属性,而是任何无监督学习技术 - 当你对数据进行聚类时,你会发现 一些 数据分区,它可以有与您正在寻找的东西有某种关系 - 或者 none。同样在这里 - HMM 会找到一些动力学模型,但它可能与您所追求的完全不同。如果你知道你在寻找什么——你应该使用监督学习,这就是它的定义。无监督学习是寻找一些结构(这里是动态),而不是特定结构。