Python 异常检测 (Pyod) 未收敛
Python Anomaly Detection (Pyod) is not converging
我正在试验 PYOD 使用 CBLOF 进行异常检测。我无法使用此算法标记异常。我发现当我 运行 CBLOF 算法时它抛出以下错误:
ValueError:缓冲区 dtype 不匹配,预期 'INT' 但得到 'long long'
异常被忽略:'sklearn.cluster._k_means._assign_labels_csr'
ValueError:缓冲区 dtype 不匹配,预期 'INT' 但得到 'long long'
这导致:
ValueError:无法形成有效的簇分离。请更改 n_clusters 或更改聚类方法
CBLOF 算法似乎依赖于 sklearn.cluster,并且从 pyod 传递给 skelearn 的预期数据类型不是预期的。
以下是我为 CBLOF 使用不同参数准备的四个场景。请注意,无论更改这些参数如何,都会抛出相同的错误。
我也尝试过使用肘部法改变簇大小来找到 Kmeans 场景中的最优 K。
示例代码:
from pyod.models.cblof import CBLOF
import pyod.utils as ut
from sklearn import cluster
#create some data
data = ut.data.generate_data()[0]
#scenario 1 - use default CBLOF parameters
model = CBLOF()
clusters = model.fit_predict(data)
#scenario 2 - use kmeans as a centroid estimator
n_clusters = 3
kmeans = cluster.KMeans(n_clusters)
model = CBLOF(n_clusters = n_clusters, clustering_estimator = kmeans)
clusters = model.fit_predict(data)
#test if scaling the data makes a difference
data_scaled = (data - data.min())/(data.max()-data.min())
#scenario 3 - no clusters specified, use defaults, scaled data
model = CBLOF()
clusters = model.fit_predict(data_scaled)
#scenario 4 - use kmeans as a centroid estimator, scaled data
n_clusters
kmeans = cluster.KMeans(n_clusters)
model = CBLOF(n_clusters = n_clusters, clustering_estimator = kmeans)
clusters = model.fit_predict(data_scaled)
我使用的所有包都是最新的,我也尝试过在我的输入数组中使用不同的数据类型。
为什么会抛出这些错误?
是否可以直接在 https://github.com/yzhao062/pyod/issues 上打开问题报告,以便我们跟踪正在发生的事情?
可能需要一些调查:)
问题是由于 sklearn 和 PyOD 没有更新。
我正在试验 PYOD 使用 CBLOF 进行异常检测。我无法使用此算法标记异常。我发现当我 运行 CBLOF 算法时它抛出以下错误:
ValueError:缓冲区 dtype 不匹配,预期 'INT' 但得到 'long long'
异常被忽略:'sklearn.cluster._k_means._assign_labels_csr' ValueError:缓冲区 dtype 不匹配,预期 'INT' 但得到 'long long'
这导致:
ValueError:无法形成有效的簇分离。请更改 n_clusters 或更改聚类方法
CBLOF 算法似乎依赖于 sklearn.cluster,并且从 pyod 传递给 skelearn 的预期数据类型不是预期的。
以下是我为 CBLOF 使用不同参数准备的四个场景。请注意,无论更改这些参数如何,都会抛出相同的错误。
我也尝试过使用肘部法改变簇大小来找到 Kmeans 场景中的最优 K。
示例代码:
from pyod.models.cblof import CBLOF
import pyod.utils as ut
from sklearn import cluster
#create some data
data = ut.data.generate_data()[0]
#scenario 1 - use default CBLOF parameters
model = CBLOF()
clusters = model.fit_predict(data)
#scenario 2 - use kmeans as a centroid estimator
n_clusters = 3
kmeans = cluster.KMeans(n_clusters)
model = CBLOF(n_clusters = n_clusters, clustering_estimator = kmeans)
clusters = model.fit_predict(data)
#test if scaling the data makes a difference
data_scaled = (data - data.min())/(data.max()-data.min())
#scenario 3 - no clusters specified, use defaults, scaled data
model = CBLOF()
clusters = model.fit_predict(data_scaled)
#scenario 4 - use kmeans as a centroid estimator, scaled data
n_clusters
kmeans = cluster.KMeans(n_clusters)
model = CBLOF(n_clusters = n_clusters, clustering_estimator = kmeans)
clusters = model.fit_predict(data_scaled)
我使用的所有包都是最新的,我也尝试过在我的输入数组中使用不同的数据类型。
为什么会抛出这些错误?
是否可以直接在 https://github.com/yzhao062/pyod/issues 上打开问题报告,以便我们跟踪正在发生的事情?
可能需要一些调查:)
问题是由于 sklearn 和 PyOD 没有更新。