scikit-learn 的 KNN 如何计算概率估计？

Question

scikit learn中KNN算法的实现如何计算predict_proba(X)方法的概率估计？

Answer 1

以下示例摘自 sklearn 文档，但稍作修改，以便您了解我们在这种情况下所做的事情，有关更多详细信息，请参见： https://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsClassifier.html 假设我们有 6 个点，它们是 class 0 或 class 1:

#import libraries
from sklearn.neighbors import KNeighborsClassifier
# Data
X = [[5,5], [3,3],[4,4.5], [8,9.3], [8,9.1],[10,15]]
y = [0, 0,0, 1, 1,1]
#  Define the knn and fit the model
neigh = KNeighborsClassifier(n_neighbors=4)
neigh.fit(X, y)
# Examples
# Print the probabilities 0 and 1 respecetively
print('Predict probabilities of 0 and 1 ',neigh.predict_proba([[4,4]]))
# Print the probabilities of 0 and 1 
print('Predict probabilities of 0 and 1 ',neigh.predict_proba([[10,12]]))

你基本上是在说好的，我们有 n_neighbors=4，所以离点 [4,4] 最近的四个点是：class 的 3 个和 class 的 1 个 1 因此你有 3/4 = 0.75 是 class 1 和 1/4 =0.25 是 class 两个（这是第一次打印）。请注意，如果您设置 n_neighbors=3 并拟合模型，您将得到点 [4,4] 的三个最接近的元素 x 为 class 0，因此概率将为 [1,0] （3/3 = 1 是 class 1 和 0/3 = 0 是 class 0）可能出现的一个问题是：他们如何定义一个点靠近另一个点？好吧，在文档中说他们默认使用 p = 2 的 minkowski 距离，这相当于计算 [4,4] 和训练数据中每个点之间的欧几里德距离（参见 https://en.wikipedia.org/wiki/Minkowski_distance）

scikit-learn 的 KNN 如何计算概率估计？

How does scikit-learn's KNN calculate the probability estimates?

python

knn

scikit-learn