在散点图上绘制隐式函数（逻辑回归中的决策边界）

Question

我正在进行逻辑回归，将 Python 中的数据分成两部分。有 28 个特征派生自 2 个原始特征，然后用于派生其他特征直到它们之间的 6 次方（例如 x_0^1x_1^5、x_0^6 等）问题是，与边界是一条线时不同，我找不到如何在散点图上绘制非线性边界。

我尝试使用 scipy.optimize 求解每个 x 处的边界方程，但结果非常不理想：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import scipy.optimize
from functools import partial

plt.scatter(data['X1'][data['Y'] == 0], data['X2'][data['Y'] == 0], c='r', marker='o')  # data points where Y==0
plt.scatter(data['X1'][data['Y'] == 1], data['X2'][data['Y'] == 1], c='b', marker='+')  # data points where Y==1
def bnd_func(x, y):  # boundary function using the 'th' parameter vector
    return th[0] + th[1]*y + th[2]*y**2 + th[3]*y**3 + th[4]*y**4 + th[5]*y**5 + th[6]*y**6 + th[7]*x + th[8]*x*y + th[9]*x*y**2 + th[10]*x*y**3 + th[11]*x*y**4 + th[12]*x*y**5 + th[13]*x**2 + th[14]*x**2*y + th[15]*x**2*y**2 + th[16]*x**2*y**3 + th[17]*x**2*y**4 + th[18]*x**3 + th[19]*x**3*y + th[20]*x**3*y**2 + th[21]*x**3*y**3 + th[22]*x**4 + th[23]*x**4*y + th[24]*x**4*y**2 + th[25]*x**5 + th[26]*x**5*y + th[27]*x**6
xs = np.linspace(-1, 1.25, 200)
xa = []; ya= [];
for x in xs:
    try:
        y = scipy.optimize.newton(partial(bnd_func, x), 0, maxiter=10000, tol=10**(-5))
    except ValueError:
        pass
    else:
        xa.append(x)
        ya.append(y)
plt.plot(xa, ya)
plt.show()

边界缺少顶部；也许我可以改变初始值，但这确实是一个不优雅的解决方案。我也尝试过使用 sympy，但我无法将散点图重叠在它上面。有什么办法可以做到这一点？如有必要，我不介意使用其他软件包。

另一个问题是，如果我改用sklearn.linear_model怎么能实现呢？我知道如何检索系数，但我仍然不确定如何用原始散点图绘制边界。

Answer 1

我改用等高线图解决了这个问题：

# Fitting
plt.scatter(data['X1'][data['Y'] == 0], data['X2'][data['Y'] == 0], c='r', marker='o')
plt.scatter(data['X1'][data['Y'] == 1], data['X2'][data['Y'] == 1], c='b', marker='+')
plt.axis('scaled')
def bnd_func(x, y):
    return th[0] + th[1]*y + th[2]*y**2 + th[3]*y**3 + th[4]*y**4 + th[5]*y**5 + th[6]*y**6 + th[7]*x + th[8]*x*y + th[9]*x*y**2 + th[10]*x*y**3 + th[11]*x*y**4 + th[12]*x*y**5 + th[13]*x**2 + th[14]*x**2*y + th[15]*x**2*y**2 + th[16]*x**2*y**3 + th[17]*x**2*y**4 + th[18]*x**3 + th[19]*x**3*y + th[20]*x**3*y**2 + th[21]*x**3*y**3 + th[22]*x**4 + th[23]*x**4*y + th[24]*x**4*y**2 + th[25]*x**5 + th[26]*x**5*y + th[27]*x**6
data_min = data.min().values
data_max = data.max().values
xax = np.arange(data_min[0], data_max[0], 0.05)
yax = np.arange(data_min[1], data_max[1], 0.05)
x_grid, y_grid = np.meshgrid(xax, yax)
zax = bnd_func(x_grid, y_grid)
z_grid = zax.reshape(x_grid.shape)
plt.contour(x_grid, y_grid, z_grid, levels = [0])
plt.show()

在散点图上绘制隐式函数（逻辑回归中的决策边界）

Plotting an implicit function on top of scatter plots (decision boundary in logistic regression)

python

plot

matplotlib

scikit-learn

logistic-regression