从头开始逻辑回归

Question

我在 MNIST 数据集上使用梯度下降 + L2 正则化实现多项逻辑回归。我的训练数据是一个形状为 (n_samples=1198, features=65) 的数据框。在梯度下降的每次迭代中，我对权重和输入进行线性组合以获得 1198 次激活 (beta^T * X)。然后我通过 softmax 函数传递这些激活。但是，我对如何为每次激活获得超过 10 个输出类的概率分布感到困惑？

我的权重是这样初始化的

n_features = 65

# init random weights
beta = np.random.uniform(0, 1, n_features).reshape(1, -1)

这是我当前的实现。

def softmax(x:np.ndarray): 
    exps = np.exp(x)
    return exps/np.sum(exps, axis=0)

def cross_entropy(y_hat:np.ndarray, y:np.ndarray, beta:np.ndarray) -> float:
    """
    Computes cross entropy for multiclass classification  
    y_hat: predicted classes, n_samples x n_feats
    y: ground truth classes, n_samples x 1
    """
    n = len(y)
    return - np.sum(y * np.log(y_hat) + beta**2 / n)

    
def gd(X:pd.DataFrame, y:pd.Series, beta:np.ndarray,
       lr:float, N:int, iterations:int) -> (np.ndarray,np.ndarray):
    
    """
    Gradient descent
    """
    n = len(y)
    cost_history = np.zeros(iterations)
    
    for it in range(iterations):
        
        activations = X.dot(beta.T).values
        
        y_hat = softmax(activations)
                
        cost_history[it] = cross_entropy(y_hat, y, beta)
                
        # gradient of weights
        grads = np.sum((y_hat - y) * X).values
        
        # update weights
        beta = beta - lr * (grads + 2/n * beta)
        
    return beta, cost_history

Answer 1

在多项逻辑回归中，您需要一组单独的参数（您的情况下的像素权重）每个class.然后，实例属于某个 class 的概率被估计为该 class 实例得分的 softmax 函数。 softmax 函数确保所有 classes.

的估计概率总和为 1

从头开始逻辑回归

Logistic regression from scratch

python

numpy

machine-learning

logistic-regression