线性回归分类器中的收敛和正则化
Convergence and regularization in linear regression classifier
我正在尝试使用逻辑回归对从 2 个点集 (类 y (-1, 1)) 中提取的数据实施二元分类器。如下所示，我们可以使用参数 a 来防止过拟合。
现在我不确定，如何为 a 选择 "good" 值。
我不确定的另一件事是如何为此类问题选择 "good" 收敛准则。
'a'
的值
选择 "good" 事物是一种元回归：为 a 选择任何看起来合理的值。 运行 回归。将 a 的值按 3 倍放大和缩小再试一次。如果其中任何一个比原来的效果更好，请在那个方向尝试另一个 3 倍——但将它从 9 倍四舍五入到 10 倍可读性。
你明白了......玩它直到你进入正确的范围。除非您 真的 试图优化结果，否则您可能不需要将其缩小到比 3 更接近的范围。
数据集分区
ML 的人花了很多话来分析最佳拆分。最佳拆分在很大程度上取决于您的数据 space。作为全局启发式，使用一半或更多用于训练；其余的，不超过一半用于测试，其余用于验证。例如，50:20:30 是 train:test:validate.
的可行近似值
同样，你可以稍微玩一下这个……除了任何 true 错误率测试将是全新的数据。
收敛
这在很大程度上取决于最佳解决方案附近以及局部低梯度区域附近的经验误差 space 的特征。
首先要考虑的是选择一个可能是凸的并且没有平坦区域的误差函数。第二个是对所需解决方案区域中梯度的大小有一些感觉（规范化数据将有助于此）；用它来帮助选择收敛半径；您可能也想在这里玩 3 倍缩放比例。最后一个是调整学习率，以便将其缩放到标准化数据。
这些有帮助吗？
我正在尝试使用逻辑回归对从 2 个点集 (类 y (-1, 1)) 中提取的数据实施二元分类器。如下所示，我们可以使用参数 a 来防止过拟合。
现在我不确定，如何为 a 选择 "good" 值。 我不确定的另一件事是如何为此类问题选择 "good" 收敛准则。
'a'
的值选择 "good" 事物是一种元回归：为 a 选择任何看起来合理的值。 运行 回归。将 a 的值按 3 倍放大和缩小再试一次。如果其中任何一个比原来的效果更好，请在那个方向尝试另一个 3 倍——但将它从 9 倍四舍五入到 10 倍可读性。
你明白了......玩它直到你进入正确的范围。除非您 真的 试图优化结果，否则您可能不需要将其缩小到比 3 更接近的范围。
数据集分区
ML 的人花了很多话来分析最佳拆分。最佳拆分在很大程度上取决于您的数据 space。作为全局启发式，使用一半或更多用于训练；其余的，不超过一半用于测试，其余用于验证。例如，50:20:30 是 train:test:validate.
的可行近似值同样，你可以稍微玩一下这个……除了任何 true 错误率测试将是全新的数据。
收敛
这在很大程度上取决于最佳解决方案附近以及局部低梯度区域附近的经验误差 space 的特征。
首先要考虑的是选择一个可能是凸的并且没有平坦区域的误差函数。第二个是对所需解决方案区域中梯度的大小有一些感觉（规范化数据将有助于此）；用它来帮助选择收敛半径；您可能也想在这里玩 3 倍缩放比例。最后一个是调整学习率，以便将其缩放到标准化数据。
这些有帮助吗？