如何向高管证明预测模型的可靠性？
How to prove the reliability of a predictive model to executives?
我训练了 500 台设备的数据来预测它们的性能。然后，我将经过训练的模型应用于另外 500 台设备的测试数据集，并显示出相当不错的预测结果。现在我的主管要我证明这个模型可以在 100 万台设备上运行良好，而不仅仅是 500 台。显然我们没有 100 万台设备的数据。如果模型不可靠，他们希望我发现所需的训练数据量，以便在一百万台设备上做出可靠的预测。我应该如何与这些没有统计分析和建模背景的高管打交道？有什么建议么？谢谢
我已建议@cep 将他的评论写下来作为答案 - 包括提供 variance 和 bias 计算。无论如何都可以添加
"Do not be quick to assume Execs are essentially incapable in terms of
technical or mathematical concepts"
虽然那里可能有 Dilbert 经理.. 某处 我自己很少见到他们。更多的时候，管理者是通过努力工作到达他们的位置的。它们可能会生锈 - 但功能可能仍然存在。
在这种情况下，无论他们是否"background in statistical analysis and modeling"他们都在运用常识。
您可能做的第一件事是提供适当的上下文和术语。 @cel 提到了其中的一些：为 :
提供具体值
- 假设
- 您对数据做了哪些假设。
- 有限的数据有什么依据可以考虑外推
- 为什么应该相信外推结果适用于 99.5% 的未测试数据
- 数据分布
- 基本描述性统计
- 您对数据的先验分布的看法。证明你选择它的理由
- 建模
- 考虑了哪些 models/approaches 以及为什么
- 您实际选择了哪个型号以及为什么
- 你是如何得出超参数的
- 你是如何训练模型的
- 结果
- 拟合和错误率的统计测量
我训练了 500 台设备的数据来预测它们的性能。然后，我将经过训练的模型应用于另外 500 台设备的测试数据集，并显示出相当不错的预测结果。现在我的主管要我证明这个模型可以在 100 万台设备上运行良好，而不仅仅是 500 台。显然我们没有 100 万台设备的数据。如果模型不可靠，他们希望我发现所需的训练数据量，以便在一百万台设备上做出可靠的预测。我应该如何与这些没有统计分析和建模背景的高管打交道？有什么建议么？谢谢
我已建议@cep 将他的评论写下来作为答案 - 包括提供 variance 和 bias 计算。无论如何都可以添加
"Do not be quick to assume Execs are essentially incapable in terms of technical or mathematical concepts"
虽然那里可能有 Dilbert 经理.. 某处 我自己很少见到他们。更多的时候，管理者是通过努力工作到达他们的位置的。它们可能会生锈 - 但功能可能仍然存在。
在这种情况下，无论他们是否"background in statistical analysis and modeling"他们都在运用常识。
您可能做的第一件事是提供适当的上下文和术语。 @cel 提到了其中的一些：为 :
提供具体值- 假设
- 您对数据做了哪些假设。
- 有限的数据有什么依据可以考虑外推
- 为什么应该相信外推结果适用于 99.5% 的未测试数据
- 数据分布
- 基本描述性统计
- 您对数据的先验分布的看法。证明你选择它的理由
- 建模
- 考虑了哪些 models/approaches 以及为什么
- 您实际选择了哪个型号以及为什么
- 你是如何得出超参数的
- 你是如何训练模型的
- 结果
- 拟合和错误率的统计测量