计算拍摄监视器的像素坐标
computation of a pixel coordinates of a photographed monitor
有谁知道如何通过分析显示器的图片来计算显示器上的按钮或图像的 x、y 坐标？
我的笔记本电脑的网络摄像头面向工作计算机的显示器，因此通过网络摄像头拍摄的照片将捕获数据库条目以及 phone 系统。我需要根据显示器的图片计算这些显示器上元素的坐标，以便我可以将坐标发送到微处理器，微处理器进而以编程方式控制键盘和鼠标。
有人知道如何在 python 中执行此操作吗？
这种类型的问题称为“对象检测”，通常通过训练 ML 模型在您感兴趣的对象周围绘制边界框来解决。该训练通常涉及在您所在的位置提供模型示例图像手动绘制边界框和一些反例，其中监视器 and/or 按钮不存在。
在您的情况下，您可能想要检测显示器，然后检测您要查找的按钮。通过从按钮中减去显示器的坐标，您将获得按钮在屏幕上的非常近似的 x,y 位置。
也就是说，这种方法可能非常脆弱且容易出错。如果可以将视频输出直接发送到监视器（可能使用分离器），那将为您提供更好的数据。
有谁知道如何通过分析显示器的图片来计算显示器上的按钮或图像的 x、y 坐标？
我的笔记本电脑的网络摄像头面向工作计算机的显示器，因此通过网络摄像头拍摄的照片将捕获数据库条目以及 phone 系统。我需要根据显示器的图片计算这些显示器上元素的坐标，以便我可以将坐标发送到微处理器，微处理器进而以编程方式控制键盘和鼠标。
有人知道如何在 python 中执行此操作吗？
这种类型的问题称为“对象检测”，通常通过训练 ML 模型在您感兴趣的对象周围绘制边界框来解决。该训练通常涉及在您所在的位置提供模型示例图像手动绘制边界框和一些反例，其中监视器 and/or 按钮不存在。
在您的情况下，您可能想要检测显示器，然后检测您要查找的按钮。通过从按钮中减去显示器的坐标，您将获得按钮在屏幕上的非常近似的 x,y 位置。
也就是说，这种方法可能非常脆弱且容易出错。如果可以将视频输出直接发送到监视器（可能使用分离器），那将为您提供更好的数据。