从屏幕识别和记录数据
Identifying and recording data from screen
我是编码新手，我可能会不知所措。我想编写一个程序，自动生成最佳的游戏内选择供我做出。我可以管理计算，但我需要一种方法让我的程序通过查看我的屏幕来自动识别和记录某些事情（比如损坏）。
这是我的想法：
我可以 运行 该程序，它会在屏幕上搜索值（伤害、攻击类型等）。然后它将记录这些值和 运行 计算，然后 return 我要进行的最佳攻击。
首先，我需要编写一些可以查看我的屏幕并根据屏幕截图的子部分识别值的东西。我怎样才能做到这一点？我需要 PIL 吗？
你可能想试试 pyautogui。
以下是文档中提到的一些功能：
PyAutoGUI has several features:
* Moving the mouse and clicking or typing in the windows of other applications.
* Sending keystrokes to applications (for example, to fill out forms).
* Take screenshots, and given an image (for example, of a button or checkbox), find it on the screen.
* Locate an application’s window, and move, resize, maximize, minimize, or close it (Windows-only, currently)
* Display message boxes for user interaction while your GUI automation script runs.
您可以训练卷积神经网络来寻找屏幕上的特定图像。这个 model 理论上可以识别图像中的 'damage' 数字，也可以读取文本并将图像转换为实际值。训练会有很多困难，因为您需要足够大的数据集来教您的网络识别正确的对象并将数字读入您可以处理的值。
如果您不熟悉编码，这可能会让人难以接受。我相信有更好的方法可以通过为游戏创建一个 mod 来解决这个问题，该游戏可以实际监控您的角色造成的伤害值，这比尝试让神经网络来执行此操作要容易得多。我没有创建 mods 的经验，只是机器学习的东西。
我是编码新手，我可能会不知所措。我想编写一个程序，自动生成最佳的游戏内选择供我做出。我可以管理计算，但我需要一种方法让我的程序通过查看我的屏幕来自动识别和记录某些事情（比如损坏）。
这是我的想法：
我可以 运行 该程序，它会在屏幕上搜索值（伤害、攻击类型等）。然后它将记录这些值和 运行 计算，然后 return 我要进行的最佳攻击。
首先，我需要编写一些可以查看我的屏幕并根据屏幕截图的子部分识别值的东西。我怎样才能做到这一点？我需要 PIL 吗？
你可能想试试 pyautogui。
以下是文档中提到的一些功能：
PyAutoGUI has several features:
* Moving the mouse and clicking or typing in the windows of other applications.
* Sending keystrokes to applications (for example, to fill out forms).
* Take screenshots, and given an image (for example, of a button or checkbox), find it on the screen.
* Locate an application’s window, and move, resize, maximize, minimize, or close it (Windows-only, currently)
* Display message boxes for user interaction while your GUI automation script runs.
您可以训练卷积神经网络来寻找屏幕上的特定图像。这个 model 理论上可以识别图像中的 'damage' 数字，也可以读取文本并将图像转换为实际值。训练会有很多困难，因为您需要足够大的数据集来教您的网络识别正确的对象并将数字读入您可以处理的值。
如果您不熟悉编码，这可能会让人难以接受。我相信有更好的方法可以通过为游戏创建一个 mod 来解决这个问题，该游戏可以实际监控您的角色造成的伤害值，这比尝试让神经网络来执行此操作要容易得多。我没有创建 mods 的经验，只是机器学习的东西。