Python 鼠标点击游戏（直接输入）

Question

我搜索了很多directx游戏的模拟鼠标点击和移动。我找到了一个关于按键的好资源，但没有找到关于鼠标的资源。实际上有一个关于直接输入按键的很好的 Whosebug 主题 (Simulate Python keypresses for controlling a game)。但是我没有足够的经验来让它在特定位置点击鼠标。

我尝试了很多 python 模块，例如 pyautogui、win32 等。它们都不起作用。即使我试图通过将参数发送到“.ahk”文件来通过 autohotkey 单击它，但它不稳定，也不是一个好方法。我会感谢每一条评论。我只为这个点击工作了 2 天，我完全迷路了。谢谢！

我从 reddit 上找到了这段代码，用于游戏中的点击，但它也不起作用。

import ctypes

PUL = ctypes.POINTER(ctypes.c_ulong)

class KeyBdInput(ctypes.Structure):
    _fields_ = [("wVk", ctypes.c_ushort),
                ("wScan", ctypes.c_ushort),
                ("dwFlags", ctypes.c_ulong),
                ("time", ctypes.c_ulong),
                ("dwExtraInfo", PUL)]


class HardwareInput(ctypes.Structure):
    _fields_ = [("uMsg", ctypes.c_ulong),
                ("wParamL", ctypes.c_short),
                ("wParamH", ctypes.c_ushort)]


class MouseInput(ctypes.Structure):
    _fields_ = [("dx", ctypes.c_long),
                ("dy", ctypes.c_long),
                ("mouseData", ctypes.c_ulong),
                ("dwFlags", ctypes.c_ulong),
                ("time", ctypes.c_ulong),
                ("dwExtraInfo", PUL)]


class Input_I(ctypes.Union):
    _fields_ = [("ki", KeyBdInput),
                ("mi", MouseInput),
                ("hi", HardwareInput)]

class Input(ctypes.Structure):
    _fields_ = [("type", ctypes.c_ulong),
                ("ii", Input_I)]

def set_pos(x, y):
    x = 1 + int(x * 65536./1920.)
    y = 1 + int(y * 65536./1080.)
    extra = ctypes.c_ulong(0)
    ii_ = Input_I()
    ii_.mi = MouseInput(x, y, 0, (0x0001 | 0x8000), 0, ctypes.pointer(extra))
    command = Input(ctypes.c_ulong(0), ii_)
    ctypes.windll.user32.SendInput(1, ctypes.pointer(command), ctypes.sizeof(command))

def left_click():
    extra = ctypes.c_ulong(0)
    ii_ = Input_I()
    ii_.mi = MouseInput(0, 0, 0, 0x0002, 0, ctypes.pointer(extra))
    x = Input(ctypes.c_ulong(0), ii_)
    ctypes.windll.user32.SendInput(1, ctypes.pointer(x), ctypes.sizeof(x))

    extra = ctypes.c_ulong(0)
    ii_ = Input_I()
    ii_.mi = MouseInput(0, 0, 0, 0x0004, 0, ctypes.pointer(extra))
    x = Input(ctypes.c_ulong(0), ii_)
    ctypes.windll.user32.SendInput(1, ctypes.pointer(x), ctypes.sizeof(x))

left_click() 功能正在运行，但单击适用于所有模块我需要的是 set_pos() 才能运行，但不幸的是它不是。

Answer 1

对于 Directx 游戏，您必须自行测试，如果直接输入有效。

但是使用 pywinauto 包你可以模拟鼠标点击和鼠标移动。

看看pywinauto.mouse

要为 python 27 安装 pywinauto 包，你可以使用这个 bat 文件。

安装-Pywinauto.bat

C:\Python27\scripts\pip.exe install pywinauto
pause

现在你准备好了。

鼠标左键-click.py

import pywinauto
pywinauto.mouse.click(button='left', coords=(0, 0))

鼠标左键-Click.py

import pywinauto
pywinauto.mouse.double_click(button='left', coords=(0, 0))

如果与AutoPytonLauncher

一起使用

您可以单击桌面上的 3d 按钮图像来发送任何 键盘快捷键宏的 或 鼠标点击 或 鼠标移动 到 Windows 应用程序或游戏。 （没有失去焦点的活动 Windows。）

Answer 2

我做了很多研究并找到了 pyautoit 模块。它真的很棒而且易于使用。我认为它只适用于 32 位 python 我无法将它安装到 64 位版本。您也应该安装 autoitx3，但我不确定它是否可以只使用一个 dll。安装 autoitx3 和 pyautoit 模块后，您可以使用此示例代码：

import autoit
import time

time.sleep(2)
#"left" stand for left click, 1243 and 1035 is x and y coordinates and 1 is number of clicks.
autoit.mouse_click("left", 1243, 1035, 1)

Answer 3

def move(x=None, y=None, duration=0.25, absolute=True, interpolate=False, **kwargs):

    if (interpolate):
        print("mouse move {}".format(interpolate))
        current_pixel_coordinates = win32api.GetCursorPos()
        if interpolate:
            current_pixel_coordinates = win32api.GetCursorPos()
            start_coordinates = _to_windows_coordinates(*current_pixel_coordinates)

            end_coordinates = _to_windows_coordinates(x, y)
            print("In interpolate")
            coordinates = _interpolate_mouse_movement(
                start_windows_coordinates=start_coordinates,
                end_windows_coordinates=end_coordinates
            )
            print(coordinates)
        else:
            coordinates = [end_coordinates]

        for x, y in coordinates:
            extra = ctypes.c_ulong(0)
            ii_ = Input_I()
            ii_.mi = MouseInput(x, y, 0, (0x0001 | 0x8000), 0, ctypes.pointer(extra))
            x = Input(ctypes.c_ulong(0), ii_)
            ctypes.windll.user32.SendInput(1, ctypes.pointer(x), ctypes.sizeof(x))

            time.sleep(duration / len(coordinates))
    else:
        x = int(x)
        y = int(y)

        coordinates = _interpolate_mouse_movement(
            start_windows_coordinates=(0, 0),
            end_windows_coordinates=(x, y)
        )

        for x, y in coordinates:
            extra = ctypes.c_ulong(0)
            ii_ = Input_I()
            ii_.mi = MouseInput(x, y, 0, 0x0001, 0, ctypes.pointer(extra))
            x = Input(ctypes.c_ulong(0), ii_)
            ctypes.windll.user32.SendInput(1, ctypes.pointer(x), ctypes.sizeof(x))

            time.sleep(duration / len(coordinates))


def _to_windows_coordinates(x=0, y=0):
    display_width = win32api.GetSystemMetrics(0)
    display_height = win32api.GetSystemMetrics(1)

    windows_x = (x * 65535) // display_width
    windows_y = (y * 65535) // display_height

    return windows_x, windows_y

def _interpolate_mouse_movement(start_windows_coordinates, end_windows_coordinates, steps=20):
    x_coordinates = [start_windows_coordinates[0], end_windows_coordinates[0]]
    y_coordinates = [start_windows_coordinates[1], end_windows_coordinates[1]]

    if x_coordinates[0] == x_coordinates[1]:
        x_coordinates[1] += 1

    if y_coordinates[0] == y_coordinates[1]:
        y_coordinates[1] += 1

    interpolation_func = scipy.interpolate.interp1d(x_coordinates, y_coordinates)

    intermediate_x_coordinates = np.linspace(start_windows_coordinates[0], end_windows_coordinates[0], steps + 1)[1:]
    coordinates = list(map(lambda x: (int(round(x)), int(interpolation_func(x))), intermediate_x_coordinates))

将此代码附加到您的代码并使用 move(x,y) 调用它。这是 link 到完整代码 https://github.com/SerpentAI/SerpentAI/blob/dev/serpent/input_controllers/native_win32_input_controller.py 此外，它可能有助于运行 python 具有管理权限

Python 鼠标点击游戏（直接输入）

Python Mouse Click For Game (Direct Input)

python

directx

directinput