程序员经验分享-hwhale

Python制作模拟按键摘录，pyautogui库及该库在某些窗口不生效的问题部分解决措施（PyDirectInput库、winio驱动级模拟）

2023-10-26

一、使用pyautogui库

原文出处：https://blog.csdn.net/qq_61260911/article/details/129885971

1、安装pyautogui库

安装pyautogui库，可以通过pip命令安装：

pip install pyautogui

安装完成后，就可以开始使用pyautogui库了。

2、导入并在py中使用

(1) 导包

import pyautogui

pyautogui.typewrite('Hello world!')

上述代码将模拟键盘输入“Hello world!”。

（2）基本鼠标控制

PyAutoGUI可以模拟鼠标的点击和移动。以下是一些基本操作：
moveTo(x, y)：将鼠标移动到屏幕上的指定位置。
click(x=None, y=None, button=‘left’)：在指定位置单击鼠标左键、右键或中键。
doubleClick(x=None, y=None, button=‘left’)：在指定位置双击鼠标左键、右键或中键。
rightClick(x=None, y=None)：在指定位置单击鼠标右键。
middleClick(x=None, y=None)：在指定位置单击鼠标中键。
dragTo(x, y, duration=0.5)：将鼠标拖动到指定位置。’

例如：

# 将鼠标移动到屏幕中央
pyautogui.moveTo(pyautogui.size()[0]/2, pyautogui.size()[1]/2)
# 在屏幕中央单击鼠标左键
pyautogui.click()

获取鼠标当前位置坐标

x, y = pyautogui.position()
print(f"鼠标当前位置：{x}, {y}")

（3）基本键盘控制

typewrite(message, interval=0.1)：将字符串输入到键盘，可以设置键入每个字符的时间间隔。
press(key)：按下指定的键。
release(key)：释放指定的键。
hotekey(‘ctrl’,key):：按下组合键

例如：

pyautogui.press('a')
# 模拟释放键盘的A键
pyautogui.release('a')
#组合键
pyautogui.hotkey('ctrl','v')

（4）屏幕截图

该包还包含截取图像操作，具体使用如下。

screenshot()：截取屏幕上的图像，并返回PIL图像对象。

# 截取整个屏幕
screenshot = pyautogui.screenshot()
# 截取指定范围
imag=pyautogui.screenshot(region=(0, 0, 300, 400))#（x,y,w,h）4个点的位置

（5）图片位置识别

PyAutoGUI可以识别图片所在的位置.

img_path='location.png'
location=pyautogui.locateOnScreen(img_path)
print(location)

但是很多时候图片识别不到，返回None，这个时候就要对识别参数进行设置
confidence 是一个可选参数，表示搜索图像时所需的置信度或准确度。它是一个介于0到1之间的浮点数，表示函数在搜索图像时所需的匹配准确度。值越高，匹配准确度就越高，但搜索速度可能会变慢。值越低，则匹配准确度可能会降低，但搜索速度会更快。

例如，当设置confidence为0.5时，函数将会搜索与给定图像相匹配的区域，并且只有当置信度大于等于0.5时，函数才会返回该区域的位置。因此，confidence的值可以影响函数的性能和准确性，取决于您所需要的搜索结果的精度和速度。

pyautogui.locateOnScreen(confidence=0.5)

3、存在问题

（1）pyautogui库在某些游戏窗口中可能不生效的问题，可尝试第二章方式。
（2）在某些窗口键盘操作需要以管理员运行py脚本。

二、 使用PyDirectInput库解决某些游戏窗口不生效的问题

原文链接：https://learncodebygaming.com/blog/pyautogui-not-working-use-directinput

那么为什么 PyAutoGUI 不适用于某些视频游戏呢？在 Windows 上，PyAutoGUI 使用稍旧的、略微弃用的 Windows API 来模拟鼠标和键盘输入。通常这很好，但是当您与大量使用 DirectX 的程序交互时，就像大多数 3D 视频游戏一样，您可能会遇到问题。如果您不知道 DirectX 是什么，它只是由 Microsoft 编写的库和 API 的集合，用于简化视频游戏开发。它非常成功，这基本上就是 Windows 主导 PC 游戏的原因。 DirectX 的子集之一是 DirectInput。 DirectInput 基本上是视频游戏开发人员在处理游戏的用户输入时使用的更简单、更强大的界面。很多时候，游戏开发者会选择只支持 DirectInput，因为它的开发较少而且玩家不太可能注意到。

因此，为了解决我们遇到的问题，我们只需要让 PyAutoGUI 使用 DirectInput Windows API，而不是它当前使用的 API。所以我写了一个 Python 包来做到这一点。我称它为 PyDirectInput。为了准确了解 PyAutoGUI
做错了什么，以及我的库如何修复它，让我向您阅读 README 的开头段落，然后我将向您展示如何在实践中使用它。

您只需使用以下命令安装 PyDirectInput： pip install pydirectinput

如果你有一个像这样的简单 PyAutoGUI 脚本：

import pyautogui 
import time   
time.sleep(4)
 pyautogui.keyDown('w')
time.sleep(1) 
pyautogui.keyUp('w')

您只需将 pyautogui 替换为 pydirectinput 即可使用 DirectInput
游戏。我已经使两个项目之间的所有函数声明都相同，因此您可以轻松地在它们之间进行交换。

import pyautogui
import pydirectinput
import time
time.sleep(4)
pydirectinput.keyDown('w')
time.sleep(1)
pydirectinput.keyUp('w')

我还没有在 PyDirectInput 中实现 PyAutoGUI 的所有功能。您应该继续使用 PyAutoGUI
的所有屏幕阅读功能。另一个大问题是持续时间的鼠标移动，它在屏幕上缓慢移动光标，我还没有实现。当您使用 PyDirectInput 中的
moveTo() 功能时，它会立即跳转到屏幕上的那个位置。在 README 中，我已经注意到我没有时间移植的所有功能。

因此，如果您需要这些缺失的任何功能，这是参与开源项目的绝佳机会。当您有工作时向我发送拉取请求，或者如果您需要帮助，我很乐意与您合作。如果您在此之前从未为开源做出过贡献，那么这应该是一种非常友好的进入方式，因为您可以查看所有
PyAutoGUI 源代码，并且可以参考我已经完成的工作，所以它应该只是大量的复制/粘贴并填写空白类型的东西。当然还有测试。

三、winio硬件驱动级模拟方式

在个别游戏应用窗口普通模拟按键方式均失效，可尝试硬件模拟方式，类似于“按键精灵”应用中Setsimmode = 1的设置。该方式需要主板支持PS2（圆口）键鼠。

参考原文：https://blog.csdn.net/qq_38316721/article/details/128747370

1、安装配置

（1）环境设置

电脑需要主板支持PS2（圆口）键鼠。
设置系统的“禁止驱动程序强制签名”，详细步骤可另行搜索，大致可概括为：设置->恢复->高级启动（立即重新启动）->重启后选择疑难解答->高级选项->启动设置->点击重启按钮->按指引选择。
该方式仅当前这次启动生效。

（2）安装rabird.winio环境

1、终端下执行pip install rabird.winio
2、启动后进入存储该包的目录“\Python\Python36\Lib\site-packages\winiobinary\data\3.0”，每个人的电脑可能不一样，按照以下提示操作。
在这里插入图片描述
右键WinIO64.sys，选择属性-数字签名
选择签名点击详细信息
3.点击查看证书
4.点击安装证书
在这里插入图片描述
5.点击下一步
6.浏览选择受信任的根证书颁发机构
7.直接下一步然后完成

2、使用示例

使用以下代码并引用相关函数实现具体功能。
例如：key_press（scancode）为按下某按键，其中scancode为键盘扫描码，大小为一个字节，通常两位16进制表示。

具体对应的扫描码可见：https://doc.wendoc.com/bcff0538d279995979873e7a4.html

import rabird.winio
import time
import atexit

# KeyBoard Commands
# Command port
KBC_KEY_CMD = 0x64
# Data port
KBC_KEY_DATA = 0x60

__winio = None


def __get_winio():
    global __winio

    if __winio is None:
        __winio = rabird.winio.WinIO()

        def __clear_winio():
            global __winio
            __winio = None

        atexit.register(__clear_winio)

    return __winio


def wait_for_buffer_empty():
    '''
    Wait keyboard buffer empty
    '''

    winio = __get_winio()

    dwRegVal = 0x02
    while (dwRegVal & 0x02):
        dwRegVal = winio.get_port_byte(KBC_KEY_CMD)


def key_down(scancode):
    winio = __get_winio()

    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd2);
    wait_for_buffer_empty();
    scancode = int(scancode)
    winio.set_port_byte(KBC_KEY_DATA, scancode)


def SPkey_down(scancode):
    winio = __get_winio()

    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd2);
    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_DATA, 0xe0)
    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd2);
    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_DATA, scancode)


def key_up(scancode):
    winio = __get_winio()

    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd2);
    wait_for_buffer_empty();
    scancode = int(scancode)
    winio.set_port_byte(KBC_KEY_DATA, scancode | 0x80);


def SPkey_up(scancode):
    winio = __get_winio()

    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd2);
    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_DATA, 0xe0)
    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd2);
    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_DATA, scancode | 0x80)


def mouse_down():
    winio = __get_winio()

    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd3);
    wait_for_buffer_empty();
    winio.set_port_dword(KBC_KEY_DATA, 0x09)


def mouse_up():
    winio = __get_winio()

    wait_for_buffer_empty();
    winio.set_port_byte(KBC_KEY_CMD, 0xd3);
    wait_for_buffer_empty();
    winio.set_port_dword(KBC_KEY_DATA, 0x08)


def key_press(scancode, press_time=0.05):
    key_down(scancode)
    time.sleep(press_time)
    key_up(scancode)
    time.sleep(press_time)


def SPkey_press(scancode, press_time=0.05):
    SPkey_down(scancode)
    time.sleep(press_time)
    SPkey_up(scancode)
    time.sleep(press_time)


def mouse_clicked(clicked_time=0.05):
    mouse_down()
    time.sleep(clicked_time)
    mouse_up()
    time.sleep(clicked_time)

四、按键监听

1、Keyboard库

该库可以实现键盘的监听，可通过pip install keyboard安装。（他的父类库 pynput 可以实现鼠标监听）

keyboard.wait('a')
# 监听等待键盘按下 指定 键 ，只有按下指定键才会执行后续代码。不然程序会一直处于阻塞状态。
 
keyboard.wait()  # 其值为空时会进入永久性的阻塞状态
 
keyboard.add_hotkey(hotkey='q', callback=print, args=('b',))
# 添加热键监听任务，监听的热键可以是任何值或者组合值，当监听到指定键时调用callback函数，args是可选的，调用函数并将指定值传进去
 
 
a = keyboard.KeyboardEvent('down', 28, 'enter')
# 封装一个键盘事件，可用于后续对比想要的键盘事件
print(a.name)  # 触发键的名称
print(a.time)  # 触发键的时间
print(a.event_type)  # 触发键的类型(down/up)按下/松开
print(a.scan_code)  # 触发键的代码
 
 
 
keyboard.hook(lambda x: print(x))
# 监听所有键，当任意键按下或松开时都会调用一次指定函数，并且将此次按下或松开的键的状态传递给被调函数
 
keyboard.on_press(lambda x: print(x))
# 监听所有键，当任意键按下或长按(一直触发指定函数)时都会调用一次指定函数，并且将此次按下的键的状态传递给被调函数
 
# 配合无限等待使得程序不终止，一直监听热键。
keyboard.wait()
# wait里也可以设置按键，说明当按到该键时结束
 
recorded = keyboard.record(until='esc')
# # 程序进入阻塞，直到按下 esc 键才会结束这句代码的调用，并且返回监听其间按下的所有键盘的键
print(recorded)
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

Python制作模拟按键摘录，pyautogui库及该库在某些窗口不生效的问题部分解决措施（PyDirectInput库、winio驱动级模拟） 的相关文章

  • AttributeError：'function'对象在pandas中没有属性'bar'

    我有一个 pandas 数据框 它是 pandas 数据框类型 如下所示 type df Out 176 pandas core frame DataFrame 但是 当我尝试在此数据框上使用任何绘图函数 如条形图 时 会出现如下错误 df

  • 如何更改默认的Python版本？

    我已经在我的 Mac 上安装了 Python 3 2 我跑完之后 Applications Python 3 2 Update Shell Profile command 当我输入时 这很令人困惑Python V在终端它说Python 2

  • Python设置1和True的解释

    在 IPython 3 交互式 shell 中 In 53 set2 1 2 True hello In 54 len set2 Out 54 3 In 55 set2 Out 55 hello True 2 是因为 1 和 True 得到

  • 如何检索分配给 Django 中的组的所有权限

    我正在执行一项任务来检索分配给 Django 中的组的一组权限 我可以使用以下代码获取创建的组 但无法使用它来获取分配给它们的权限 from django contrib auth models import Group Permissio

  • 在 Jupyter Notebook 中设置环境变量的不同方法

    在某些情况下 我在 Windows 10 计算机上使用 Jupyter 笔记本 我想通过设置环境变量 GOOGLE APPLICATION CREDENTIALS 来向 GCP 进行身份验证 我想知道 这两种设置环境变量的方式有什么区别 当

  • Python函数组成

    我尝试使用良好的语法来实现函数组合 这就是我所得到的 from functools import partial class compfunc partial def lshift self y f lambda args kwargs s

  • 如何将脚本作为 pytest 测试运行

    假设我有一个用简单脚本表示的测试assert 陈述 请参阅背景了解原因 例如 import foo assert foo 3 4 我如何以一种好的方式将该脚本包含在我的 pytest 测试套件中 我尝试了两种有效但不太好的方法 一种方法是将

  • 当我从本地计算机更改为虚拟主机时，从 python 脚本调用 pdftotext 不起作用

    我编写了一个小的 python 脚本来解析 提取 PDF 中的信息 我在本地机器上测试了它 我有 python 2 6 2 和 pdftotext 版本 0 12 4 我正在尝试在我的虚拟主机服务器 dreamhost 上运行它 它有 py

  • Django Web 应用程序中的 SMTP 问题

    我被要求向使用 Django Python 框架实现的现有程序添加一个功能 此功能将允许用户单击一个按钮 该按钮将显示一个小对话框 表单以输入值 我确实编写了一些代码 显示电子邮件已发送的消息 但实际上 它没有发送 My code from

  • 一个类似 dict 的 Python 类

    我想编写一个自定义类 其行为类似于dict 所以 我继承自dict 不过 我的问题是 我是否需要创建一个私有的dict我的成员 init 方法 我不明白这个有什么意义 因为我已经有了dict如果我只是继承自的行为dict 谁能指出为什么大多

  • Python：“直接”调用方法是否实例化对象？

    我是 Python 新手 在对我的对象进行单元测试时 我注意到一些 奇怪 的东西 class Ape object def init self print ooook def say self s print s def main Ape

  • django 中的身份验证方法返回 None

    你好 我在 django 中做了一个简单的注册和登录页面 当想要登录时 登录视图中的身份验证方法不返回任何内容 我的身份验证应用程序 模型 py from django db import models from django contri

  • 如何让 Streamlit 每 5 秒重新加载一次？

    我必须每 5 秒重新加载 Streamlit 图表 以便在 XLSX 报告中可视化新数据 如何实现这一目标 import streamlit as st import pandas as pd import os mainDir os pa

  • 错误：尝试使用 scrappy 登录时出现 raise ValueError("No element found in %s" % response)

    问题描述 我想从我大学的bbs上抓取一些信息 这是地址 http bbs byr cn http bbs byr cn下面是我的蜘蛛的代码 from lxml import etree import scrapy try from scra

  • 无法将matplotlib安装到pycharm

    我最近开始使用Python速成课程学习Python编程 我陷入困境 因为我无法让 matplotlib 在 pycharm 中工作 我已经安装了pip 我已经通过命令提示符使用 pip 安装了 matplotlib 现在 当我打开 pych

  • 重定向 python 交互式帮助()

    我正在为使用 Qt 的应用程序开发交互式 python shell 但是我似乎无法获得重定向的交互式帮助 我的 python 代码中有这个 class OutputCatcher def init self self data def wr

  • 如何使用logging.conf文件使用RotatingFileHandler将所有内容记录到文件中？

    我正在尝试使用RotatingHandler用于 Python 中的日志记录目的 我将备份文件保留为 500 个 这意味着我猜它将创建最多 500 个文件 并且我设置的大小是 2000 字节 不确定建议的大小限制是多少 如果我运行下面的代码

  • 在不同的 GPU 上同时训练多个 keras/tensorflow 模型

    我想在 Jupyter Notebook 中同时在多个 GPU 上训练多个模型 我正在使用 4GPU 的节点上工作 我想将一个 GPU 分配给一个模型并同时训练 4 个不同的模型 现在 我通过 例如 为一台笔记本选择 GPU import

  • 避免“散点/点/蜂群”图中的数据点重叠

    使用绘制点图时matplotlib 我想偏移重叠的数据点以使它们全部可见 例如 如果我有 CategoryA 0 0 3 0 5 CategoryB 5 10 5 5 10 我想要每一个CategoryA 0 数据点并排设置 而不是彼此重叠

  • 防止 Ada DLL 中的名称损坏

    有没有一种简单的方法可以防止在创建 Ada DLL 时 Ada 名称被破坏 这是我的 adb 代码 with Ada Text IO package body testDLL is procedure Print Call is begin

随机推荐

  • vue使用富文本编辑器:vue-quill-editor粘贴图片+图片上传服务器+预览图片

    引入vue quill editor 初始化vue quill editor npm install vue quill editor save 部分页面引入组件 import quill dist quill core css impor

  • 51单片机实现串口通信（主单片机到从单片机发送LED流水灯）

    其实这是个51单片机串口通信的小例子 课堂上老师说你们可以去尝试弄一下 于是就去网上找一下资料 就做了这个实验 先把一个作为主机 用来发送数据 另一个作为从机 用来接收数据 将两个程序各自烧录到对应的板子上去 并将主机的TX P3 0 接到

  • VS C++ 生成类图

    C 中如何快速清晰的了解定义类型及类型之间的关联关系 一个好的类图有助于你快速了解 那么怎么去生成一个类图呢 下面步骤可以帮到你 一 安装类设计器组件 1 确定是否已经安装 类设计器 如果未安装 可以打开 工具 gt 获取工具和功能 或者直

  • springboot Junit单元测试默认事务不提交

    目录 一 Junit初次使用 二 Junit事务问题 1 默认不提交事务 默认回滚 2 设置rollback 让Junit提交事务 一 Junit初次使用 因为以前总觉得Junit单元测试配置比较繁琐 代码功能大多使用main方法或者pos

  • SD秋叶安装教程

    前言 本部署整合包基于开源项目 stable diffusion webui制作 部署包作者 秋葉aaaki 免责声明 本安装包及启动器免费提供 无任何盈利目的 电脑配置要求 操作系统 windows10以后 CPU 不做强制要求 内存 推

  • 输出斐波那契数列的每一项，每五个换行

    7 2 利用数组计算斐波那契数列 15 分 本题要求编写程序 利用数组计算菲波那契 Fibonacci 数列的前N项 每行输出5个 题目保证计算结果在长整型范围内 Fibonacci数列就是满足任一项数字是前两项的和 最开始两项均定义为1

  • FFmpeg录制流

    FFmpeg下windows安装 下载地址 http ffmpeg org download html windows 下载 ffmpeg release essentials zip 这个文件名 解压后将bin目录加到环境变量path 录

  • 内存使用(分段、分区、分页、多级页表、快表)--OS

    内存使用 内存使用 将程序放在内存中 PC指向内存地址 首先 我们需要让程序进入内存 举个例子 int main int argc char argv text entry 入口地址 call main call exit main ret

  • windows默认文件(桌面、下载、文档等)设置为C盘根路径后怎么修改回去

    桌面 下载 文档等设置为C盘根路径后怎么修改回去 1 问题 2 解决办法 2 1 按 Win R 调出运行窗口 输入 regedit 并按回车 2 2 在弹出的注册表窗口里 打开下面路径 计算机 HKEY CURRENT USER SOFT

  • 数据结构——迪杰斯特拉（Dijkstra）算法

    迪杰斯特拉算法又叫狄克斯特拉算法 是从一个顶点到其余各顶点的最短路径算法 解决的是有权图中最短路径问题 迪杰斯特拉算法主要特点是从起始点开始 采用贪心算法的策略 每次遍历到始点距离最近且未访问过的顶点的邻接节点 直到扩展到终点为止 以下是数

  • 【Golang】切片（slice)

    文章目录 切片 直接声明新的切片 append 函数为切片添加元素 复制切到另一个切片 从切片中删除元素 从开头位置删除 从中间位置删除 从尾部删除 切片 切片 slice 是对数组的一个连续片段的引用 所以切片是一个引用类型 这个片段可以

  • scss 转为 less

    tnpm install less plugin sass2less g sass2less scss dir name less rm rf scss 转载于 https www cnblogs com lyraLee p 1048966

  • virtualbox的虚拟机联不通外网的问题

    问题描述 在网卡配置上按照网上的操作配置好了 但是仍然联不通外网 ip地址显示为127 0 0 1 解决 通过输入dhclient v命令解决

  • Spring框架常用注解及通配符总结

    Autowired 自动注入 默认是类型匹配 使用配置文件需要set 使用注解不需要 只需要类属性 Autowired可以和 Qualifier beanName 配合着使用 Qualifier beanName 多个相同类型的bean 标

  • 基于深度学习的目标检测方法综述

    引言 现有的深度学习的目标检测方法 可以大致分为两类 一 基于候选区域的目标检测方法 二 基于回归的目标检测方法 依据方法的提出时间 可以构建出如下时间线 2014 CVPR R CNN 1 2015 arXiv DenseBox 14 2

  • 「开源项目」现代化开源Linux服务器运维管理面板-1Panel

    1Panel 基本介绍 1Panel 是新一代的 Linux 服务器运维管理面板 产品优势 快速建站 深度集成 Wordpress 和 Halo 域名绑定 SSL 证书配置等一键搞定 高效管理 通过 Web 端轻松管理 Linux 服务器

  • arm汇编中感叹号/叹号的作用

    arm汇编中存在一个神奇的可选后缀 一般是在寄存器或寻址方式之后 对于加了叹号的情况 访问内存时先根据寻址方式更改寄存器的值 再按照该已经更新的值访问内存

  • 基于深度学习的目标检测算法概述

    摘要 目标检测是计算机视觉的一个重要分支 其目的是准确判断图像或视频中的物体类别并定位 传统的目标检测方法包括这三个步骤 区域选择 提取特征和分类回归 这样的检测方法存在很多问题 现已难以满足检测对性能和速度的要求 基于深度学习的目标检测方

  • 电子元器件/模块供应商汇总

    晶振 WIFI MLCC电容

  • Python制作模拟按键摘录，pyautogui库及该库在某些窗口不生效的问题部分解决措施（PyDirectInput库、winio驱动级模拟）

    文章目录 toc 一 使用pyautogui库 1 安装pyautogui库 2 导入并在py中使用 1 导包 2 基本鼠标控制 3 基本键盘控制 4 屏幕截图 5 图片位置识别 3 存在问题 二 使用PyDirectInput库解决某些游

热门标签