蜂控找图脚本总认错同款按钮?这样告诉 AI 缩小范围
页面有几个相似按钮时,别只给蜂控 AI 一张小图。补上目标页面、邻近文字与所在区域,先只找图核对,再决定是否点击。
蜂控脚本可以用图片寻找手机页面上的按钮,但几个按钮长得一样时,单靠一张小图可能认错位置。这篇适合已在蜂控脚本项目中准备好图片资源、却遇到多个相似目标的用户。开始时先停在目标页面,把正确按钮所在的区域和附近文字告诉蜂控 AI,请它先修改查找条件,不要直接点击。
给 AI 的不是更多图片,而是页面线索
假设同一页有两张卡片,各有一个“查看”图标。只说“找到查看并点击”,AI 无法知道你要哪张卡片。可把需求改成:
我现在在蜂控连接的这台设备的订单列表页。要找的是“待处理”卡片右侧的“查看”,不是下方“已完成”卡片上的同款图标。请用当前脚本项目里的图片资源,先确认页面和“待处理”文字,再把找图范围限制在这张卡片附近。先只返回找到的位置给我核对;如果页面没有这张卡片、范围里仍有多个相似目标,就停下并说明原因,不要点击。
这段话给了 AI 三个判断依据:在哪个页面、与哪段文字相邻、只在哪块区域找。蜂控当前脚本的 JPFindImage 支持指定搜索区域;让 AI 依据客户端内的脚本函数文档填写,而不是把整屏都当成可点范围。模板匹配寻找的是图像相似区域,并不理解“待处理”在业务上是什么意思。OpenCV 对模板匹配的解释也说明了这一点。
先看命中位置,再让脚本动作
请 AI 把“找到图标”和“点击图标”拆开。先在一台获准设备上确认返回位置确实落在目标卡片;换到没有“待处理”卡片的页面,脚本应报告找不到,而不是退回整屏搜索。确认查找规则后,再增加点击和点击后的页面检查。
如果两张卡片会换顺序,就不要把“总在上半屏”写死;让 AI 先按当前页面文字确定卡片,再限定该卡片内的搜索范围。登录状态、弹窗或页面内容改变时,也要先重新确认页面。截图中含账号或客户信息时,只向 AI 提供完成任务所需的脱敏局部内容。
还没有合适的小图?先看如何为蜂控找图脚本准备按钮小图。小图解决“图案是什么”,本篇的页面与区域线索解决“同款图案里选哪一个”。