让蜂控 AI 写脚本时,什么时候按文字找,什么时候用小图找?
告诉蜂控 AI 页面上真正稳定的线索:文字、图标,还是两者组合。先只返回查找结果核对,再让脚本点击或继续。
蜂控脚本可以根据手机当前画面的文字或小图寻找目标。想让蜂控 AI 帮忙写脚本的普通用户,不必先决定函数名;先告诉它页面上什么线索真正稳定。在蜂控脚本开发页打开当前项目和脚本助手,选一台获准的测试设备,描述目标页面与目标控件,请 AI 先给出查找方案,再写动作。
按页面线索选,不按习惯选
如果目标是写着“待处理”的卡片,而且文字在不同设备上仍相同,就先请 AI 用文字确认卡片。若目标只有一个固定图标、没有可读文字,才考虑从目标设备画面准备一张小图。图案与文字都可能变化时,先描述更稳定的页面状态,必要时保留人工确认点,不要让脚本猜一个坐标。
这不是让 AI 自己决定要点哪里。你可以这样交代:
当前设备在订单列表页。我要检查“待处理”卡片右侧的查看图标。请先根据页面文字确认是“待处理”卡片,再在这张卡片附近查找项目里的图标小图。先返回找到的文字和图标位置供我核对;如果文字不存在、图标不止一个或两者不在同一张卡片,就停下说明原因,不要点击。请只用蜂控当前脚本文档里有的函数。
蜂控脚本运行时提供文字查找与找图能力。找图是在当前画面里比较小图与局部画面是否相似,OpenCV 的模板匹配说明可帮助理解这种匹配方式;它不会理解“待处理”对应哪笔业务。因此,组合使用时应先确定页面和文字,再限定找图的范围。
小图适合图案稳定的目标
如果按钮只剩一个图标,或者同一文字会随语言切换而改变,可以让 AI 使用项目里的小图。先在目标设备当前画面截取有辨识度的局部,核对资源名、屏幕方向与画面比例。蜂控当前找图不会自动把小图缩放到另一种分辨率;换设备或换界面后,须重新核对。具体怎么截,可看蜂控找图小图指南。
如果一页出现几个一模一样的图标,增加更多同款小图帮助不大。请补充所在卡片、邻近文字或搜索区域;同款按钮的范围检查有更具体的例子。
先让 AI 证明“找对了”
在蜂控脚本助手里要求先写查找和结果判断,不接点击。让它说明:文字或小图没找到时怎样停下,找到多个时怎样处理,结果是否落在你指定的页面区域。你在测试设备上核对画面与脚本结果后,再让 AI 接上点击,并检查点击后的页面。
这样的提问把目标、线索和停止条件分开:文字确认这是哪一块,图片确认这是哪个控件,最终由当前画面验证。 脚本不应只因 AI 回复“找到了”就继续操作。