让蜂控 AI 写找图脚本:先帮它截一张合适的小图

想让蜂控脚本找到手机上的按钮,不必只说“点确定”。在脚本助手里说清目标页面,协助 AI 从目标设备的原始画面截取有辨识度的小图,保存到当前脚本,再核对命中结果。

蜂控的找图脚本可以用一张按钮或图标的小图,在目标设备当前画面中寻找对应位置。 这适合页面文字不稳定、但目标图案比较固定的 Android 真机或金鹏云机任务。开始时,在蜂控脚本开发页打开并保存当前脚本项目,选定获准的目标设备和页面,再请脚本助手先帮你准备图片资源,而不是直接生成一串点击动作。

先把“找什么”说清楚

例如,不要只说“帮我点确定”。可以这样描述:

我想在这个应用的确认页面找到右下角的蓝色确认按钮。请先核对当前设备和页面,从设备原始截图中截取按钮及一点周边特征,保存为当前脚本的图片资源。先测试能否找到,不要点击;如果页面上有几个相似按钮,告诉我还需要补充什么条件。

这里最有用的信息是目标页面、按钮周围的辨识特征,以及找到后暂时不要做什么。如果截图里有账号、消息或客户资料,先换成没有敏感内容的测试页面,或只提供不含这些内容的局部区域。不要把整张私人屏幕图直接贴进公开提问。

小图怎么截才有用

蜂控当前脚本项目把图片资源放在 images/ 下。区域截图能力可以从目标设备的画面中截取一块,保存到当前脚本项目;AI 应先确认脚本已保存、目标设备正确,再使用当前接口文档提供的区域截图入口。你也可以在开发页面的截图区域框选并保存到资源面板,但用于正式找图时要核对图片是否保持目标设备原始像素和方向;不要把缩小的屏幕墙预览随手裁剪后当成一定能匹配的模板。

小图不必包含整页,围住目标即可;但也别只截一块纯色背景。保留按钮文字、图标轮廓或少量独特边缘,避开会变化的时间、通知角标、头像和动态广告。若两个按钮长得一样,单靠这张小图可能无法区分,应把页面位置、邻近文字或搜索区域一并告诉 AI。OpenCV 的模板匹配说明把这种做法描述为在大图里查找与小图相似的区域;相似并不等于找到了你业务上想要的那个按钮。

让 AI 先验证,再决定是否点击

请 AI 依据蜂控当前脚本函数文档使用 JPFindImage,引用刚保存的图片资源,在一台获准设备上先做只找图、不点击的验证:预期页面能找到吗?返回位置是否落在正确按钮上?换到不该出现该按钮的页面,会不会误判?找不到时要返回“未命中”或具体错误,而不是猜一个固定坐标继续。蜂控的找图本身不会自动点击,也不会自动跨不同分辨率缩放模板;设备方向、界面缩放或应用样式变化后,需要重新核对小图。

确认目标确实正确,再让 AI 把查找、条件判断和后续动作接起来,并在点击后检查页面是否真的进入下一步。首次只在一台设备、一条可回退的小流程中检查,不直接扩大到整批设备。若你还不熟悉脚本助手,可以先看AI 写蜂控脚本的入门方法;当前版本以蜂控公开发布信息为准。

参考来源