尝试使用 Agent 控制 Android 手机（一）

从 USB 调试与 scrcpy 开始探索 Agent 控制 Android 手机。

为什么要尝试控制手机

最近在尝试自动化控制手机，为一些只有移动端入口的应用（例如闲鱼）实现自动客服功能。

先把手机连接到 Mac

首先用数据线连接 Android 手机与 Mac。

Android 手机通过数据线连接 Mac。

然后在手机上开启 USB 调试，并确认手机已经与电脑建立连接。如果手机弹出 USB 调试授权提示，需要确认允许这台电脑进行调试。

Android 手机上的 USB 调试授权提示。

使用 scrcpy 建立手机镜像

接着通过 scrcpy 连接手机和电脑。连接成功后，Mac 上会出现一个可操作的手机镜像。

通过 scrcpy 在 Mac 上显示 Android 手机画面。

当前能做什么

现在操作 Mac 上的镜像会同步操作手机。用这种最简单的方式，已经可以先建立几类能力的映射：

• 画面获取：通过镜像观察手机画面，并以截图的方式获取画面信息。
• 输入法操作：把 Mac 侧的输入操作映射到手机。
• 文字输入：在手机应用中完成客服等场景需要的文字录入。

下一步

这套方案目前只是一个最小的连接方式。如何在移动设备和笔记本之间建立可靠、高速的数据传输，以及如何在此基础上让 Agent 更稳定地完成观察、输入和操作，还需要后续研究。