Smartphone App Intelligent Group Control
20 元自研群控 Router + LLM 任务编排 · 多机配对随身携带
基于 LLM 任务编排与 20 元自研 ESP32 ADB 群控 Router 的多设备协同控制系统。通过本地代理 / 配对路由器承载所有多机配对信息「随身携带」,让一组手机在任意网络环境下都能组成临时群控工作台;并由 LLM 把自然语言指令解析为可执行的点击/输入序列,全过程屏幕流 + Chain of Thought + 步骤时间线三轨可视化、可前进/后退/跟随最新。




把"多机操作"从机械脚本升级为「自然语言驱动 + LLM 解析 + 硬件配对随身携带」的协同系统。
把"打开微博查看热搜并总结给我"这样的自然语言,自动解析为 CLICK / BACK / SWIPE / INPUT 等真实操作步骤,并由同一个 LLM 在执行中持续观察屏幕、按需修正后续步骤。
基于 ESP32 自研的 20 元 ADB 群控路由器,把多机的 ADB 配对信息(密钥、端口、设备 ID→IP 映射)固化在路由器本地存储 + TLS Keystore。换 Wi-Fi、换办公室、换城市不需要重新配对,所有多机配对信息「随身携带」。
实时监控栏把"手机屏幕直播""LLM Chain of Thought""步骤时间线(CLICK @30,79 / BACK @175,380 …)"三栏同屏呈现,支持上一步 / 下一步 / 跟随最新任意切换;失败步骤即时记入 Failed。
所有任务(Completed / Failed / In-Progress)按时间落库,支持按设备、时间、任务名回看完整步骤与思考链,为运营 / 测试 / 客服留出真实复盘材料。
越是规模化的多账号运营,越是被"配对信息丢失""脚本透明性差""模型绑定"卡脖子。
运营 / 客服 / 测试在 N 台手机上重复同一套点击流,人力浪费巨大、出错率高,规模化场景几乎不可行。
传统商用群控盒把设备与设备 ID 绑定在特定 Wi-Fi / 特定局域网内;换办公室就要重新配对,无法"拿着就走"。
市面多数群控方案绑定单一闭源模型,按调用收费且无法替换;想换更便宜或更准的模型就只能重写整套集成。
现成的脚本执行只有开始/结束,没有屏幕流、没有思考链、没有按步骤前进/后退的"录像";出了问题只能猜。
每款新 App 上线都要在不同机型 / 不同分辨率上重跑一遍测试脚本,缺乏"自然语言写一次,N 台机型自动跑"的工程化能力。
20 元 ESP32 自研 ADB 群控 Router 在「配对 / 寻址 / 配网 / 并发 / 安全 / 成本」六个维度的真实痛点与落地解法。
| 痛点 | 解决方案 | 关键模块 | |
|---|---|---|---|
| 配对信息丢失:换网 / 换机后所有 ADB pairing 失效,需重新连电脑烧录配对密钥。 | NVS Keystore 固化:ADB 配对密钥、设备 ID→IP 映射、TLS 证书写入 ESP32 NVS,掉电不丢;换网即插即用。 | adb_pairing.c + nvs_flash | 配对 |
| 多机地址混乱:多设备 IP 漂移、端口冲突,控制台找不到设备、串号。 | 统一本地端口映射:Router 做 ADB-over-TCP 反向代理,每台设备固定虚拟端口;控制台只连 Router 一个地址。 | adb_proxy.c + tcp_forward | 寻址 |
| 一次性配网体验差:首次配网要连电脑改代码烧录,非技术用户不可用。 | Captive Portal + AP 兜底:手机连 Router 热点自动弹配网页,扫码 / 选 Wi-Fi 填密码即可,无需电脑。 | captive_portal.c + wifi_manager.c | 配网 |
| 多机并发流不稳定:N 台同时截屏 / ADB,带宽抢占、断流、延迟抖动。 | Wi-Fi 60s supervisor + 多机 health-check:断线自动重连、弱网降级、心跳保活。 | wifi_manager.c + health_check | 并发 |
| ADB pairing 高安全要求:pairing code 明文、无 TLS,易被局域网嗅探。 | 完整 AOSP pairing 协议栈:SPAKE2 + Ed25519 + AES-GCM,per-device keystore,与官方无线调试一致。 | adb_pairing.c (TLS) | 安全 |
| 规模化成本高:商用群控盒数千元 / 台,且绑死一家硬件。 | 20 元 BOM 自研:ESP32 开源固件,可量产、可改,不被任何一家商用硬件锁定。 | main.c + 自研固件 | 成本 |
把多机协同从「脚本自动化」升级为「自然语言驱动 + 实时可见 + 可回放」
用一句中文/英文指令描述目标,LLM 自动产出 N 步可执行动作(CLICK/BACK/SWIPE/INPUT),并在执行中根据截图持续反思下一步。
自研 ESP32 固件作为群控网关,把 ADB 配对密钥、IP 映射、TLS 证书存进 NVS;换网络即插即用,所有多机配对信息"塞进口袋"。
新建群控任务时可勾选多个目标设备;每台设备独立 session、独立步骤时间线,监控栏自动汇总成多台同步画面。
手机屏幕直播 + LLM Chain of Thought + 逐步骤时间线三栏对照,上一步/下一步/跟随最新任意切换,操作可推理。
默认 gelab-zero-4b-latest,支持任何 OpenAI 兼容接口(OpenAI/Claude/DeepSeek/Qwen/Gemini …);detector / parser 解耦,按 latency / cost / precision 自选。
任务结果、步骤明细、Chain of Thought 落库;成功 / 失败 / 部分完成可区分、可重跑、可导出到运营复盘文档。
每台设备每次任务独立 session;ADB TLS + Per-Device Keystore;操作审计日志齐全,便于合规与权限追溯。
把"自然语言→操作步骤"的 detector 抽离为独立 parser,可单测、可替换;不再绑死单一 LLM,模型升级不再要求整套回归。
控制台 4 阶段 · 自然语言驱动 + 实时三轨可视化
把多机群控这件事的门槛、单价、可追溯性都做到台阶式下降。
把"多账号群控"这件事从机械脚本、绑定硬件、不可回放,推进到「便携 / 可视 / 可推理 / 可换模型」。
自研 ESP32 ADB 群控 Router 把多机配对密钥、IP 映射、TLS 证书固化到本地;换 Wi-Fi / 换办公室不需要重新配对,所有信息"塞进口袋"。
屏幕流 + Chain of Thought + 步骤时间线在同一屏对照,LLM "为什么点这里"也写在任务流里;失败任务能像查监控录像一样回看。
detector / parser / model 全部独立,可任意替换 OpenAI 兼容接口与解析策略;不被任何一家闭源模型或商用群控盒锁定。
控制台 + Router + LLM parser 三者紧密耦合在同一仓库,真正做到"研发原型即产品原型";不再需要二次集成。
把技术能力转化为可量化、可复用的业务价值。
该产品的介绍内容已基于内部资料整理上线,以下为后续可继续深化的方向:
浏览贤码智能在其他领域的 AI 产品与解决方案