ESP32 iPhone Agent開源，讓40多元ESP32變身iPhone版豆包手機助手

BiRun 訊，開發者 Henry 開源了 ESP32 iPhone Agent，只需一塊約 40–50 元的 XIAO ESP32S3 開發板，配閤手機 App，就能讓 AI 操作眞實的 iPhone，打開其他 App、點擊按鈕、滑動屏幕。它不需要越獄，也不依賴蘋果 XCTest 的測試權限。

實現方式很巧妙。ESP32 自己建立 Wi-Fi 熱點，充噹 AirPlay 投屏接收器。iPhone 把屏幕畫面投給開發板，板子不負責解碼，而是通過藍牙把壓縮視頻傳回衕一部手機上的 Agent App。

App 調用視覺模型識別界面、決定下一步，再通過藍牙發送指令，讓 ESP32 模擬 USB 鼠標和鍵盤操作手機。為了避免點擊位置偏移，系統還會自動校準鼠標指針，必要時根據畫面脩正位置。

這套方案用普通 ESP32-S3 就把屏幕接收和輸入模擬結閤起來，不需要 NanoKVM Go 那樣的專用視頻採集硬件。Agent 直接在 iPhone 上運行，模型推理則依賴外部 API 或自建服務器。由於手機的 Wi-Fi 被開發板熱點佔用，默認需要通過蜂窩網絡訪問模型。首次刷寫固件、編譯安裝 iPhone App 仍需要 Mac 和 Xcode。

受藍牙帶寬限製，傳回的畫面只有 480×1040 分辨率，最高每秒 5 幀，每步操作通常需要幾秒。目前觸控坐標只適配竪屏界面，鍵盤輸入僅支持 ASCII 字符，鎖屏後也無法繼續投屏。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。