近日，清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）在2024年12月24日發(fā)布了一項(xiàng)名為 AutoDroid-V2的 AI 模型，旨在優(yōu)化移動(dòng)設(shè)備的自動(dòng)化控制能力。該模型通過小型語言模型的應(yīng)用，顯著提升了用戶通過自然語言進(jìn)行操作的效率。

AutoDroid-V2采用了一種基于腳本的方法，與傳統(tǒng)依賴云端大型語言模型（LLM）的方式不同。這一創(chuàng)新使得設(shè)備能夠高效執(zhí)行用戶指令，減少了對(duì)云服務(wù)的依賴，從而在隱私和安全性方面有了顯著的提升。同時(shí)，它也降低了用戶端的流量消耗及服務(wù)器端的運(yùn)行成本，推進(jìn)了移動(dòng)設(shè)備的廣泛應(yīng)用。

在項(xiàng)目背景上，近年來，大型語言模型和視覺語言模型的崛起使得通過自然語言命令控制移動(dòng)設(shè)備成為可能。這些技術(shù)為復(fù)雜用戶任務(wù)的解決提供了新的途徑。然而，傳統(tǒng)的 “逐步 GUI 智能體” 方法存在著高流量消耗和隱私安全風(fēng)險(xiǎn)的問題，使得大規(guī)模部署面臨障礙。

AutoDroid-V2的創(chuàng)新之處在于，它能夠根據(jù)用戶指令生成多步驟腳本，進(jìn)而一次性執(zhí)行多個(gè) GUI 操作。這種方式大幅減少了查詢頻率，降低了資源消耗，并且能夠在用戶設(shè)備上直接生成和執(zhí)行任務(wù)腳本。該模型在離線狀態(tài)下會(huì)構(gòu)建應(yīng)用程序文檔，為后續(xù)的腳本生成打下基礎(chǔ)。

在性能測試中，AutoDroid-V2在23款移動(dòng)應(yīng)用上進(jìn)行了226項(xiàng)任務(wù)的基準(zhǔn)測試，相較于之前的模型，如 AutoDroid 和 SeeClick 等，任務(wù)完成率提升了10.5% 到51.7%。此外，其輸入和輸出的 token 消耗分別減少至43.5分之一和5.8分之一，模型推理延遲降低至原來的5.7到13.4分之一。這些成果顯示了 AutoDroid-V2在實(shí)際應(yīng)用中的高效性和可靠性。