蘋果介紹 Ferret-UI 多模態(tài)大語言模型:更充分理解手機(jī)屏幕內(nèi)容

訊石光通訊網(wǎng) 2024/4/12 10:33:35

        ICC訊  蘋果公司近日發(fā)布研究論文,展示了 Ferret-UI AI 系統(tǒng),可以理解應(yīng)用程序屏幕上的內(nèi)容。


        以 ChatGPT 為代表的 AI 大語言模型(LLMs),其訓(xùn)練材料通常是文本內(nèi)容。為了能夠讓 AI 模型能夠理解圖像、視頻和音頻等非文本內(nèi)容,多模態(tài)大語言模型(MLLMs)因此孕育而生。

        只是現(xiàn)階段 MLLMs 還無法有效理解移動(dòng)應(yīng)用程序,這主要有以下幾個(gè)原因:

        1. 手機(jī)屏幕的寬高比,和大多數(shù)訓(xùn)練圖像使用的屏幕寬高比不同。

        2. MLLMs 需要識(shí)別出圖標(biāo)和按鈕,但它們相對(duì)來說都比較小。

        因此蘋果構(gòu)想了名為 Ferret-UI 的 MLLM 系統(tǒng)解決了這些問題:“與自然圖像相比,用戶界面屏幕的長寬比通常更長,包含的關(guān)注對(duì)象(如圖標(biāo)、文本)也更小,因此我們?cè)?Ferret 的基礎(chǔ)上加入了 "任意分辨率",以放大細(xì)節(jié)并利用增強(qiáng)的視覺功能。

        我們精心收集了大量初級(jí)用戶界面任務(wù)的訓(xùn)練樣本,如圖標(biāo)識(shí)別、查找文本和小部件列表。這些樣本的格式都是按照帶有區(qū)域注釋的指令來設(shè)計(jì)的,以便于精確引用和接地。

        為了增強(qiáng)模型的推理能力,我們進(jìn)一步編制了高級(jí)任務(wù)數(shù)據(jù)集,包括詳細(xì)描述、感知 / 交互對(duì)話和功能推理。”

        蘋果在論文中表示相比較現(xiàn)有的 GPT-4V,以及其它 MLLMs 模型,F(xiàn)erret-UI AI 模型更為優(yōu)秀。

新聞來源:IT之家

相關(guān)文章