四月，計(jì)算機(jī)視覺領(lǐng)域的研究繼續(xù)在多個(gè)關(guān)鍵方向高歌猛進(jìn)，從突破性的多模態(tài)理解、驚艷的3D內(nèi)容生成，到追求極致的模型效率，每一篇論文都為我們描繪著AI“視界”的未來圖景。以下為您精選并解讀本月值得關(guān)注的部分前沿工作。

1. 多模態(tài)理解與生成的邊界拓展：Video-MME
來自上海人工智能實(shí)驗(yàn)室等機(jī)構(gòu)的研究團(tuán)隊(duì)發(fā)布了 Video-MME，一個(gè)旨在全面評(píng)估大模型長(zhǎng)視頻理解能力的評(píng)測(cè)基準(zhǔn)。與以往側(cè)重于短片段或特定任務(wù)的數(shù)據(jù)集不同，Video-MME涵蓋了從感知（如物體識(shí)別）到認(rèn)知（如情感分析、因果推理）的多樣化任務(wù)，視頻時(shí)長(zhǎng)跨度大，對(duì)模型的時(shí)序理解、上下文關(guān)聯(lián)和信息整合能力提出了嚴(yán)峻挑戰(zhàn)。該基準(zhǔn)的發(fā)布，標(biāo)志著視頻理解評(píng)估向更貼近真實(shí)世界復(fù)雜場(chǎng)景邁出了關(guān)鍵一步，將有力推動(dòng)下一代視頻大模型的發(fā)展。

2. 3D生成技術(shù)的“涌現(xiàn)”：從2D先驗(yàn)到高質(zhì)量3D資產(chǎn)
3D內(nèi)容生成是今年的絕對(duì)熱點(diǎn)。一項(xiàng)名為 “LRM：大型重建模型” 的工作引發(fā)了廣泛關(guān)注。該模型能夠僅憑單張物體圖像，在數(shù)秒內(nèi)預(yù)測(cè)出該物體的高保真3D網(wǎng)格模型。其核心在于一個(gè)龐大的端到端Transformer架構(gòu)，它直接從圖像像素映射到3D Triplane（一種高效的3D表示）特征，再通過解碼器生成細(xì)節(jié)豐富的網(wǎng)格。這項(xiàng)研究展示了大規(guī)模數(shù)據(jù)與統(tǒng)一架構(gòu)在3D生成任務(wù)上的巨大潛力，為游戲、影視、VR/AR內(nèi)容的快速制作提供了強(qiáng)大工具。

3. 視覺基礎(chǔ)模型的“瘦身”與“提速”：高效架構(gòu)設(shè)計(jì)
在模型效率方面，MobileVLM系列 的更新尤為亮眼。研究人員在保持視覺語(yǔ)言模型（VLM）強(qiáng)大能力的專注于為移動(dòng)和邊緣設(shè)備設(shè)計(jì)高效架構(gòu)。通過精心設(shè)計(jì)的投影模塊、高效的視覺編碼器（如MobileNet）與語(yǔ)言模型（如Phi-2）的協(xié)同，以及針對(duì)設(shè)備端的指令調(diào)優(yōu)數(shù)據(jù)，MobileVLM V2在多項(xiàng)標(biāo)準(zhǔn)基準(zhǔn)上取得了與龐大模型相近的性能，而參數(shù)量和計(jì)算需求卻大幅降低。這為在資源受限環(huán)境中部署先進(jìn)的視覺語(yǔ)言應(yīng)用鋪平了道路。

4. 動(dòng)態(tài)場(chǎng)景理解的新范式：從視頻中學(xué)習(xí)物理世界
如何讓AI從視頻中學(xué)習(xí)物理世界的動(dòng)態(tài)規(guī)律？論文 “Learning Physical Dynamics from Video” 提出了一種新穎的自監(jiān)督框架。模型通過觀看未標(biāo)注的視頻，學(xué)習(xí)預(yù)測(cè)物體在受到潛在作用力后的運(yùn)動(dòng)軌跡。它不依賴于精確的3D標(biāo)注或物理參數(shù)，而是通過視覺信息直接隱式地建模物理動(dòng)態(tài)。這項(xiàng)工作在連接計(jì)算機(jī)視覺與物理世界理解方面做出了有益探索，對(duì)于機(jī)器人操作、自動(dòng)駕駛等需要預(yù)測(cè)環(huán)境變化的領(lǐng)域具有重要意義。

5. 圖像編輯的精準(zhǔn)控制：基于擴(kuò)散模型的細(xì)粒度操作
在圖像生成與編輯領(lǐng)域，基于擴(kuò)散模型的 “細(xì)粒度屬性操控” 研究取得了新進(jìn)展。傳統(tǒng)方法通常難以在編輯時(shí)（例如“讓這個(gè)人微笑”）精確保持圖像其他無關(guān)區(qū)域的絕對(duì)一致。新方法通過引入更解耦的條件注入機(jī)制或基于注意力的特征約束，實(shí)現(xiàn)了對(duì)特定區(qū)域?qū)傩缘木珳?zhǔn)、獨(dú)立編輯，同時(shí)最大程度地保留了原始圖像的全局布局與細(xì)節(jié)。這使AI繪畫工具在實(shí)用性和可控性上更進(jìn)一步。

與展望
2024年4月的計(jì)算機(jī)視覺研究呈現(xiàn)出 “深化”與“普及” 并行的趨勢(shì)。一方面，研究向更復(fù)雜（長(zhǎng)視頻、3D）、更本質(zhì)（物理規(guī)律）的問題深化；另一方面，頂尖技術(shù)也在通過各種優(yōu)化手段，積極走向輕量化與實(shí)用化。多模態(tài)大模型、3D生成和高效架構(gòu)無疑是當(dāng)前最活躍的賽道，它們的交叉與融合，將持續(xù)驅(qū)動(dòng)整個(gè)領(lǐng)域產(chǎn)生革命性的應(yīng)用。