近期，科技界傳來一則令人矚目的合作消息。據(jù)科技媒體報道，蘋果公司攜手復(fù)旦大學(xué)，共同推出了名為StreamBridge的端側(cè)視頻大語言模型（Video-LLMs）框架，該框架專注于提升AI對直播流視頻的理解能力。

在探討直播流視頻理解的需求與挑戰(zhàn)時，我們不得不提及傳統(tǒng)視頻大語言模型的局限性。盡管它們在處理靜態(tài)視頻方面表現(xiàn)出色，但在諸如機(jī)器人技術(shù)和自動駕駛等需要實時感知的領(lǐng)域，卻顯得力不從心。這些場景要求模型能夠迅速理解直播視頻流的內(nèi)容，并據(jù)此作出反應(yīng)。

當(dāng)前，模型面臨的主要難題包括多輪實時理解和主動響應(yīng)。多輪實時理解意味著模型在處理最新視頻片段時，需要保留歷史視覺和對話上下文，而主動響應(yīng)則要求模型能夠像人類一樣主動監(jiān)控視頻流，并在沒有明確指令的情況下及時輸出反饋。

為了攻克這些難題，蘋果公司與復(fù)旦大學(xué)的研究團(tuán)隊共同開發(fā)了StreamBridge框架。該框架通過創(chuàng)新的內(nèi)存緩沖區(qū)和輪次衰減壓縮策略，實現(xiàn)了長上下文交互的支持。這一特性使得模型能夠更有效地處理連續(xù)的視頻流信息。

StreamBridge框架還引入了一個輕量化的獨立激活模型，該模型能夠無縫集成到現(xiàn)有的視頻大語言模型中，從而賦予模型主動響應(yīng)的能力。研究團(tuán)隊還精心打造了一個名為Stream-IT的數(shù)據(jù)集，該數(shù)據(jù)集包含約60萬個樣本，融合了視頻與文本序列，并支持多樣化的指令格式。Stream-IT數(shù)據(jù)集的推出，旨在進(jìn)一步提升流式視頻的理解能力。

為了驗證StreamBridge框架的有效性，研究團(tuán)隊在主流離線模型上進(jìn)行了測試，包括LLaVA-OV-7B、Qwen2-VL-7B和Oryx-1.5-7B等。測試結(jié)果顯示，Qwen2-VL在OVO-Bench和Streaming-Bench上的平均分分別提升至71.30和77.04，這一成績甚至超越了GPT-4o和Gemini 1.5 Pro等專有模型。Oryx-1.5也取得了顯著的進(jìn)步，而LLaVA-OV的性能雖然略有下降，但經(jīng)過Stream-IT數(shù)據(jù)集的微調(diào)后，所有模型的表現(xiàn)都得到了進(jìn)一步的提升。