邊緣計算服務商網(wǎng)宿科技近日發(fā)布的《邊緣計算市場實踐與洞察報告》(以下簡稱《報告》)提出,邊緣計算已在實時音視頻交互、CDN、云游戲、AR/VR等方面成熟應用。邊緣云安全方面,將邊緣與安全結(jié)合成為產(chǎn)業(yè)共識,SASE架構(gòu)已被廣泛部署。在物聯(lián)網(wǎng)領域,邊緣智能解決方案也在工業(yè)制造、交通運輸、畜牧養(yǎng)殖、智慧城市等場景中實現(xiàn)了應用創(chuàng)新。物聯(lián)網(wǎng)是邊緣計算需求最為旺盛的場景之一,市場會逐步形成垂直行業(yè)的邊緣智能解決方案,屆時技術(shù)門檻和成本降低,邊緣計算的需求也將順勢增長。
MarketsandMarkets報告顯示,全球邊緣計算市場規(guī)模將從2023年的600億美元增長至2029年的1106億美元,復合年增長率達到13%。IDC報告顯示,2023下半年,中國邊緣云市場規(guī)??傆?2.6億元,同比增速36.1%,增速超出預期。
網(wǎng)宿科技邊緣平臺資深架構(gòu)師陳云輝表示:AI發(fā)展有兩大趨勢?!耙环矫?,在中心部署的大模型,會往越來越智能、參數(shù)越來越大的方向發(fā)展;另一方面,在端側(cè)部署的小模型,如手機廠商在做的端側(cè)模型,參數(shù)要夠小,同時性能也要滿足一定程度。而我們認為,AI大模型不只是做端和中心,邊緣也有機會?!?/p>
陳云輝表示,例如,OpenAI旗下GPT-4o發(fā)布,多了一些多模態(tài)、人機自然交互的體驗。其核心特點除了模型能力的提升外,最重要的是實時性。邊緣計算的優(yōu)勢就在于低時延,可以在其中發(fā)揮作用。另外,手機設備GPU算力有限,對于部分場景,算力需要外溢。相較于外溢到中心,時延可能要1—2秒,而外溢到邊緣側(cè),位置距離用戶更近,時延可能在幾百毫秒,才能滿足用戶對生成式AI實時性互動的需求,體驗更自然。
“所以整體來看,AI對邊緣計算有兩塊需求,一個是算力,另一個是推理。推理模型需要部署在邊緣側(cè),未來推理與迭代將在‘云邊端’呈現(xiàn)梯次分布。‘云邊端’一體化架構(gòu)也是AI大模型發(fā)展的一個趨勢?!标愒戚x表示。
校對:呂久彪