11月26日,中國工程院外籍院士、香港中文大學(xué)(深圳)副校長(學(xué)術(shù))、深圳市大數(shù)據(jù)研究院院長羅智泉,在深圳創(chuàng)新發(fā)展研究院舉行的活動(dòng)中,認(rèn)為大模型高耗能的發(fā)展模式不可持續(xù),需要考慮落地成本,垂直領(lǐng)域中小模型是一個(gè)新方向。
羅智泉表示,AI發(fā)展的每個(gè)階段都代表著AI能力和應(yīng)用的某種進(jìn)展。2023年是生成式人工智能的突破之年,以ChatGPT為代表的人工智能大模型,內(nèi)容生成能力表現(xiàn)驚艷,一時(shí)間拉開了國內(nèi)“百模大戰(zhàn)”的序幕。
羅智泉梳理了AI的發(fā)展歷程,及全球發(fā)展態(tài)勢,指出我國大語言模型發(fā)展迅速,不乏華為—盤古大模型、阿里云—通義千問、騰訊—混元大模型這樣的優(yōu)秀成果,但在技術(shù)封鎖的大環(huán)境下整體上呈追隨態(tài)勢。
有研究估測,訓(xùn)練1750億參數(shù)量的大模型GPT-3,能耗相當(dāng)于開車往返于地球和月球,一次運(yùn)算就要花費(fèi)450萬美元。
羅智泉將AI能耗與人腦能耗對(duì)比,人腦相當(dāng)于低功耗燈泡,能耗量平均約25瓦;而GPT-3訓(xùn)練一次消耗約1287兆瓦時(shí),GPT-4能耗預(yù)計(jì)更高,ChatGPT日均消耗超過50萬度電,從而指出大模型的發(fā)展模式不可持續(xù),落地實(shí)現(xiàn)大模型的價(jià)值,需要考慮部署成本,垂直領(lǐng)域中小模型是一個(gè)新方向。
他認(rèn)為,大模型和人腦相比還有所不同,模型的大問題是數(shù)據(jù)越來越多,調(diào)好了一方面,其他方面又變?nèi)酰瑳]有局部化,如果是局部化,某部分調(diào)整只用改某部分的參數(shù),只涉及某部分神經(jīng)元。
作為科研工作者,羅智泉感受到國際地緣政治的影響,國際合作變得越來越難。但羅智泉對(duì)中國的科技及產(chǎn)業(yè)發(fā)展持樂觀態(tài)度,并以AI技術(shù)賦能5G網(wǎng)絡(luò)性能的親身體驗(yàn)展現(xiàn)了AI在突破技術(shù)封鎖、引領(lǐng)產(chǎn)業(yè)升級(jí)中的巨大作用。
對(duì)于AI的未來發(fā)展趨勢,羅智泉表示更重要的是廣泛應(yīng)用前景,商業(yè)的閉環(huán)很重要,現(xiàn)在因?yàn)槟芎?、能力、人才等方面的問題,AI產(chǎn)業(yè)大部分是在燒錢的。
他認(rèn)為,隨著AI發(fā)展,很多行業(yè)會(huì)被改變,大學(xué)也會(huì)發(fā)生變化,就像斯坦福大學(xué)隨著硅谷崛起一樣,抓住機(jī)會(huì)的大學(xué)也會(huì)崛起。
他認(rèn)為同聲翻譯專業(yè)可能需要關(guān)停并轉(zhuǎn),商科中的一些專業(yè),包括會(huì)計(jì),GPT的能力已經(jīng)可以做到,以后需求會(huì)變小,他所在的大學(xué)全校的學(xué)生都要學(xué)人工智能的初級(jí)版,是必修掃盲課。人文社科也需要擁抱計(jì)算社會(huì)科學(xué),不能簡單做問卷調(diào)查,問卷調(diào)查不能反映社會(huì)全部。
他比較重視有交叉的學(xué)科,希望學(xué)生能設(shè)計(jì)多個(gè)學(xué)科,有基礎(chǔ)數(shù)學(xué)的分析推理能力,另外他很重視物理,OpenAI做AI的年輕人很多是學(xué)物理出身,包括埃隆馬斯克也是如此,可以幫助了解世界。