2017年問世的Transformer架構(gòu)(編者注:一種深度學(xué)習(xí)模型),被認(rèn)為是目前人工智能大模型的技術(shù)基石。其基于簡單的神經(jīng)元和復(fù)雜的網(wǎng)絡(luò)架構(gòu),在尺度定律的驅(qū)動(dòng)下,通過增加網(wǎng)絡(luò)規(guī)模、算力資源和數(shù)據(jù)量提升模型智能水平,并取得了巨大成功。

但這就是AI的未來嗎?我們是繼續(xù)沿著Transformer架構(gòu)的道路不斷擴(kuò)充參數(shù)規(guī)模,還是回過頭來,向這個(gè)世界上最精巧的智能系統(tǒng)——人類大腦,尋求啟發(fā)?

當(dāng)前學(xué)術(shù)界對此仍存在較大爭論。支持者,如諾貝爾物理學(xué)獎(jiǎng)得主、深度學(xué)習(xí)之父杰弗里·辛頓,圖靈獎(jiǎng)得主、紐約大學(xué)教授楊立昆等著名學(xué)者堅(jiān)持神經(jīng)科學(xué)是AI發(fā)展的重要靈感來源。杰弗里·辛頓曾明確表示,克服人工智能局限的關(guān)鍵在于建立計(jì)算機(jī)、科學(xué)和生物學(xué)之間的橋梁。反對者則認(rèn)為,AI的重要成果并未受到神經(jīng)科學(xué)機(jī)制的啟發(fā),將來或許也不用。

但是,單一路線的系統(tǒng)性風(fēng)險(xiǎn)不容忽視:其在效率、可解釋性等方面的內(nèi)在局限,會(huì)沿技術(shù)棧被放大并傳導(dǎo)至所有下游應(yīng)用,如Transformer架構(gòu)在處理長序列時(shí)存在二次復(fù)雜度增長的問題,嚴(yán)重限制了其在長文本、科學(xué)計(jì)算等場景中的應(yīng)用。科學(xué)家們有責(zé)任前瞻地回答這樣的問題:單純追求規(guī)模的增長是否能持續(xù)推動(dòng)AI系統(tǒng)向更高階段發(fā)展?我們是否應(yīng)該尋求其他突破性的研究方向,來進(jìn)一步優(yōu)化現(xiàn)有系統(tǒng)?

在筆者看來,類腦計(jì)算,或許將成為未來AI的發(fā)展方向。

人腦作為已知最高效的智能系統(tǒng),以約20瓦的功耗支撐千億級神經(jīng)元和千萬億級突觸的復(fù)雜動(dòng)態(tài)網(wǎng)絡(luò),其能效遠(yuǎn)超現(xiàn)有任何AI系統(tǒng)。這種高效的信息處理機(jī)制,尤其是事件驅(qū)動(dòng)、稀疏計(jì)算、多尺度動(dòng)力學(xué)等特性,為構(gòu)建下一代低功耗、高性能AI模型提供了寶貴借鑒。神經(jīng)科學(xué),尤其是其對人腦工作機(jī)制的研究,正為AI未來發(fā)展提供一條全新的路徑。

然而,神經(jīng)科學(xué)與AI技術(shù)之間存在一個(gè)明顯的鴻溝。從當(dāng)前的研究來看,神經(jīng)科學(xué)主要側(cè)重于精細(xì)的結(jié)構(gòu)和生理細(xì)節(jié),強(qiáng)調(diào)神經(jīng)元之間的復(fù)雜連接以及大腦尺度的動(dòng)力學(xué),而AI技術(shù)則更注重抽象的結(jié)構(gòu)和計(jì)算的高效性,尤其是在大規(guī)模并行計(jì)算方面。例如,GPU(圖形處理器)在處理大規(guī)模并行計(jì)算時(shí),能夠?qū)崿F(xiàn)高效的計(jì)算能力,但卻難以高效支持當(dāng)前神經(jīng)科學(xué)所關(guān)注的精細(xì)結(jié)構(gòu)和神經(jīng)元建模。這也就造成了神經(jīng)科學(xué)和AI之間的鴻溝——當(dāng)前AI模型往往難以將神經(jīng)科學(xué)中的復(fù)雜結(jié)構(gòu)融入進(jìn)來,更遑論將其擴(kuò)展到大規(guī)模的計(jì)算模型中。

盡管關(guān)于未來AI實(shí)現(xiàn)路徑的爭議仍在,盡管存在這樣那樣的困難,但AI研究者們給出了選擇——腦科學(xué)與人工智能的結(jié)合已逐漸成為現(xiàn)實(shí),各主要發(fā)達(dá)國家都把類腦計(jì)算、神經(jīng)網(wǎng)絡(luò)等的研發(fā),列為未來重點(diǎn)發(fā)展的領(lǐng)域。

想在類腦計(jì)算領(lǐng)域占據(jù)領(lǐng)先地位,就要繼續(xù)強(qiáng)化前沿交叉研究,加強(qiáng)與神經(jīng)科學(xué)、心理學(xué)、數(shù)學(xué)、計(jì)算機(jī)科學(xué)、量子科學(xué)等學(xué)科的交叉,拓展深化人工智能基礎(chǔ)理論研究范疇,推動(dòng)下一代人工智能技術(shù)在基礎(chǔ)模型架構(gòu)、高效學(xué)習(xí)范式和復(fù)雜認(rèn)知推理等方面的突破。

可喜的是,中國在這一方向上已經(jīng)取得若干突破。以筆者所在的研究組為例,我們?nèi)涨俺晒ρ邪l(fā)了類腦大模型“瞬悉1.0”(SpikingBrain)。經(jīng)過測評,其在多個(gè)核心性能上實(shí)現(xiàn)了突破。首先,它在極低數(shù)據(jù)量下實(shí)現(xiàn)了高效訓(xùn)練,顯著提升了長序列訓(xùn)練效率。其次,它的推理效率得到數(shù)量級提升,特別是在超長序列處理上展現(xiàn)出顯著優(yōu)勢。這使其在“人工智能+”場景下,如法律/醫(yī)學(xué)文檔分析、復(fù)雜多智能體模擬、腦機(jī)接口、高能粒子物理實(shí)驗(yàn)等超長序列日常應(yīng)用和科學(xué)任務(wù)建模場景等,具有顯著的潛在效率優(yōu)勢。再次,它構(gòu)建了國產(chǎn)自主可控的類腦大模型生態(tài),支持將現(xiàn)有Transformer模型高效轉(zhuǎn)換為類腦脈沖架構(gòu)。最后,它設(shè)計(jì)了多尺度稀疏機(jī)制,為低功耗的類腦大模型運(yùn)行提供了有力支撐。

沿著這個(gè)方向,我們或可找到一條融合神經(jīng)元豐富動(dòng)力學(xué)特性,具有生物合理性和計(jì)算高效性的神經(jīng)網(wǎng)絡(luò)新路徑,構(gòu)建新一代通用智能模型,從而探索腦科學(xué)與人工智能基礎(chǔ)模型架構(gòu)之間的橋梁。

(作者:李國齊、姚滿,分別系中國科學(xué)院自動(dòng)化研究所研究員;助理研究員)