人工智能的發(fā)展深受模仿人類大腦的啟發(fā)，尤其是在當(dāng)前的類腦神經(jīng)形態(tài)系統(tǒng)中。例如，利用生物可解釋的脈沖神經(jīng)網(wǎng)絡(luò)（SNN），并結(jié)合IBM的TrueNorth和英特爾的Loihi等CMOS數(shù)字硬件加速器，來模擬大腦的計算功能和效率。然而，在硬件中復(fù)現(xiàn)大腦功能仍然面臨巨大的挑戰(zhàn)，這不僅受到摩爾定律放緩以及馮·諾依曼架構(gòu)計算瓶頸的限制，而且涉及脈沖神經(jīng)網(wǎng)絡(luò)自身訓(xùn)練過程中的困難。

針對這一問題，微電子所尚大山研究員與南方科技大學(xué)深港微電子學(xué)院王中銳博士合作，開發(fā)了一種基于液體狀態(tài)機（Liquid State Machine, LSM）技術(shù)實現(xiàn)多模態(tài)時序脈沖數(shù)據(jù)的學(xué)習(xí)方法。液體狀態(tài)機是一種脈沖形式的儲池計算，它是循環(huán)脈沖神經(jīng)網(wǎng)絡(luò)的一種簡化形式，能夠?qū)r序輸入信號通過神經(jīng)元的非線性激活函數(shù)轉(zhuǎn)換到高維空間中，并通過簡單的線性回歸方法有效地讀出。LSM中循環(huán)連接層的權(quán)重始終保持固定，訓(xùn)練僅需要調(diào)節(jié)輸出層的權(quán)重，這使得訓(xùn)練復(fù)雜度和時間大降低。

在硬件方面，團隊利用憶阻器的本征隨機性構(gòu)建大規(guī)模隨機電阻陣列，并將其作為LSM網(wǎng)絡(luò)的初始化權(quán)重，展現(xiàn)了低成本和可擴展的優(yōu)勢。在軟件方面，LSM巧妙的利用了隨機電阻陣列所帶來的物理隨機投影，通過存內(nèi)計算的方式完成多時序脈沖輸入的特征提取過程，并顯著降低了脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成本。團隊通過軟-硬協(xié)同優(yōu)化技術(shù)，在基于FPGA的板級測試平臺上實現(xiàn)了視覺和聲音的多模態(tài)對齊檢索，并進行了接近實用場景的腦機接口的視覺和聲音對齊任務(wù)的仿真驗證。與傳統(tǒng)數(shù)字硬件系統(tǒng)相比，該方法在計算能效上實現(xiàn)了顯著提升。該研究工作展現(xiàn)了憶阻器存算一體陣列在構(gòu)建神經(jīng)形態(tài)系統(tǒng)方面的巨大潛力，并為利用自然界中豐富的物理、化學(xué)特性開發(fā)更高效的智能硬件系統(tǒng)提供了參考。

該項目得到了科技部、國家自然科學(xué)基金委、中國科學(xué)院、南方科技大學(xué)和香港大學(xué)的支持。成果近期發(fā)表在《自然—計算科學(xué)》期刊上（Nature Computational Science, DOI: 10.1038/s43588-024-00751-z ），并受邀撰寫了研究快訊（Nature Computational Science, DOI: 10.1038/s43588-024-00762-w）。微電子所訪問學(xué)者、香港大學(xué)博士后研究員林寧為文章的第一作者，南方科技大學(xué)王中銳博士和微電子所尚大山研究員為該文章的通訊作者。參與本工作的還有復(fù)旦大學(xué)、浙江大學(xué)、香港大學(xué)以及中國科學(xué)院計算所等合作單位。

文章鏈接：https://doi.org/10.1038/s43588-024-00751-z

Resistive memory-based zero-shot liquid state machine for multimodal event data learning

N.?Lin, Shao.?Wang, Y. Li,?B. Wang, S. Shi, Y. He, W. Zhang, Y. Yu, Y. Zhang, Xin. Zhang, K. Wong, Song. Wang, Xiao. Chen, H. Jiang, X. Zhang, P. Lin, X. Xu, X. Qi, Z. Wang*, D. S. Shang*, Q. Liu, M. Liu

Nature Computational Science?DOI:10.1038/s43588-024-00751-z?(2024)?

文章鏈接：https://doi.org/10.1038/s43588-024-00762-w

Energy-efficient multimodal zero-shot learning using in-memory reservoir computing

Ning Lin, Zhongrui Wang, Dashan Shang

Nature Computational Science?DOI:?10.1038/s43588-024-00762-w?(2025)

圖? 基于隨機電阻陣列的液體狀態(tài)機神經(jīng)網(wǎng)絡(luò)實現(xiàn)視覺和腦電信號的多模態(tài)零樣本學(xué)習(xí)

?

?