當(dāng)前,邊緣智能硬件系統(tǒng)正越來(lái)越多地將各種不同類型的視覺(jué)傳感器集成于一體(包括3D激光雷達(dá)、神經(jīng)形態(tài)動(dòng)態(tài)視覺(jué)傳感器以及傳統(tǒng)相機(jī))以提升系統(tǒng)性能。直接在邊緣智能系統(tǒng)上對(duì)不同傳感器輸出的多模態(tài)數(shù)據(jù)進(jìn)行分析,對(duì)于各種新型應(yīng)用如增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)、無(wú)人機(jī)等都很重要,這一需求對(duì)軟硬件系統(tǒng)的多個(gè)方面提出了挑戰(zhàn)。比如,系統(tǒng)需要考慮如何對(duì)多模態(tài)數(shù)據(jù)進(jìn)行統(tǒng)一的數(shù)據(jù)表征、較高的硬件能效以及快速的模型訓(xùn)練。但多模態(tài)信號(hào)在數(shù)據(jù)結(jié)構(gòu)上的異構(gòu)性導(dǎo)致邊緣系統(tǒng)的開(kāi)發(fā)有較高復(fù)雜性,傳統(tǒng)數(shù)字硬件的性能受限于物理分離的存儲(chǔ)與計(jì)算單元(即馮·諾依曼瓶頸)以及晶體管尺寸縮放的物理極限(摩爾定律放緩)。隨著模型規(guī)模的持續(xù)擴(kuò)大,其復(fù)雜的訓(xùn)練過(guò)程進(jìn)一步加劇了上述限制。

近日,中國(guó)科學(xué)院微電子研究所集成電路制造技術(shù)全國(guó)重點(diǎn)實(shí)驗(yàn)室尚大山研究員與南方科技大學(xué)深港微電子學(xué)院王中銳博士合作,通過(guò)軟硬件協(xié)同設(shè)計(jì),開(kāi)發(fā)了基于隨機(jī)阻變存儲(chǔ)器的深度極限點(diǎn)云學(xué)習(xí)機(jī)系統(tǒng)。本研究提出一種新穎的軟硬件協(xié)同設(shè)計(jì)系統(tǒng)—基于隨機(jī)電阻存儲(chǔ)器的深度極限點(diǎn)云學(xué)習(xí)機(jī)(DEPLM),可支持高效統(tǒng)一的點(diǎn)集分析。從數(shù)據(jù)層面,將多模態(tài)數(shù)據(jù)統(tǒng)一表示為點(diǎn)集,從而實(shí)現(xiàn)通用化處理;從軟件層面,團(tuán)隊(duì)首次提出深度極限點(diǎn)云學(xué)習(xí)機(jī),大部分權(quán)重?zé)o需訓(xùn)練,大幅降低了訓(xùn)練復(fù)雜度;從硬件層面,阻變存儲(chǔ)器不僅可以實(shí)現(xiàn)存儲(chǔ)與計(jì)算的一體化,還利用其固有的編程隨機(jī)性生成DEPLM的隨機(jī)稀疏權(quán)重,從而抑制了讀取噪聲的影響。合作團(tuán)隊(duì)在多種數(shù)據(jù)類型和兩類學(xué)習(xí)任務(wù)中驗(yàn)證了該系統(tǒng)的普適性。與傳統(tǒng)數(shù)字硬件系統(tǒng)相比,該協(xié)同設(shè)計(jì)系統(tǒng)實(shí)現(xiàn)了能效提升,同時(shí)降低了訓(xùn)練成本。這種基于隨機(jī)阻變存儲(chǔ)器的深度極限點(diǎn)云學(xué)習(xí)機(jī),有望為跨模態(tài)、跨任務(wù)的高能效、易訓(xùn)練邊緣智能系統(tǒng)開(kāi)辟新路徑。

研究成果近期發(fā)表在《自然-通訊》期刊上(Nature Communications,?DOI: https://doi.org/10.1038/s41467-025-56079-3)。中國(guó)科學(xué)院微電子研究所尚大山研究員和南方科技大學(xué)王中銳博士為該文章的通訊作者。參與本工作的還有復(fù)旦大學(xué)、浙江大學(xué)、香港大學(xué)和香港科技大學(xué)等合作單位。該項(xiàng)目得到了科技部、國(guó)家自然科學(xué)基金委、中國(guó)科學(xué)院和香港研究資助局的支持。

圖1??基于隨機(jī)阻變存儲(chǔ)器的深度極限點(diǎn)云學(xué)習(xí)機(jī)軟硬件設(shè)計(jì)

文章鏈接:https://doi.org/10.1038/s41467-025-56079-3

Random resistive memory-based deep extreme point learning machine for unified visual processing

Nature Communications?16:960 (2025)

Shaocong Wang, Yizhao Gao, Yi Li, Woyu Zhang, Yifei Yu, Bo Wang, Ning Lin, Hegan Chen, Yue Zhang, Yang Jiang, Dingchen Wang, Jia Chen, Peng Dai, Hao Jiang, Peng Lin, Xumeng Zhang, Xiaojuan Qi, Xiaoxin Xu, Hayden So, Zhongrui Wang*, Dashan Shang*, Qi Liu, Kwang-Ting Cheng & Ming Liu