當前，邊緣智能硬件系統(tǒng)正越來越多地將各種不同類型的視覺傳感器集成于一體（包括3D激光雷達、神經(jīng)形態(tài)動態(tài)視覺傳感器以及傳統(tǒng)相機）以提升系統(tǒng)性能。直接在邊緣智能系統(tǒng)上對不同傳感器輸出的多模態(tài)數(shù)據(jù)進行分析，對于各種新型應用如增強現(xiàn)實/虛擬現(xiàn)實、無人機等都很重要，這一需求對軟硬件系統(tǒng)的多個方面提出了挑戰(zhàn)。比如，系統(tǒng)需要考慮如何對多模態(tài)數(shù)據(jù)進行統(tǒng)一的數(shù)據(jù)表征、較高的硬件能效以及快速的模型訓練。但多模態(tài)信號在數(shù)據(jù)結構上的異構性導致邊緣系統(tǒng)的開發(fā)有較高復雜性，傳統(tǒng)數(shù)字硬件的性能受限于物理分離的存儲與計算單元（即馮·諾依曼瓶頸）以及晶體管尺寸縮放的物理極限（摩爾定律放緩）。隨著模型規(guī)模的持續(xù)擴大，其復雜的訓練過程進一步加劇了上述限制。

近日，中國科學院微電子研究所集成電路制造技術全國重點實驗室尚大山研究員與南方科技大學深港微電子學院王中銳博士合作，通過軟硬件協(xié)同設計，開發(fā)了基于隨機阻變存儲器的深度極限點云學習機系統(tǒng)。本研究提出一種新穎的軟硬件協(xié)同設計系統(tǒng)—基于隨機電阻存儲器的深度極限點云學習機（DEPLM），可支持高效統(tǒng)一的點集分析。從數(shù)據(jù)層面，將多模態(tài)數(shù)據(jù)統(tǒng)一表示為點集，從而實現(xiàn)通用化處理；從軟件層面，團隊首次提出深度極限點云學習機，大部分權重無需訓練，大幅降低了訓練復雜度；從硬件層面，阻變存儲器不僅可以實現(xiàn)存儲與計算的一體化，還利用其固有的編程隨機性生成DEPLM的隨機稀疏權重，從而抑制了讀取噪聲的影響。合作團隊在多種數(shù)據(jù)類型和兩類學習任務中驗證了該系統(tǒng)的普適性。與傳統(tǒng)數(shù)字硬件系統(tǒng)相比，該協(xié)同設計系統(tǒng)實現(xiàn)了能效提升，同時降低了訓練成本。這種基于隨機阻變存儲器的深度極限點云學習機，有望為跨模態(tài)、跨任務的高能效、易訓練邊緣智能系統(tǒng)開辟新路徑。

研究成果近期發(fā)表在《自然-通訊》期刊上（Nature Communications,?DOI: https://doi.org/10.1038/s41467-025-56079-3）。中國科學院微電子研究所尚大山研究員和南方科技大學王中銳博士為該文章的通訊作者。參與本工作的還有復旦大學、浙江大學、香港大學和香港科技大學等合作單位。該項目得到了科技部、國家自然科學基金委、中國科學院和香港研究資助局的支持。

圖1??基于隨機阻變存儲器的深度極限點云學習機軟硬件設計

???文章鏈接：https://doi.org/10.1038/s41467-025-56079-3

Random resistive memory-based deep extreme point learning machine for unified visual processing

Nature Communications?16:960 (2025)

Shaocong Wang, Yizhao Gao, Yi Li, Woyu Zhang, Yifei Yu, Bo Wang, Ning Lin, Hegan Chen, Yue Zhang, Yang Jiang, Dingchen Wang, Jia Chen, Peng Dai, Hao Jiang, Peng Lin, Xumeng Zhang, Xiaojuan Qi, Xiaoxin Xu, Hayden So, Zhongrui Wang*, Dashan Shang*, Qi Liu, Kwang-Ting Cheng & Ming Liu