近年來，以深度學習和神經(jīng)網(wǎng)絡為代表的人工智能技術(shù)在人臉識別、自動駕駛、智慧城市和健康監(jiān)測等多個領(lǐng)域迅速發(fā)展。但傳統(tǒng)神經(jīng)網(wǎng)絡模型在處理多任務連續(xù)學習時將會面臨災難性遺忘問題，即神經(jīng)網(wǎng)絡在學習新任務時會遺忘已經(jīng)學到的知識，導致在執(zhí)行先前任務時性能大幅下降。 

　　針對這一問題，微電子所微電子器件與集成技術(shù)重點實驗室劉明院士團隊的尚大山研究員、香港大學的王中銳博士和清華大學劉勇攀教授等基于憶阻器存算一體芯片，開發(fā)了一款軟—硬件協(xié)同設計的連續(xù)學習原型系統(tǒng)。在軟件方面，受人類大腦啟發(fā)，團隊提出了一種基于突觸元可塑性的混合精度連續(xù)學習模型（MPCL）。該模型采用前饋全連接神經(jīng)網(wǎng)絡架構(gòu)，其中隱藏層權(quán)重分別由二值權(quán)重和浮點型權(quán)重兩部分組成（圖1a）。模型在進行多任務連續(xù)學習時采用了非對稱權(quán)重更新策略，通過限制與新任務相關(guān)性弱的權(quán)重更新，平衡權(quán)重的可塑性與穩(wěn)定性，從而有效緩解災難性遺忘（圖1b）。在硬件方面，團隊將MPCL模型部署在一個由憶阻器（RRAM）存算一體（IMC）芯片和通用數(shù)字處理器組成的混合模擬數(shù)字硬件系統(tǒng)上（圖1c）。通過將二進制權(quán)重映射到憶阻器陣列，該系統(tǒng)采用IMC計算范式，利用基爾霍夫定律和歐姆定律加速向量矩陣乘法操作，減少了處理器和存儲器之間數(shù)據(jù)傳輸?shù)哪芰亢蜁r間開銷。同時，為減輕憶阻器非理想因素對系統(tǒng)性能的影響，團隊在軟件模擬中重構(gòu)了與硬件完全相同的計算流程，并利用原位精調(diào)的方法優(yōu)化了權(quán)重的映射過程，并使硬件系統(tǒng)在保持推理準確率的同時最大限度地提高計算并行度（圖1d）。該原型系統(tǒng)在MNIST和Fashion MNIST數(shù)據(jù)集上分別實現(xiàn)五個任務連續(xù)學習94.9%和95.3%的平均準確率（圖1e），同時相較于傳統(tǒng)數(shù)字系統(tǒng)，核心運算能耗得到大幅降低（圖1f）。這種基于憶阻器存算一體能力的連續(xù)學習實現(xiàn)方案，為未來構(gòu)建具有自適應能力的低能耗人工智能體提供了參考。 

　　該項目得到了科技部、國家自然科學基金委、中科院和香港大學的支持。成果近期發(fā)表在《先進智能系統(tǒng)》期刊上（Advanced Intelligent Systems, DOI: 10.1002/aisy.202200026），微電子所博士研究生李熠為文章的第一作者，香港大學王中銳博士，微電子所尚大山研究員為該文章的共同通訊作者。Wiley學術(shù)出版集團科技新聞網(wǎng)站Advanced Science News對這一研究結(jié)果以“Continual learning, just like humans”為題進行了專題報道。 

圖1. （a） 混合精度連續(xù)學習模型程序框圖；（b）非對稱更新策略限制權(quán)重更新；（c）基于憶阻器芯片的數(shù)模混合硬件系統(tǒng)；（d）并行度優(yōu)化前后準確率對比；（e）多任務連續(xù)學習的硬件準確率與軟件基準對比；（f）與數(shù)字系統(tǒng)MAC功耗對比。

新聞報道鏈接：https://www.advancedsciencenews.com/continual-learning-just-like-humans/

文章鏈接：https://doi.org/10.1002/aisy.202200026 

Mixed-precision continual learning based on computational resistance random access memory

Yi Li, Woyu Zhang, Xiaoxin Xu, Yifan He, Danian Dong, Nanjia Jiang, Fei Wang, Zeyu Guo, Shaocong Wang, Chunmeng Dou, Yongpan Liu, Zhongrui Wang,* Dashan Shang*

Advanced Intelligent Systems (2022).

DOI: 10.1002/aisy.202200026