近年來，以深度學習和神經網絡為代表的人工智能技術在人臉識別、自動駕駛、智慧城市和健康監測等多個領域迅速發展。但傳統神經網絡模型在處理多任務連續學習時將會面臨災難性遺忘問題，即神經網絡在學習新任務時會遺忘已經學到的知識，導致在執行先前任務時性能大幅下降。
針對這一問題，微電子所微電子器件與集成技術重點實驗室劉明院士團隊的尚大山研究員、香港大學的王中銳博士和清華大學劉勇攀教授等基于憶阻器存算一體芯片，開發了一款軟—硬件協同設計的連續學習原型系統。在軟件方面，受人類大腦啟發，團隊提出了一種基于突觸元可塑性的混合精度連續學習模型（MPCL）。該模型采用前饋全連接神經網絡架構，其中隱藏層權重分別由二值權重和浮點型權重兩部分組成（圖1a）。模型在進行多任務連續學習時采用了非對稱權重更新策略，通過限制與新任務相關性弱的權重更新，平衡權重的可塑性與穩定性，從而有效緩解災難性遺忘（圖1b）。在硬件方面，團隊將MPCL模型部署在一個由憶阻器（RRAM）存算一體（IMC）芯片和通用數字處理器組成的混合模擬數字硬件系統上（圖1c）。通過將二進制權重映射到憶阻器陣列，該系統采用IMC計算范式，利用基爾霍夫定律和歐姆定律加速向量矩陣乘法操作，減少了處理器和存儲器之間數據傳輸的能量和時間開銷。同時，為減輕憶阻器非理想因素對系統性能的影響，團隊在軟件模擬中重構了與硬件完全相同的計算流程，并利用原位精調的方法優化了權重的映射過程，并使硬件系統在保持推理準確率的同時最大限度地提高計算并行度（圖1d）。該原型系統在MNIST和Fashion MNIST數據集上分別實現五個任務連續學習94.9%和95.3%的平均準確率（圖1e），同時相較于傳統數字系統，核心運算能耗得到大幅降低（圖1f）。這種基于憶阻器存算一體能力的連續學習實現方案，為未來構建具有自適應能力的低能耗人工智能體提供了參考。
該項目得到了科技部、國家自然科學基金委、中科院和香港大學的支持。成果近期發表在《先進智能系統》期刊上（Advanced Intelligent Systems, DOI: 10.1002/aisy.202200026），微電子所博士研究生李熠為文章的第一作者，香港大學王中銳博士，微電子所尚大山研究員為該文章的共同通訊作者。Wiley學術出版集團科技新聞網站Advanced Science News對這一研究結果以“Continual learning, just like humans”為題進行了專題報道。
圖1. （a） 混合精度連續學習模型程序框圖；（b）非對稱更新策略限制權重更新；（c）基于憶阻器芯片的數模混合硬件系統；（d）并行度優化前后準確率對比；（e）多任務連續學習的硬件準確率與軟件基準對比；（f）與數字系統MAC功耗對比。
新聞報道鏈接：https://www.advancedsciencenews.com/continual-learning-just-like-humans/
文章鏈接：https://doi.org/10.1002/aisy.202200026
Mixed-precision continual learning based on computational resistance random access memory
Yi Li, Woyu Zhang, Xiaoxin Xu, Yifan He, Danian Dong, Nanjia Jiang, Fei Wang, Zeyu Guo, Shaocong Wang, Chunmeng Dou, Yongpan Liu, Zhongrui Wang,* Dashan Shang*
Advanced Intelligent Systems (2022).
DOI: 10.1002/aisy.202200026
綜合信息