隨著高性能神經(jīng)網(wǎng)絡(luò)需求的日益增長,神經(jīng)-符號人工智能因其高度的可解釋性和適應(yīng)性,正吸引著越來越多的關(guān)注。它可以通過符號知識增強深度學(xué)習(xí)的推理和泛化,表現(xiàn)出優(yōu)于深度學(xué)習(xí)的能力。但由于符號知識表示與計算的復(fù)雜性,設(shè)計并實現(xiàn)高效的神經(jīng)-符號硬件仍面臨算力、能效等諸多挑戰(zhàn)。

近日,微電子所集成電路制造技術(shù)重點實驗室劉明院士團隊提出了一種基于記憶交叉陣列的符號知識表示解決方案,首次實驗演示并驗證了憶阻神經(jīng)-模糊硬件系統(tǒng)在無監(jiān)督、有監(jiān)督和遷移學(xué)習(xí)任務(wù)中的應(yīng)用,為實現(xiàn)其他基于知識的技術(shù)提供了指導(dǎo)。團隊將模糊邏輯和規(guī)則形式的符號知識直接用記憶交叉陣列的拓?fù)浣Y(jié)構(gòu)表示,利用憶阻器件本征隨機性增強了知識表示的魯棒性,提高了系統(tǒng)的推理性能。為解決硬件原位訓(xùn)練收斂速度慢、效果差的問題,團隊首次提出了一種軟硬件協(xié)同優(yōu)化框架下的混合原位訓(xùn)練技術(shù),有效降低了計算過程中的累積誤差問題。研發(fā)的憶阻神經(jīng)-模糊計算硬件能效超過FPGA兩個數(shù)量級以上,能耗僅為ASIC的約百分之一。以機器人導(dǎo)航為例,該神經(jīng)-模糊硬件顯示出對未知環(huán)境的優(yōu)越適應(yīng)性,與深度學(xué)習(xí)方法相比,系統(tǒng)學(xué)習(xí)速度提高了約6.6倍,學(xué)習(xí)錯誤率降低了約6倍。該工作充分展示了憶阻神經(jīng)形態(tài)計算系統(tǒng)在人工智能領(lǐng)域應(yīng)用中的巨大潛力。

該工作得到了國家重點研發(fā)計劃、國家自然科學(xué)基金委、中國科學(xué)院戰(zhàn)略先導(dǎo)B類專項等項目支持。研究成果以“Stochastic neuro-fuzzy system implemented in memristor crossbar arrays”為題在Science Advances(《科學(xué)·進(jìn)展》)期刊在線發(fā)表。微電子所時拓副研究員為文章第一作者,河北大學(xué)閆小兵教授、復(fù)旦大學(xué)劉琦教授為共同通訊作者。

全文鏈接:https://www.science.org/doi/10.1126/sciadv.adl3135

圖:(A)模糊推理系統(tǒng)和所提出的神經(jīng)-模糊系統(tǒng)的示意圖

(B)隸屬度函數(shù)的隱式實現(xiàn)方式

(C)隸屬度函數(shù)的顯式實現(xiàn)方式

(D)通過稀疏連接實現(xiàn)模糊規(guī)則的antecedent

(E)基于憶阻交叉陣列的去模糊化硬件實現(xiàn)方法

(F)基于憶阻硬件系統(tǒng)的實時機器人導(dǎo)航實驗

(G)機器人運動軌跡可視化的實時地圖

(H)神經(jīng)-模糊硬件在原位訓(xùn)練中角速度的收斂速度和測試誤差率

(I)線速度的收斂速度和測試誤差率